Les chercheurs anthropiques ont partagé deux nouveaux articles jeudi, partageant la méthodologie et les résultats sur la façon dont un modèle d’intelligence artificielle (IA) pense. La société d’IA basée à San Francisco a développé des methods pour surveiller le processus décisionnel d’un modèle grand langage (LLM) pour comprendre ce qui motive une réponse et une construction particulières sur une autre. La société a souligné que ce domaine particulier des modèles d’IA reste une boîte noire, automotive même les scientifiques qui développent les modèles ne comprennent pas pleinement remark une IA établit des connexions conceptuelles et logiques pour générer des résultats.
La recherche anthropique met en lumière la façon dont une IA pense
Dans une salle de rédaction postela société a publié les détails d’une étude récemment menée sur «le traçage des pensées d’un modèle grand langage». Malgré la building de chatbots et de modèles d’IA, les scientifiques et les développeurs ne contrôlent pas le circuit électrique qu’un système crée pour produire une sortie.
Pour résoudre cette «boîte noire», des chercheurs anthropiques ont publié deux articles. Le d’abord étudie les mécanismes internes utilisés par Claude 3.5 haïku en utilisant une méthodologie de traçage de circuit, et le second papier concerne les methods utilisées pour révéler des graphiques de calcul dans les modèles de langage.
Certaines des questions que les chercheurs visaient à trouver des réponses comprenaient la langue «pensée» de Claude, la méthode de génération de texte et son modèle de raisonnement. Anthropic a déclaré: «Savoir remark les modèles comme Claude pensent nous permettaient de mieux comprendre leurs capacités, ainsi que de nous aider à faire ce que nous les voulons.»
Sur la base des informations partagées dans le doc, les réponses aux questions susmentionnées étaient surprenantes. Les chercheurs pensaient que Claude aurait une préférence pour une langue particulière dans laquelle il pense avant qu’il réponde. Cependant, ils ont constaté que le chatbot IA pense dans un «espace conceptuel partagé entre les langues». Cela signifie que sa pensée n’est pas influencée par une langue particulière, et elle peut comprendre et traiter les ideas dans une sorte de langage universel de pensée.
Alors que Claude est formé pour écrire un mot à la fois, les chercheurs ont constaté que le modèle d’IA planifie sa réponse de nombreux mots à venir et peut ajuster sa sortie pour atteindre cette vacation spot. Les chercheurs ont trouvé des preuves de ce modèle tout en incitant l’IA à écrire un poème et à remarquer que Claude a d’abord décidé des mots rimes, puis a formé le reste des lignes pour donner un sens à ces mots.
La recherche a également affirmé que, à l’event, Claude peut également inverser les arguments à consonance logique inverse pour être d’accord avec l’utilisateur au lieu de suivre les étapes logiques. Cette «hallucination» intentionnelle se produit lorsqu’une query incroyablement difficile est posée. Anthropic a déclaré que ses outils peuvent être utiles pour signaler les mécanismes dans les modèles d’IA, automotive il peut s’identifier lorsqu’un chatbot fournit un fake raisonnement dans ses réponses.
Anthropic a souligné qu’il y a des limites dans cette méthodologie. Dans cette étude, seules des invitations de dizaines de mots ont été données, et il a encore fallu quelques heures d’effort humain pour identifier et comprendre les circuits. Par rapport aux capacités des LLM, l’effort de recherche n’a capturé qu’une fraction du calcul whole effectué par Claude. À l’avenir, la société d’IA prévoit d’utiliser des modèles d’IA pour donner un sens aux données.
