Chatbots sont désormais une partie courante de la vie quotidienne, même si les chercheurs en intelligence artificielle ne sont pas toujours sûrs de la façon dont les programmes se comporteront.
Une nouvelle étude montre que les modèles de grande langue (LLMS) changent délibérément leur comportement lorsqu’ils sont sondés – en répondant aux questions conçues pour évaluer les traits de personnalité avec des réponses destinées à apparaître aussi sympathiques ou socialement souhaitables que attainable.
Johannes Eichstaedtun professeur adjoint à l’Université de Stanford qui a dirigé le travail, a déclaré que son groupe s’est intéressé à sonder les modèles d’IA en utilisant des strategies empruntées à la psychologie après avoir appris que les LLM peuvent souvent devenir morose et méchante après une dialog prolongée. «Nous avons réalisé que nous avons besoin d’un mécanisme pour mesurer le« espace de tête du paramètre »de ces modèles», dit-il.
Eichstaedt et ses collaborateurs ont ensuite posé des questions pour mesurer cinq traits de personnalité qui sont couramment utilisés en psychologie – l’opportunité de vivre ou d’creativeness, de conscience, d’extroversion, d’agréabilité et de névrosisme – à plusieurs LLM largement utilisés, notamment GPT-4, Claude 3 et Llama 3. Le travail. a été publié dans les actes des académies nationales des sciences en décembre.
Les chercheurs ont constaté que les modèles modulaient leurs réponses lorsqu’ils ont dit qu’ils faisaient un check de personnalité – et parfois lorsqu’ils n’étaient pas explicitement racontés – offrant des réponses qui indiquent plus d’extraversion et d’agréabilité et moins de névrosisme.
Le comportement reflète remark certains sujets humains changeront leurs réponses pour se rendre plus sympathiques, mais l’effet était plus extrême avec les modèles d’IA. «Ce qui était surprenant, c’est à quel level ils présentent ce biais», dit Aadesh Salechaun scientifique des données du personnel à Stanford. « Si vous regardez combien ils sautent, ils passent de 50% à une extroversion à 95%. »
D’autres recherches ont montré que les LLM peut souvent être sycophantiquesuivant l’exemple d’un utilisateur partout où il va à la suite de l’affiche qui est destiné à les rendre plus cohérents, moins offensants et mieux à tenir une dialog. Cela peut conduire des modèles à être d’accord avec les déclarations désagréables ou même encourager les comportements nocifs. Le fait que les modèles savent apparemment quand ils sont testés et modifient leur comportement ont également des implications pour la sécurité de l’IA, automotive cela ajoute à la preuve que l’IA peut être duplicite.
Rosa Arriagaun professeur agrégé au Georgia Institute of Know-how qui étudie les façons d’utiliser les LLM pour imiter le comportement humain, dit que le fait que les modèles adoptent une stratégie similaire aux checks humains étant donné les checks de personnalité qui peuvent être utiles comme miroirs du comportement. Mais, ajoute-t-elle, « Il est vital que le public sache que les LLM ne sont pas parfaites et en fait sont connues pour halluciner ou déformer la vérité. »
Eichstaedt dit que le travail soulève également des questions sur la façon dont les LLM sont déployées et remark ils pourraient influencer et manipuler les utilisateurs. « Jusqu’à il y a à peine une milliseconde, dans l’histoire de l’évolution, la seule selected qui vous a parlé était un humain », dit-il.
Eichstaedt ajoute qu’il peut être nécessaire d’explorer différentes façons de construire des modèles qui pourraient atténuer ces effets. «Nous tombons dans le même piège que nous avons fait avec les médias sociaux», dit-il. «Le déploiement de ces choses dans le monde sans vraiment participer à une lentille psychologique ou sociale.»
L’IA devrait-elle essayer de s’inscrire avec les personnes avec lesquelles il interagit? Êtes-vous inquiet que l’IA devienne un peu trop charmante et convaincante? Envoyez un courriel à hi there@wired.com.
