Un Meta Exec a nié lundi une rumeur selon laquelle la société a formé ses nouveaux modèles d’IA à bien présenter sur des références spécifiques tout en dissimulant les faiblesses des modèles.
L’exécutif, Ahmad al-Dahle, vice-président de l’IA générative à Meta, dit dans un post sur x qu’il n’est «tout simplement pas vrai» que Meta a formé ses modèles Llama 4 Maverick et Llama 4 Scout sur «Take a look at Sett». Dans les repères de l’IA, les ensembles de exams sont des collections de données utilisées pour évaluer les performances d’un modèle après sa formation. La formation sur un ensemble de exams pourrait gonfler les scores de référence d’un modèle, ce qui rend le modèle plus succesful qu’il ne l’est réellement.
Pendant le week-end, une rumeur non fondée Le fait que les résultats de référence de ses nouveaux modèles aient commencé à circuler sur X et Reddit. La rumeur semble être originaire d’un article sur un website de médias sociaux chinois d’un utilisateur prétendant avoir démissionné de Meta pour protester contre les pratiques d’analyse comparative de l’entreprise.
Rapporte que Maverick et Scout effectuer médiocrement sur Certaines tâches a alimenté la rumeur, tout comme la décision de Meta d’utiliser une model expérimentale et inédite de Maverick pour obtenir de meilleurs scores sur la référence LM Area. Les chercheurs sur X ont observé Stark Différences dans le comportement du Maverick téléchargeable publiquement par rapport au modèle hébergé sur LM Area.
Al-Dahle a reconnu que certains utilisateurs voyaient de la «qualité mixte» de Maverick et Scout à travers les différents fournisseurs de cloud hébergeant les modèles.
« Depuis que nous avons abandonné les modèles dès qu’ils étaient prêts, nous nous attendons à ce que toutes les implémentations publiques soient composées de toutes les implémentations publiques », a déclaré Al-Dahle. «Nous continuerons à travailler sur nos corrections de bogues et nos partenaires d’intégration.»
