Les puces GPU à utilization général de NVIDIA ont une fois de plus fait un balayage presque propre de l’une des références les plus populaires pour mesurer les performances des puces en intelligence artificielle, cette fois avec une nouvelle focalisation sur les purposes généatives d’IA telles que les modèles de grandes langues (LLM).
Il n’y avait pas beaucoup de concurrence.
Systèmes assemblés par Supermicro, Hewlett Packard Enterprise, Lenovo et autres – emballés avec huit puces Nvidia – ont remporté mercredi la plupart des meilleurs honneurs du take a look at de référence MLPERF organisé par le MLCommons, un consortium de l’industrie.
Aussi: avec des modèles d’IA qui obtiennent un coup de référence, il est temps pour l’évaluation humaine
Le take a look at, mesurant à quelle vitesse les machines peuvent produire des jetons, des requêtes de processus ou des échantillons de sortie de données – appelés inférence IA – est le cinquième épisode de la référence de prédiction qui dure depuis des années.
Cette fois, les MLCommons ont mis à jour les checks de vitesse avec deux checks représentant des utilisations génératives de l’IA communes. Un take a look at est à quelle vitesse les puces fonctionnent sur le LLM LLAMA 3.1 405b de Meta, qui est l’un des plus grands programmes GEN AI à une utilisation courante.
Les MLCommons ont également ajouté une model interactive de Meta’s Small Llama 2 70B. Ce take a look at est destiné à simuler ce qui se passe avec un chatbot, où le temps de réponse est un facteur. Les machines sont testées pour la vitesse à laquelle ils génèrent le premier jeton de sortie du modèle de langue, pour simuler le besoin d’une réponse rapide lorsque quelqu’un a tapé une invite.
Un troisième nouveau take a look at mesure la vitesse du traitement des réseaux de neurones du graphique, qui sont des problèmes composés d’un tas d’entités et de leurs relations, comme dans un réseau social.
Les réseaux neuronaux graphiques ont pris de l’significance en tant que composante des programmes qui utilisent la génération AI. Par exemple, l’unité DeepMind de Google a largement utilisé des réseaux graphiques pour faire de superbes pertes dans les prédictions de repliement des protéines avec son modèle Alphafold 2 en 2021.
Un quatrième nouveau take a look at mesure à quelle vitesse les données de détection du LiDAR peuvent être assemblées sur une carte car de la route. Les MLCommons ont construit sa propre model d’un filet de neurones pour le take a look at, combinant des approches open-source existantes.
La compétition MLPERF comprend des ordinateurs assemblés par Lenovo, HPE et autres en fonction des exigences strictes pour la précision de la manufacturing neurale neurale. Chaque système informatique a soumis des rapports aux MLCommons de sa meilleure vitesse dans la manufacturing de sortie par seconde. Dans certaines tâches, la référence est la latence moyenne, combien de temps il faut pour que la réponse revienne du serveur.
Les GPU de NVIDIA ont produit les meilleurs résultats dans presque tous les checks de la division fermée, où les règles de configuration du logiciel sont les plus strictes.
Le concurrent AMD, exécutant son GPU du MI300X, a obtenu le rating supérieur dans deux des checks de Llama 2 70b. Il a produit 103 182 jetons par seconde, nettement meilleur que le deuxième meilleur résultat du nouveau GPU Blackwell de Nvidia.
Ce système AMD gagnant a été assemblé par un nouvel entrant à la référence MLPerf, la startup Mangoboostce qui fait des cartes de plug-in qui peuvent accélérer le transfert de données entre les racks GPU. L’entreprise développe également des logiciels pour améliorer la portion de la génération AI, appelée Llmboost.
Aussi: le nouveau générateur d’photographs de Chatgpt a brisé mes attentes – et maintenant c’est gratuit
Google a également soumis un système, montrant sa puce Trillium, la sixième itération de son unité de traitement du tenseur en interne (TPU). Ce système était loin derrière Blackwell de Nvidia dans un take a look at de la vitesse à laquelle l’ordinateur pourrait répondre aux requêtes pour le take a look at de génération d’picture de diffusion secure.
La dernière série de références MLPERF comportait moins de concurrents à Nvidia que dans certains versements passés. Par exemple, l’unité Habana du microprocesseur Large Intel n’a pas eu de soumissions avec ses jetons, comme il l’a fait au cours des années passées. Le géant de la puce cell Qualcomm n’a pas eu de soumissions cette fois-ci non plus.
Les repères offraient cependant de bons droits de vantardise pour Intel. Chaque système informatique a besoin non seulement du GPU pour accélérer les mathématiques de l’IA, mais aussi un processeur d’hôte pour exécuter le travail ordinaire de planification des tâches et de gestion de la mémoire et du stockage.
Aussi: le nouveau PDG d’Intel promet de diriger le fabricant de puces «en tant que startup, le premier jour»
Dans la division Closed Datacenter, le microprocesseur Xeon d’Intel était le processeur hôte qui a propulsé sept des 11 meilleurs systèmes, contre seulement trois victoires pour le microprocesseur EPYC Server d’AMD. Cela représente une amélioration améliorée pour Intel contre les années auparavant.
Le 11e système le plus performant, l’indice de référence de la vitesse pour traiter Large Llama 3.1 405b de Meta, a été construit par NVIDIA lui-même sans un microprocesseur Intel ou AMD à bord. Au lieu de cela, Nvidia a utilisé la puce Grace-Blackwell 200 combinée, où le GPU Blackwell est connecté dans le même paquet avec le propre microprocesseur Grace de Nvidia.
Vous voulez plus d’histoires sur l’IA? Inscrivez-vous à l’innovationnotre e-newsletter hebdomadaire.
