Pruna aiune startup européenne qui travaille sur des algorithmes de compression pour les modèles d’IA, fait son cadre d’optimisation open source jeudi.
Pruna AI a créé un cadre qui applique plusieurs méthodes d’efficacité, telles que la mise en cache, l’élagage, la quantification et la distillation, à un modèle d’IA donné.
« Nous normalisons également la sauvegarde et le chargement des modèles compressés, l’software de combinaisons de ces méthodes de compression, et évaluons également votre modèle compressé après l’avoir compressé », a déclaré à TechCrunch, co-améliorant Pruna AI et CTO Rachwan.
En particulier, le cadre de Pruna AI peut évaluer s’il y a une perte de qualité significative après avoir compressé un modèle et les positive factors de efficiency que vous obtenez.
« Si je devais utiliser une métaphore, nous sommes similaires à la façon dont les étreintes font face aux transformateurs et diffuseurs standardisés – remark les appeler, remark les sauver, les charger, and so forth. Nous faisons de même, mais pour des méthodes d’efficacité », a-t-il ajouté.
Les grands laboratoires AI ont déjà utilisé diverses méthodes de compression. Par exemple, OpenAI a compté sur la distillation pour créer des variations plus rapides de ses modèles phares.
C’est probablement remark OpenAI a développé GPT-4 Turbo, une model plus rapide de GPT-4. De même, le Flux.1-Schnell Le modèle de génération d’pictures est une model distillée du modèle Flux.1 de Black Forest Labs.
La distillation est une method utilisée pour extraire les connaissances d’un grand modèle d’IA avec un modèle «enseignant-élève». Les développeurs envoient des demandes à un modèle d’enseignant et enregistrent les sorties. Les réponses sont parfois comparées à un ensemble de données pour voir à quel level ils sont précis. Ces sorties sont ensuite utilisées pour former le modèle étudiant, qui est formé pour approximer le comportement de l’enseignant.
« Pour les grandes entreprises, ce qu’elles font habituellement, c’est qu’elles construisent ces éléments en interne. Et ce que vous pouvez trouver dans le monde open supply est généralement basé sur des méthodes uniques. Par exemple, disons une méthode de quantification pour les LLM, ou une méthode de mise en cache pour les modèles de diffusion », a déclaré Rachwan. « Mais vous ne pouvez pas trouver un outil qui les regroupe tous, les rend tous faciles à utiliser et à combiner ensemble. Et c’est la grande valeur que Pruna apporte en ce second. »
Alors que Pruna AI prend en cost tout kind de modèles, des modèles de grande langue aux modèles de diffusion, aux modèles de parole et au texte et aux modèles de imaginative and prescient par ordinateur, la société se concentre davantage sur les modèles d’picture et de génération de vidéos en ce second.
Certains des utilisateurs existants de Pruna AI incluent Scénario et Photoro -avy. En plus de l’édition open supply, Pruna AI suggest une offre d’entreprise avec des fonctionnalités d’optimisation avancées, y compris un agent d’optimisation.
« La fonctionnalité la plus excitante que nous publions bientôt sera un agent de compression », a déclaré Rachwan. « Fondamentalement, vous lui donnez votre modèle, vous dites: » Je veux plus de vitesse mais ne baissez pas ma précision de plus de 2%. » Et puis, l’agent fera simplement sa magie.
Pruna AI facture à l’heure de sa model professional. « C’est similaire à la façon dont vous pensez à un GPU lorsque vous louez un GPU sur AWS ou tout service cloud », a déclaré Rachwan.
Et si votre modèle est un élément essentiel de votre infrastructure d’IA, vous finirez par économiser beaucoup d’argent sur l’inférence avec le modèle optimisé. Par exemple, Pruna AI a réalisé un modèle de lama huit fois plus petit sans trop de perte en utilisant son cadre de compression. Pruna AI espère que ses shoppers penseront à son cadre de compression comme un investissement qui se paie pour lui-même.
Pruna AI a levé un tour de financement de semences de 6,5 hundreds of thousands de {dollars} il y a quelques mois. Les investisseurs de la startup comprennent EQT Ventures, Daphni, Motier Ventures et Kima Ventures.
