Databricks affirme que DBRX établit une « nouvelle norme » pour le LLM open source

Databricks a annoncé le lancement de DBRX, un nouveau modèle de langage open source puissant qui, selon lui, établit une nouvelle barre pour les modèles open source, surpassant les variantes établies telles que GPT-3.5 dans les références de l'industrie.

La société affirme que le modèle DBRX, avec 132 milliards de paramètres, surpasse les LLM open source populaires tels que LLaMA 2 70B, Mixtral et Grok-1 en termes de compréhension du langage, de programmation et de tâches mathématiques. Il surpasse même le modèle Claude d'Anthropic dans certains tests.

DBRX a montré des performances de pointe parmi les modèles ouverts dans les tâches de codage, surpassant les modèles spécialisés tels que CodeLLaMA bien qu'il s'agisse d'un LLM à usage général. Il a également égalé ou surpassé le GPT-3.5 sur presque tous les tests évalués.

Des capacités de pointe apparaissent grâce à une architecture de mélange plus efficace qui rend DBRX jusqu'à 2 fois plus rapide en inférence que LLaMA 2 70B, malgré moins de paramètres actifs. Databricks affirme que la formation du modèle était également environ 2 fois plus efficace sur le plan informatique que les alternatives denses.

« DBRX établit une nouvelle norme pour le LLM open source, offrant aux entreprises une plateforme permettant de créer des capacités de raisonnement personnalisées basées sur leurs propres données », a déclaré Ali Godsi, co-fondateur et PDG de Databricks.

DBRX a été pré-entraîné sur 12 000 milliards de jetons de données de texte et de code « triés sur le volet » sélectionnés pour l'amélioration de la qualité. Il utilise des technologies telles que le codage de position de tour et l'apprentissage du programme pendant la pré-formation.

Les clients peuvent interagir avec DBRX via une API ou utiliser les outils de l'entreprise pour affiner le modèle sur leurs propres données. Il est déjà intégré aux produits Databricks AI.

"Notre recherche montre que les entreprises prévoient de consacrer la moitié de leurs budgets d'IA à l'IA générative", a déclaré Dave Menninger, directeur général de Ventana Research, qui fait partie d'ISG. « L’un des trois principaux défis auxquels ils sont confrontés est la sécurité et la confidentialité des données.

« Grâce à sa plateforme d'analyse de données de bout en bout et à la mise en œuvre de DBRX, Databricks permet aux entreprises de créer des applications d'IA génératives gouvernées, sécurisées et adaptées à leur contexte commercial, tout en conservant le contrôle et la propriété de leur propriété intellectuelle.

Des partenaires tels qu'Accenture, Block, Nasdaq, Prosus, Replit et Zoom ont salué le potentiel de DBRX à accélérer l'adoption par les entreprises de grands modèles de langage ouverts, personnalisés. Les analystes ont déclaré que cela pourrait conduire à un passage du fermé à l'open source, dans la mesure où les modèles ouverts affinés correspondent à leurs propres performances.

Mike O'Rourke, responsable de l'intelligence artificielle et des services de données au NASDAQ, a commenté : « Databricks est un partenaire clé du Nasdaq dans certains de nos systèmes de données les plus importants. Ils continuent d'être à l'avant-garde du secteur en matière de gestion des données et d'utilisation de l'intelligence artificielle, et nous sommes ravis de lancer DBRX.

"La combinaison de performances élevées du modèle et de conditions économiques favorables est l'innovation que nous recherchons alors que nous élargissons l'utilisation de l'IA générative au Nasdaq."