Repoussant les limites de la puissance et de l’efficacité de l’IA, Tencent Hunyuan, la vaste famille de modèles provenant du géant technologique chinois Tencent, a officiellement open-sourcé son premier modèle de mélange d’experts (MoE), le Hunyuan-A13B. Avec un total de 80 milliards de paramètres, dont seulement 13 milliards actifs, ce nouveau modèle se démarque par son design optimisé pour offrir des performances élevées tout en réduisant considérablement les coûts de calcul.

La particularité des modèles MoE réside dans leur fonctionnement qui s’apparente à une équipe de spécialistes plutôt qu’à un généraliste solitaire. Au lieu de traiter chaque entrée à travers l’ensemble de ses paramètres, un modèle MoE intègre plusieurs petits réseaux neuronaux spécialisés, appelés « experts ». Ceci signifie qu’uniquement un sous-ensemble des paramètres globaux du modèle est activé pour chaque tâche spécifique, r

Hunyuan-A13B se distingue notamment par son accessibilité. Il est conçu pour fonctionner efficacement sur une seule GPU de moyenne gamme, ce qui en fait une option viable pour les développeurs individuels et les petites et moyennes entreprises souhaitant exploiter les capacités avancées de l’IA sans investissement matériel massif.

Le Hunyuan-A13B a démontré de solides compétences sur diverses tâches, y compris le raisonnement mathématique, l’analyse logique et la capacité de suivre des instructions complexes. Le modèle prend également en charge l’intégration d’outils, élargissant ainsi son applicabilité pour des fonctions telles que la création de guides de voyage et l’analyse de données. Il a été pré-entraîné sur un corpus de tokens de 200 billions et inclut des « modes de pensée » personnalisables qui permettent aux utilisateurs d’ajuster différents niveaux d’efficacité et de profondeur de raisonnement.

Il est maintenant disponible en téléchargement sur des plateformes open-source populaires comme GitHub et Hugging Face. De plus, son API peut être accessible via Tencent Cloud, facilitant ainsi son intégration dans diverses applications.

L’architecture MoE représente le futur de l’efficacité dans le développement de l’IA. Le modèle Hunyuan-A13B de Tencent illustre comment l’architecture MoE est en train de redéfinir les benchmarks d’efficacité de l’IA dans l’industrie.

Le choix stratégique de Tencent de passer en open-source avec Hunyuan-A13B intervient alors que les entreprises qui utilisent des outils d’IA open-source signalent de plus en plus un retour sur investissement positif.

En concevant Hunyuan-A13B pour fonctionner sur du matériel de moyenne gamme, Tencent répond à une lacune du marché où les exigences de calcul élevées ont historiquement limité l’adoption de l’IA parmi les petites organisations.