Moonshot AI a publié les poids complets et le rapport technique du Kimi K3, son modèle d’intelligence artificielle le plus avancé. L’initiative élargit l’accès de la communauté technique à l’architecture du système.
Les poids ont été publiés sur Hugging Face, tandis que la documentation technique est arrivée dans le dépôt officiel de l’entreprise sur GitHub. Le code et les poids sont disponibles sous la licence Kimi K3.
La divulgation respecte le calendrier annoncé par Moonshot AI au début de juillet. À cette occasion, l’entreprise avait indiqué que les fichiers complets et les spécifications supplémentaires seraient publiés d’ici le 27 de juillet.
Le Kimi K3 réunit 2,8 trillions de paramètres, bien que seuls 104 milliards soient activés pendant l’inférence. Cette caractéristique vise à équilibrer la capacité de calcul et l’efficacité de traitement des tâches.
Le modèle utilise une architecture de mixture of experts, connue sous le nom de Mixture of Experts (MoE). Il existe 896 experts disponibles, avec 16 sélectionnés pour traiter chaque token pendant l’exécution.
Un autre point fort est une fenêtre de contexte supérieure à 1 million de tokens. Cette fonctionnalité permet de travailler avec de grands volumes d’informations en une seule interaction, élargissant ainsi les possibilités pour les applications d’intelligence artificielle.
Le rapport technique présente également des détails sur l’Attention Delta de Kimi, les Resíduos de Atenção et le système natif de quantization. Selon Moonshot AI, ces changements architecturaux augmentent l’efficacité de la scalabilité d’environ 2,5 fois par rapport au Kimi K2.
Avec les fichiers publics, les développeurs peuvent télécharger et déployer le Kimi K3 à l’aide d’outils tels que Transformers, vLLM et SGLang. La disponibilité facilite les tests, la recherche et les applications personnalisées.
En raison de la taille du modèle, Moonshot AI recommande l’utilisation de configurations avec des supernœuds de grande taille. L’infrastructure nécessaire est l’un des principaux points techniques pour les équipes intéressées à exécuter le Kimi K3 localement.
La publication des poids permet également aux chercheurs d’analyser directement la structure du modèle, tandis que les développeurs peuvent évaluer ses performances dans différents environnements de calcul et applications d’intelligence artificielle.
