Moonshot AI liberó los pesos completos y el informe técnico de Kimi K3, su modelo de inteligencia artificial más avanzado. La iniciativa amplía el acceso de la comunidad técnica a la arquitectura del sistema.
Los pesos se publicaron en Hugging Face, mientras que la documentación técnica llegó al repositorio oficial de la empresa en GitHub. El código y los pesos están disponibles bajo la licencia Kimi K3.
El anuncio cumple el cronograma anunciado por Moonshot AI a principios de julio. En esa ocasión, la empresa había informado que los archivos completos y las especificaciones adicionales se liberarían hasta el 27 de julio.
Kimi K3 reúne 2,8 billones de parámetros, aunque solo 104 mil millones se activan durante la inferencia. Esta característica busca equilibrar la capacidad computacional y la eficiencia en el procesamiento de las tareas.
El modelo utiliza una arquitectura de mezcla de expertos, conocida como Mixture of Experts (MoE). Hay 896 expertos disponibles, con 16 seleccionados para procesar cada token durante la ejecución.
Otro punto destacado es la ventana de contexto de más de 1 millón de tokens. Este recurso permite trabajar con grandes volúmenes de información en una sola interacción, ampliando las posibilidades para aplicaciones de inteligencia artificial.
El informe técnico también presenta detalles sobre la Atención Delta de Kimi, los Residuos de Atención y el sistema nativo de cuantización. Según Moonshot AI, estos cambios arquitectónicos aumentan la eficiencia de escalabilidad en aproximadamente 2,5 veces en comparación con Kimi K2.
Con los archivos públicos, los desarrolladores pueden descargar e implementar Kimi K3 usando herramientas como Transformers, vLLM y SGLang. La disponibilidad facilita pruebas, investigación y aplicaciones personalizadas.
Debido al tamaño del modelo, Moonshot AI recomienda usar configuraciones con supernodos de gran porte. La infraestructura necesaria es uno de los principales puntos técnicos para los equipos interesados en ejecutar Kimi K3 localmente.
La liberación de los pesos también permite que los investigadores analicen directamente la estructura del modelo, mientras que los desarrolladores pueden evaluar su desempeño en diferentes entornos de computación y aplicaciones de inteligencia artificial.
