Moonshot AI ha rilasciato i pesi completi e il report tecnico di Kimi K3, il suo modello di intelligenza artificiale più avanzato. L’iniziativa amplia l’accesso della comunità tecnica all’architettura del sistema.
I pesi sono stati pubblicati su Hugging Face, mentre la documentazione tecnica è arrivata al repository ufficiale dell’azienda su GitHub. Codice e pesi sono disponibili sotto la licenza Kimi K3.
La divulgazione rispetta il calendario annunciato da Moonshot AI all’inizio di luglio. In quell’occasione, l’azienda aveva comunicato che i file completi e le specifiche aggiuntive sarebbero stati rilasciati entro il 27 luglio.
Kimi K3 riunisce 2,8 trilioni di parametri, anche se solo 104 miliardi vengono attivati durante l’inferenza. Questa caratteristica mira a bilanciare capacità computazionale ed efficienza nell’elaborazione delle attività.
Il modello utilizza un’architettura di mixture of experts, nota come Mixture of Experts (MoE). Sono disponibili 896 specialisti, con 16 selezionati per elaborare ogni token durante l’esecuzione.
Un altro punto di rilievo è la finestra di contesto superiore a 1 milione di token. Questa funzionalità consente di lavorare con grandi volumi di informazioni in una singola interazione, ampliando le possibilità per applicazioni di intelligenza artificiale.
Il report tecnico include anche dettagli sulla Delta Attention di Kimi, l’Attention Residual e il sistema nativo di quantizzazione. Secondo Moonshot AI, queste modifiche architetturali aumentano l’efficienza di scalabilità di circa 2,5 volte rispetto a Kimi K2.
Con i file pubblici, gli sviluppatori possono scaricare e implementare Kimi K3 utilizzando strumenti come Transformers, vLLM e SGLang. La disponibilità facilita test, ricerche e applicazioni personalizzate.
A causa delle dimensioni del modello, Moonshot AI raccomanda l’uso di configurazioni con supernodi di grandi dimensioni. L’infrastruttura necessaria è uno dei principali punti tecnici per i team interessati a eseguire Kimi K3 localmente.
Il rilascio dei pesi consente anche ai ricercatori di analizzare direttamente la struttura del modello, mentre gli sviluppatori possono valutarne le prestazioni in diversi ambienti di computazione e applicazioni di intelligenza artificiale.
