A Moonshot AI liberou os pesos completos e o relatório técnico do Kimi K3, seu modelo mais avançado de inteligência artificial. A iniciativa amplia o acesso da comunidade técnica à arquitetura do sistema.
Os pesos foram publicados no Hugging Face, enquanto a documentação técnica chegou ao repositório oficial da empresa no GitHub. Código e pesos estão disponíveis sob a licença Kimi K3.
A divulgação cumpre o cronograma anunciado pela Moonshot AI no início de julho. Na ocasião, a empresa havia informado que os arquivos completos e as especificações adicionais seriam liberados até 27 de julho.
O Kimi K3 reúne 2,8 trilhões de parâmetros, embora apenas 104 bilhões sejam ativados durante a inferência. Essa característica busca equilibrar capacidade computacional e eficiência no processamento das tarefas.
O modelo utiliza uma arquitetura de mistura de especialistas, conhecida como Mixture of Experts (MoE). São 896 especialistas disponíveis, com 16 selecionados para processar cada token durante a execução.
Outro destaque é a janela de contexto superior a 1 milhão de tokens. Esse recurso permite trabalhar com grandes volumes de informações em uma única interação, ampliando as possibilidades para aplicações de inteligência artificial.
O relatório técnico também apresenta detalhes sobre a Atenção Delta de Kimi, os Resíduos de Atenção e o sistema nativo de quantização. Segundo a Moonshot AI, essas alterações arquitetônicas aumentam a eficiência de escalabilidade em aproximadamente 2,5 vezes em comparação com o Kimi K2.
Com os arquivos públicos, desenvolvedores podem baixar e implementar o Kimi K3 utilizando ferramentas como Transformers, vLLM e SGLang. A disponibilidade facilita testes, pesquisas e aplicações personalizadas.
Por causa do tamanho do modelo, a Moonshot AI recomenda o uso de configurações com supernós de grande porte. A infraestrutura necessária é um dos principais pontos técnicos para equipes interessadas em executar o Kimi K3 localmente.
A liberação dos pesos também permite que pesquisadores analisem diretamente a estrutura do modelo, enquanto desenvolvedores podem avaliar seu desempenho em diferentes ambientes de computação e aplicações de inteligência artificial.
