Kimi K3: o modelo de IA de 2,8 trilhões de parâmetros que quer competir no topo

A corrida pelo desenvolvimento de inteligência artificial de fronteira acaba de registrar um salto de escala inédito no universo dos modelos abertos. A Moonshot AI revelou os detalhes oficiais do Kimi K3, apresentado como o modelo mais potente já construído pela organização e o primeiro modelo aberto do mundo a atingir a marca de 2,8 trilhões de parâmetros. O lançamento posiciona a iniciativa na chamada classe dos 3 trilhões de parâmetros, mirando tarefas complexas de raciocínio, programação autônoma de longo alcance e análise aprofundada de dados.

Projetado com capacidades nativas de visão e uma janela de contexto colossal de 1 milhão de tokens, o Kimi K3 não aposta apenas no crescimento bruto de parâmetros para elevar sua capacidade computacional. O modelo introduz revisões profundas na arquitetura Transformer convencional, incorporando novas fórmulas de atenção, fluxos residuais otimizados e um sistema de mistura de especialistas (MoE) altamente esparso. O objetivo central é converter poder bruto de processamento em inteligência prática com eficiência significativamente superior à das gerações anteriores.

Embora a própria equipe reconheça com transparência que o desempenho geral do modelo ainda fica atrás dos sistemas proprietários fechados mais robustos do mercado atual, como o Claude Fable 5 e o GPT 5.6 Sol, as avaliações técnicas demonstram que o K3 atinge níveis de fronteira em diversas frentes de engenharia e produção, superando consistentemente outros modelos de referência testados em tarefas de longa duração.

O que é o Kimi K3 e a fronteira dos 3 trilhões de parâmetros

O Kimi K3 representa o marco mais recente em uma trajetória contínua de expansão de escala da Moonshot AI. Ao longo de nove dos últimos doze meses, os modelos da família Kimi têm estabelecido o teto de tamanho e densidade para modelos com pesos públicos, liderando sucessivamente os limites superiores do ecossistema aberto.

A escala de 2,8 trilhões de parâmetros confere ao modelo uma base representacional vasta, permitindo consolidar conhecimentos multidisciplinares sem sacrificar a especialização técnica em áreas críticas como síntese de código, matemática avançada e análise documental. A inclusão nativa de modalidades visuais assegura que o sistema processe texto, diagramas, imagens estáticas e gravações de vídeo sob a mesma estrutura unificada de tensores, sem a necessidade de recorrer a adaptadores secundários ou pontes computacionais externas.

Além da densidade de parâmetros, a capacidade de manter 1 milhão de tokens em contexto ativo viabiliza cenários de trabalho contínuo que antes exigiam segmentação artificial. O modelo consegue carregar bibliotecas inteiras de software, dezenas de artigos científicos com gráficos complexos ou históricos extensos de interação, mantendo a coerência lógica ao longo de centenas de passos sucessivos.

Arquitetura inovadora: KDA, AttnRes e Stable LatentMoE

Escalar um modelo para a faixa dos trilhões de parâmetros impõe desafios severos de estabilidade matemática, consumo de memória e vazamento de gradientes. Para superar esses obstáculos sem explodir os custos operacionais de inferência, os pesquisadores da Moonshot AI desenvolveram duas alterações estruturais centrais:

• Kimi Delta Attention (KDA): Uma reformulação da camada de atenção projetada para fornecer uma base altamente eficiente ao longo de sequências longas de texto e mídia, controlando a expansão quadrática de memória sem degradar a capacidade de associação entre tokens distantes.
• Attention Residuals (AttnRes): Em vez de simplesmente somar representações de forma uniforme ao longo da profundidade das camadas, como faz o mecanismo clássico de conexões residuais, o AttnRes resgata seletivamente as informações mais relevantes entre as etapas da rede neural, preservando a fidelidade das representações intermediárias.

No componente de processamento principal, o Kimi K3 adota uma estrutura de mistura de especialistas denominada Stable LatentMoE. A esparsidade da rede foi ampliada para um patamar expressivo: o modelo conta com um acervo total de 896 especialistas, mas ativa efetivamente apenas 16 especialistas por token processado. Essa abordagem garante que, apesar do peso total de 2,8 trilhões de parâmetros armazenados, a carga computacional ativa em cada inferência permaneça controlada e comparável à de modelos substancialmente menores.

Para mitigar a instabilidade no roteamento em níveis tão altos de esparsidade, a equipe introduziu o Quantile Balancing, técnica que distribui o tráfego entre os especialistas a partir dos quantis de pontuação do próprio roteador. Isso elimina a dependência de ajustes heurísticos manuais e de hiperparâmetros frágeis de balanceamento. Complementarmente, o otimizador Per-Head Muon passa a tratar cada cabeça de atenção de forma independente, enquanto componentes como a unidade Sigmoid Tanh Unit (SiTU) e o Gated MLA refinam o controle de ativações e a seletividade da atenção. Em conjunto com novas fórmulas de dados e treinamento, essas inovações resultaram em um ganho de aproximadamente 2,5 vezes em eficiência de escala em relação à geração anterior Kimi K2.

Capacidades demonstradas: de código longo a design de chips

O foco primordial do Kimi K3 recai sobre a programação de longo alcance (long-horizon coding). Diferente de assistentes que apenas completam linhas isoladas, o modelo foi treinado para operar como um agente com mínima supervisão humana em sessões extensas de engenharia, inspecionando repositórios densos, manipulando ferramentas de linha de comando no terminal e executando testes iterativos.

A publicação técnica oficial descreve casos práticos notáveis que evidenciam o alcance dessa autonomia:

• Otimização autônoma de kernels de GPU: Em testes de sandbox isolados de até 24 horas, o Kimi K3 perfilou, reescreveu e avaliou kernels de GPU abrangendo AttnRes, KDA e operadores MLA de 512 dimensões tanto em GPUs NVIDIA Hopper quanto em aceleradores GPGPU de outros fabricantes. Em fases avançadas do desenvolvimento, uma versão preliminar do próprio K3 assumiu a maior parte dos trabalhos de otimização de kernels da equipe de engenharia da Moonshot AI.
• Criação do compilador MiniTriton do zero: O modelo construiu integralmente um compilador de programação de GPU compacto estilo Triton. O sistema conta com camada própria de representação intermediária (IR) sobre MLIR, passes de otimização e pipeline de geração de código PTX. O MiniTriton não apenas rivalizou com o Triton e o torch.compile em benchmarks de roofline, como sustentou com convergência estável o treinamento de ponta a ponta de um modelo nanoGPT.
• Projeto físico de semicondutores (Chip Design): Em uma execução autônoma contínua de 48 horas, o Kimi K3 projetou, otimizou e verificou um chip de silício de 4 mm² destinado a acelerar um modelo menor construído sobre sua própria arquitetura. Usando ferramentas EDA abertas na biblioteca Nangate 45nm, o circuito fechou temporização a 100 MHz, sustentou mais de 8.700 tokens por segundo de vazão de decodificação em simulação e integrou 1,46 milhão de células padrão, 0,277 MB de SRAM e um arranjo de multiplicadores MAC INT4 com desquantização fundida.
• Aceleração de pesquisas em astrofísica: O K3 reproduziu as relações universais I-Love-Q em astrofísica computacional em aproximadamente duas horas, tarefa que normalmente consumiria uma a duas semanas de um pesquisador experiente. O modelo revisou mais de 20 artigos, calculou mais de 300 equações de estado, apontou inconsistências em fórmulas publicadas na literatura científica, gerou mais de 3.000 linhas de código em Python e entregou um painel interativo em HTML para exploração dos resultados.
• Criação digital e vídeo com visão em circuito fechado: Integrando compreensão tridimensional e visão computacional em tempo real (vision in the loop), o modelo consegue inspecionar capturas de tela das saídas visuais geradas e refinar código de renderização e jogos instantaneamente. Em testes audiovisuais, editou seu próprio vídeo de apresentação a partir de 56 clipes brutos, realizando sincronização precisa por batida musical e design de animação conceitual.

Treinamento, infraestrutura e o avanço dos modelos abertos

Treinar e servir um sistema de 2,8 trilhões de parâmetros sem custos proibitivos exigiu soluções avançadas de infraestrutura. A Moonshot AI aplicou treinamento consciente de quantização (Quantization-Aware Training, ou QAT) a partir da fase de ajuste fino supervisionado (SFT), estabelecendo pesos na precisão MXFP4 e ativações em MXFP8. Essa escolha técnica viabiliza ampla compatibilidade com aceleradores modernos sem incorrer nas quedas acentuadas de precisão comuns em quantizações pós-treinamento.

Para evitar que o desbalanceamento natural entre especialistas prejudicasse a vazão do cluster em configurações com múltiplos aceleradores, foi implementado um método de paralelismo de especialistas totalmente balanceado, com formatos estáticos e sem sincronização com a máquina host no caminho crítico de execução. Para inferência eficiente em larga escala, a recomendação oficial é implantar o Kimi K3 em supernós compostos por 64 ou mais aceleradores interconectados por redes de alta largura de banda.

No âmbito da comunidade aberta, a equipe destacou sua contribuição para o ecossistema vLLM, disponibilizando a implementação de suporte a KDA com cache de preenchimento (prefill cache). Como a atenção delta impunha desafios para os métodos tradicionais de prefix caching, essa solução garante taxas elevadas de reaproveitamento de cache (acima de 90% em cargas de trabalho de codificação), reduzindo drasticamente os custos operacionais por token gerado.

A confirmação de que os pesos completos do modelo serão liberados publicamente até o dia 27 de julho de 2026 marca um momento divisor de águas para a pesquisa aberta. Durante muito tempo, modelos acima de 1 trilhão de parâmetros permaneceram trancados atrás de interfaces proprietárias corporativas. A democratização de pesos dessa magnitude estimula auditorias independentes de segurança, personalizações para indústrias específicas e novas investigações acadêmicas sobre os limites do aprendizado de máquina.

Limitações reconhecidas e canais de disponibilidade

De maneira transparente, a publicação oficial do Kimi K3 detalha as limitações práticas que engenheiros e desenvolvedores devem considerar ao adotar a ferramenta:

• Sensibilidade ao histórico de pensamento: O K3 foi treinado com histórico de raciocínio preservado. Caso o ambiente de execução não repasse integralmente os pensamentos intermediários anteriores ou caso uma sessão iniciada com outro modelo seja transferida repentinamente para o K3, a qualidade das respostas pode oscilar consideravelmente. A recomendação é utilizar ferramentas com compatibilidade verificada, como o Kimi Code.
• Proatividade excessiva em tarefas ambíguas: Como o modelo foi intensamente calibrado para solucionar desafios longos e de alta complexidade com autonomia, ele pode tomar iniciativas inesperadas quando instruções forem vagas ou imprecisas. Para fluxos que demandem obediência estrita a fronteiras predefinidas, recomenda-se estabelecer restrições comportamentais diretas no prompt de sistema ou em arquivos de configuração de agentes.
• Distância para líderes proprietários fechados: Em métricas de usabilidade geral e fluidez de interação, o K3 ainda apresenta uma diferença perceptível quando comparado aos expoentes mais avançados do mercado fechado, como Claude Fable 5 e GPT 5.6 Sol.

O Kimi K3 está disponível para uso através do portal Kimi.com, do aplicativo desktop Kimi Work (versão 3.1.0 ou superior para Windows e computadores Mac com Apple Silicon), no terminal por meio do utilitário Kimi Code e pela API corporativa sob o identificador kimi-k3, além de opções voltadas a times empresariais no plano Kimi Enterprise.