A avaliação dos grandes modelos de linguagem entrou em crise declarada. Em texto publicado em fevereiro de 2026, a OpenAI explica por que deixou de reportar resultados no SWE-bench Verified — o conjunto de 500 tarefas de engenharia de software filtradas por humanos e criado em colaboração com a própria OpenAI —, apontando três problemas: testes simultaneamente estreitos e amplos demais, contaminação de dados e a incapacidade do benchmark de medir as capacidades de fronteira [1][2]. O movimento é sintomático de um setor em que os líderes de ranking já não distinguem modelos, e onde a disputa real migrou para agentes que executam tarefas de múltiplas etapas, eficiência de inferência e custo por token. Para profissionais de TI, a consequência prática é imediata: escolher modelo por posição em leaderboard ficou mais arriscado do que nunca.
O leaderboard que ninguém mais consegue ler
O SWE-bench se consolidou como o teste de referência para codificação agêntica: em vez de perguntas de múltipla escolha, ele entrega issues reais de repositórios open source e exige que o sistema produza um patch que passe nos testes. A versão Verified, com 500 instâncias filtradas por anotadores humanos, virou o padrão de fato da indústria [2]. O problema, segundo a OpenAI, é que o benchmark deixou de separar o joio do trigo — e passou a ser contaminado por dados de treinamento que incluem as próprias soluções [1].
A escala do ecossistema de avaliação explica parte da confusão. Plataformas agregadoras como a BenchLM informam 214 modelos ranqueados entre 1.020 LLMs rastreados, com 812 registros de benchmarks [3]. A LLM Stats mantém rankings ao vivo segmentados por raciocínio, programação, matemática, visão, agentes e uso de ferramentas [4]. O efeito colateral é um mercado onde qualquer fornecedor encontra um recorte em que seu modelo lidera — e onde o comprador precisa fazer o trabalho que o benchmark deveria ter feito.
O próprio site oficial do SWE-bench mantém leaderboards separados para várias versões do teste — Verified, Lite, Full, Multimodal e Multilingual [5]. A coexistência, na mesma tabela, de sistemas com variações de configuração de scaffolding — de loops simples de LM a sistemas com múltiplas tentativas e revisão —, torna a comparação direta uma ficção estatística [2]. Não é que os números estejam errados; é que eles medem coisas diferentes.
Do benchmark ao agente: a avaliação que importa agora
Se o SWE-bench mede um instante de geração de código, os sistemas que as empresas colocam em produção executam cadeias de dezenas de passos, chamam ferramentas externas e acumulam estado. É outro problema de engenharia. A Automation Anywhere descreve benchmarks de agentes como testes de capacidade de planejamento, invocação de ferramentas e conclusão de tarefas de múltiplas etapas [6]. Já a DataCamp detalha as métricas que capturam o que realmente falha em produção: taxa de conclusão de tarefa, precisão nas chamadas de ferramentas e calibração de recusas — ou seja, se o agente recusa o que deve recusar e atende o que deve atender [7].
Essa ênfase em confiabilidade não é acadêmica. A pesquisa recente em processamento de linguagem natural trata a perda silenciosa de evidência como problema mensurável: um artigo submetido ao arXiv em outubro de 2026 propõe o SELD, método para detectar quando a compressão de contexto descarta o trecho que sustentava a resposta — a resposta continua a mesma, mas fica sem lastro [8]. O mesmo padrão aparece em modelos de difusão multimodal, onde um trabalho descreve decodificação com consciência de passo para mitigar alucinações em MDLMs [9]. Em ambos os casos, o alvo é o mesmo: falhas que não quebram o sistema, apenas o tornam não confiável.
A FIAP descreve 2025 como o ano da experimentação e afirma que 2026 promete ser o ano da implementação real da IA generativa, com uma melhor percepção, por parte das empresas, da geração de benefícios para os negócios [10]. A leitura otimista é que o mercado amadureceu. A realista é que a métrica de sucesso mudou de "o modelo acertou" para "o agente terminou o fluxo sem intervenção humana" — e essa métrica ainda não tem padrão consolidado.
A conta invisível: eficiência virou fronteira técnica
Enquanto os benchmarks de capacidade saturam, a eficiência de inferência se tornou o campo onde há ganhos concretos a extrair. O gargalo mais citado é o cache KV, que cresce linearmente com o tamanho do contexto e com o número de requisições simultâneas. Uma revisão publicada no arXiv mapeia as estratégias de otimização desse cache em categorias, cada uma com um trade-off explícito entre eficiência de memória, custo computacional e acurácia do modelo, citando métodos representativos como o H2O [11].
O outro flanco é a atenção em contextos longos. Um trabalho publicado no arXiv e aceito no ICML 2026 propõe o DHSA (Dynamic Hierarchical Sparse Attention), framework que prevê a esparsidade da atenção durante a inferência e, segundo os autores, chega a acelerar o prefill em até 10 vezes com contexto de 128 mil tokens [12]. A motivação é simples: janelas de contexto de centenas de milhares de tokens são vendidas como recurso, mas o custo de processá-las pode inviabilizar o caso de uso.
A direção é consistente com o que a literatura técnica mostra: a distância entre o modelo de fronteira e o modelo economicamente viável para produção está sendo fechada por engenharia de sistemas, não por novos parâmetros.
Contexto histórico: a aleatoriedade que virou alucinação
Vale recuar. Benjamin Lindquist, professor assistente do MIT, estuda como engenheiros injetaram deliberadamente aleatoriedade nos primeiros sistemas de IA — decisão que deu origem aos modelos de aprendizado profundo que hoje, às vezes, alucinam [13]. A conexão não é retórica: a capacidade de generalizar e a propensão a inventar vêm do mesmo mecanismo estatístico. O que a indústria chama de alucinação é o preço da flexibilidade que tornou os LLMs úteis.
Essa origem ajuda a explicar por que a avaliação é tão difícil. Um sistema determinístico se testa com casos de borda; um sistema probabilístico precisa de distribuições, e distribuições exigem amostras grandes e conjuntos de teste não contaminados — exatamente o que falta quando os dados de treinamento rastreiam a web inteira. A crise do SWE-bench Verified não é uma falha de execução; é a consequência previsível de avaliar modelos generativos com instrumentos desenhados para software convencional [1].
O MIT tem produzido respostas técnicas nessa direção. O sistema WorldParticle aprende como a matéria se move e simula o comportamento de substâncias diversas — de areia deslizante a proteínas em dobramento —, com aplicações potenciais em robôs macios e medicamentos [14]. É um exemplo de modelo que não "conversa", mas modela: a avaliação, nesse caso, se faz contra simulações físicas, não contra preferências humanas. Outro projeto do MIT, o UQ-DAAAM, identifica e corrige descrições de objetos não confiáveis armazenadas na memória de um robô, melhorando sua capacidade de interagir com o ambiente [15] — um problema de consistência de memória que qualquer agente de longa duração enfrentará.
Treinamento, alinhamento e a sombra do RSI
No noticiário de pesquisa, o tema que ganhou tração no último trimestre foi a automação da própria pesquisa em IA. Jack Clark, autor da newsletter Import AI, dedicou edições recentes a "Math for alignment", ao benchmark ProgramBench e ao caso Mirendil, que, segundo ele, mostra o que RSI — recursive self-improvement, ou autoaperfeiçoamento recursivo — significa na prática [16]. Duas semanas antes, já havia abordado o tema em "Creativity and RSI", na mesma edição em que comentou modelos de pesos abertos aquém dos chineses [17]. Na edição de 9 de novembro, tratou de economias espaciais autossustentáveis, progresso de IA para ciência e dos esforços da Meta para construir mãos "perfeitas" para uma superinteligência [18].
A relevância para equipes de TI está menos no futurismo e mais no ciclo de vida do modelo. Se a pesquisa em IA passa a ser parcialmente automatizada, o intervalo entre gerações encurta, e o custo de reavaliar stacks internos cresce na mesma proporção. ProgramBench, citado por Clark, é justamente uma tentativa de medir capacidade de programação em um regime diferente do SWE-bench — reconstruir programas a partir do binário compilado e da documentação [16] — sinal de que a comunidade reconhece o esgotamento do padrão anterior e está construindo substitutos.
O que fazer com isso na prática
Três conclusões operacionais se impõem. Primeiro, abandonar o ranking único: com 812 registros de benchmarks numa só plataforma [3], a pergunta correta não é "qual é o melhor modelo", mas "qual conjunto de avaliações se parece com a minha carga de trabalho". Segundo, instrumentar os agentes antes de escalá-los — taxa de conclusão, precisão de chamadas de ferramenta e calibração de recusa capturam o que os scores públicos não mostram [7]. Terceiro, tratar eficiência como requisito de arquitetura, não como otimização posterior: cache KV e atenção esparsa definem o custo marginal por requisição e, portanto, o modelo de negócio [11][12].
A conclusão é menos dramática do que o noticiário sugere e mais exigente. Os modelos continuam melhorando; o que mudou é que a melhora já não é legível nos lugares onde a indústria estava acostumada a medi-la. A aposentadoria do SWE-bench Verified pela OpenAI [1] não é um recuo, é um aviso: quem ainda escolhe fornecedor por posição em leaderboard está comprando um número, não uma capacidade. O próximo ciclo será decidido por quem souber construir suas próprias avaliações — e por quem conseguir pagar a conta de inferência enquanto faz isso.
Referências
[1] Why SWE-bench Verified no longer measures frontier coding capabilities — https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
[2] SWE-bench Verified — https://www.swebench.com/verified.html
[3] BenchLM: LLM Leaderboard & AI Model Benchmarks — https://benchlm.ai/
[4] AI & LLM Benchmarks 2026: Rankings, Scores & Results — https://llm-stats.com/benchmarks
[5] SWE-bench Leaderboards — https://www.swebench.com/
[6] Benchmarks de agentes de IA em 2026 — https://www.automationanywhere.com/br/company/blog/ai-agent-benchmarks
[7] Avaliando agentes de IA: as métricas que capturam o que importa — https://www.datacamp.com/pt/tutorial/evaluating-ai-agents
[8] SELD: Detecting Silent Evidence Loss in Context Compression beyond the Answer — https://arxiv.org/abs/2611.12903
[9] Rethinking in Spikes: Mitigating Hallucinations in MDLMs with Step-Aware Decoding — https://arxiv.org/abs/2611.12901
[10] Do hype ao impacto: por que 2026 é o ano dos agentes de IA — https://www.fiap.com.br/radar-tech/post/do-hype-ao-impacto-por-que-2026-e-o-ano-dos-agentes-de-ia/
[11] KV Cache Optimization Strategies for Scalable and Efficient LLM Inference — https://arxiv.org/html/2603.20397v1
[12] Long-Context Modeling with Dynamic Hierarchical Sparse Attention for Memory-Constrained LLM Inference — https://arxiv.org/abs/2510.24606
[13] Q&A: How AI came to model the "messy" human mind — https://news.mit.edu/2026/qa-how-ai-came-to-model-messy-human-mind-1023
[14] A single AI model simulates the behavior of many substances, from sliding sand to folding proteins — https://news.mit.edu/2026/single-ai-model-simulates-many-substances-behavior-1109
[15] Clearing up a robot's fuzzy memory — https://news.mit.edu/2026/clearing-up-robot-fuzzy-memory-1105
[16] Import AI 478: Math for alignment; ProgramBench; and Mirendil shows what RSI means — https://jack-clark.net/2026/10/26/import-ai-478-math-for-alignment-programbench-and-mirendil-shows-what-rsi-means/
[17] Import AI 476: Creativity and RSI; worse-than-China open weight models; AI goes to space — https://jack-clark.net/2026/10/12/import-ai-476-creativity-and-rsi-worse-than-china-open-w
eight-models-ai-goes-to-space/
[18] Import AI 480: Self-sustaining space economies; AI for science progress, and Meta builds perfect hands for a superintelligence — https://jack-clark.net/2026/11/09/import-ai-480-self-sustaining-space-economies-ai-for-science-progress-and-meta-builds-perfect-hands-for-a-superintelligence/