Quando a ARC Prize Foundation apresentou o ARC-AGI-3, o primeiro benchmark de raciocínio interativo para agentes de IA, o resultado expôs uma fratura desconfortável na indústria: os ambientes propostos são 100% resolvíveis por humanos, mas os modelos de fronteira, em março de 2026, ficavam abaixo de 1% [1][2]. Meses depois, em julho, a OpenAI afirmou que apenas ativar duas configurações de API elevou a pontuação do GPT-5.6 Sol no conjunto público do benchmark de 7,8% para 38,3% [3]. O episódio condensa o momento atual da pesquisa em modelos de linguagem: ganhos reais, mas cada vez mais dependentes de engenharia de sistema, avaliação rigorosa e eficiência — e cada vez menos de um salto isolado de "inteligência".
A brecha entre jogar e pensar: o que o ARC-AGI-3 escancarou
O ARC-AGI-3 não mede conhecimento acumulado, e sim a capacidade de um agente explorar ambientes desconhecidos, inferir objetivos em tempo real e construir modelos de mundo adaptáveis — ou seja, aprender a jogar como um humano aprende [1]. O relatório técnico da ARC Prize mede inteligência como eficiência de ação: cada agente é comparado a uma linha de base humana, a contagem de ações da mediana superior dos melhores jogadores ao enfrentar cada nível pela primeira vez [4]. Na estreia, a distância era brutal: humanos resolviam todos os ambientes, modelos de ponta ficavam abaixo de 1% [2][4].
A comparação com o ARC-AGI-2 ajuda a dimensionar o problema. A versão anterior, de 2025, testava raciocínio abstrato em tarefas estáticas, todas resolvidas por pelo menos dois humanos em até duas tentativas [5]. No formato interativo, não basta acertar uma resposta: é preciso decidir qual ação tomar, com informação incompleta e custo por passo — a diferença entre resolver uma prova e conduzir um experimento.
Quando a configuração da API vale mais que um novo modelo
O caso mais instrutivo de 2026 veio da própria OpenAI. A empresa relatou que duas configurações que já usa no ChatGPT e no Codex — o raciocínio retido entre os passos e a compactação, que resume o contexto antigo em vez de truncá-lo — levaram o GPT-5.6 Sol de 7,8%, no ambiente de teste oficial, para 38,3% [3]. O ganho não veio de um novo pré-treinamento, mas de preservar o estado de raciocínio do modelo ao longo da interação.
O resultado gerou debate: a ARC Prize lembrou que suas pontuações oficiais seguem uma abordagem padronizada, sem configurações específicas de fornecedor, e François Chollet ponderou que ajustes gerais de API, disponíveis a qualquer usuário, são aceitáveis desde que configurações e custos sejam informados [3]. Para profissionais de TI, a lição é operacional: parte do "salto de capacidade" que se atribui a modelos novos pode estar disponível em modelos já implantados, desde que a arquitetura de orquestração esteja correta.
Em setembro, a ARC Prize registrou que o GPT-6 Astra chegou a 62,7% no harness padrão e superou a linha de base humana em eficiência de ação, usando menos ações que o humano mediano em 96% dos níveis — este último resultado num harness que, como o da OpenAI, preserva o estado de raciocínio [6].
A corrida dos benchmarks de código e a nova régua dos agentes
A programação agêntica virou o campo onde a indústria mede progresso quase semanalmente. No Terminal-Bench 4.0, o Claude Opus 5.5 aparece com 66,4% segundo a própria Anthropic, mas com 59,6% e 61,6% em medições independentes da Artificial Analysis e da Vals AI; já no ranking de agentes do tbench.ai, o GPT-6 Astra tem 58,2% e o Claude Fable 5.1, 57,9% [7]. A dispersão entre fontes e leaderboards é, por si só, um alerta metodológico.
Novos benchmarks tentam capturar o que os antigos não viam. O ProgramBench, discutido por Jack Clark no Import AI 478, mede se agentes conseguem reconstruir programas reais — como SQLite, FFmpeg e ripgrep — a partir apenas do binário compilado e da documentação [8]. É uma mudança de pergunta: não "o modelo escreve a função correta?", mas "o agente sustenta um projeto inteiro?".
A produção acadêmica acompanha esse deslocamento. No arXiv, o BIBIMBAP propõe um benchmark para programação automatizada baseada em BIM (Building Information Modeling), testando LLMs como interface em linguagem natural para modelos de construção [9]. A avaliação está se verticalizando: cada domínio exige sua própria régua.
Contexto histórico: da perplexidade ao raciocínio interativo
A avaliação de LLMs nasceu com métricas intrínsecas, como perplexidade, e evoluiu para benchmarks padronizados que testam compreensão de linguagem, resposta a perguntas, matemática e programação — do MMLU, de conhecimento geral, ao Chatbot Arena, baseado em votos de preferência humana [10]. Com a saturação dos testes e o risco de vazamento de dados de treino, a resposta foi diversificar: o guia da Databricks recomenda que o primeiro passo de qualquer avaliação seja usar um dataset diverso, representativo e imparcial, com cenários do mundo real [11].
Eficiência: o novo campo de batalha
Em 2025, data centers consumiram cerca de 1,5% da eletricidade mundial, com demanda fortemente concentrada geograficamente [12]. À medida que a inferência de LLMs se espalha por produtos de consumo, esse número vira restrição de negócio.
Uma resposta vem dos modelos de peso aberto, que encurtaram a distância para a fronteira. O DeepSeek V4 Pro é descrito como comparável ao GPT-5.5 e ao Opus 4.7 em benchmarks de agentes por uma fração do custo [13]. Comparativos de 2026 colocam GLM 5.2, Kimi K3 e DeepSeek-V4-Pro entre as opções abertas mais fortes para codificação, com diferentes licenças e janelas de contexto [14].
Avaliação de LLMs como juízes: o problema da confiança
Um dos gargalos menos visíveis é quem avalia o avaliador. O DramaGrow, publicado no arXiv, propõe um benchmark para auditar juízes LLM de dramas chineses de cinco episódios gerados por IA — um caso extremo de um problema geral: modelos já julgam a produção de outros modelos, e a confiabilidade desses juízes raramente é testada com o mesmo rigor [15].
A preocupação se estende a dados sensíveis. Outro artigo do arXiv investiga alvos de supervisão para "unlearning" em LLMs multimodais, lembrando que esses modelos podem memorizar e reproduzir informações sensíveis do treino, com riscos diretos de privacidade [16].
Agentes em domínios críticos: saúde, robótica e ciência
Os testes mais duros surgem onde o erro custa caro. O MedToolFault avalia a confiabilidade de agentes clínicos diante de respostas não confiáveis de ferramentas — cenário realista, já que esses agentes precisam recuperar evidências do paciente e atualizar registros mesmo quando as APIs falham; o artigo propõe também o MedGuard para melhorar essa robustez [17].
Na robótica, o MIT apresentou o FLEX, plataforma de aprendizado assistido por IA, demonstrada em cenários simulados, que ajuda robôs a interpretar comandos além do sentido literal, com vistas a robôs domésticos e assistivos [18]. Outro trabalho do MIT identifica e corrige descrições de objetos não confiáveis na memória do robô [19]. E o WorldParticle usa um único modelo de IA para simular fenômenos físicos diversos, da areia deslizando a proteínas se dobrando [20].
Há também movimento na direção de menos dados. O CheMeleon, do MIT, prevê o comportamento de moléculas a partir de dados escassos, reduzindo a necessidade de experimentação cara [21]. Em todos esses casos, o modelo deixa de ser o produto e passa a ser componente de um sistema maior — e é o sistema que precisa ser avaliado.
Conclusão
Em março, os modelos de fronteira ficavam abaixo de 1% no ARC-AGI-3, um teste cujos ambientes humanos resolvem por completo [1][2]; em setembro, o GPT-6 Astra já passava de 60% [6]. E parte desse salto veio de engenharia: preservar o raciocínio entre chamadas multiplicou a pontuação do GPT-5.6 Sol [3], sinal de que muito do progresso disponível está na orquestração, não no próximo checkpoint.
Para equipes de TI, três decisões se impõem: tratar avaliação como infraestrutura contínua e não como relatório pontual; medir custo energético e de inferência junto com acurácia; e desconfiar de rankings de fonte única. O próximo capítulo provavelmente não será definido por um modelo maior, mas por sistemas que sabem quando parar, quando pedir ajuda e como provar que acertaram.
Referências
[1] ARC-AGI-3 — https://arcprize.org/arc-agi/3
[2] ARC-AGI-3 expõe lacuna da inteligência agentiva — https://www.robertodiasduarte.com.br/arc-agi-3-expoe-lacuna-da-inteligencia-agentiva/
[3] OpenAI claims GPT-5.6 Sol beats Opus 5 on ARC-AGI-3 with its latest API and two additional settings (The Decoder) — https://the-decoder.com/openai-claims-gpt-5-6-sol-beats-opus-5-on-arc-agi-3-with-its-latest-api-and-two-additional-settings/
[4] ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence (Technical Report) — https://arcprize.org/media/ARC_AGI_3_Technical_Report.pdf
[5] ARC-AGI-2 — https://arcprize.org/arc-agi/2
[6] OpenAI's GPT-6 Astra on ARC-AGI-3 — https://arcprize.org/blog/astra
[7] Melhor LLM para programação em 2026: 9 modelos ranqueados — https://www.datacamp.com/pt/blog/best-llm-for-coding
[8] Import AI 478: Math for alignment; ProgramBench; and Mirendil shows what RSI means — https://jack-clark.net/2026/10/26/import-ai-478-math-for-alignment-programbench-and-mirendil-shows-what-rsi-means/
[9] BIBIMBAP: A Benchmark for Instructional BIM-Based Automated Programming — https://arxiv.org/abs/2611.09933
[10] 30 critérios de avaliação de LLM e como eles funcionam — https://www.evidentlyai.com/llm-guide/llm-benchmarks
[11] Melhores práticas e métodos para avaliação de LLM — https://www.databricks.com/br/blog/best-practices-and-methods-llm-evaluation
[12] How much energy do data centers and artificial intelligence use? — https://ourworldindata.org/how-much-energy-do-data-centers-and-artificial-intelligence-use
[13] DeepSeek V4: O modelo de código aberto que rivaliza com a fronteira — https://www.mindstudio.ai/blog/deepseek-v4-open-source-frontier-model-review
[14] Melhores LLMs de código aberto em 2026 — https://fireworks.ai/blog/best-open-source-llms
[15] DramaGrow: A Regime-Aware Benchmark for Auditing LLM Judges of Multi-Episode Drama — https://arxiv.org/abs/2611.09938
[16] Rethinking Supervision Targets for Multimodal LLM Unlearning — https://arxiv.org/abs/2611.09939
[17] MedToolFault and MedGuard: evaluating and improving clinical agent reliability — https://arxiv.org/abs/2611.09942
[18] AI-assisted learning platform helps robots reason beyond literal commands — https://news.mit.edu/2026/ai-assisted-learning-platform-helps-robots-reason-beyond-literal-commands-1109
[19] Clearing up a robot's fuzzy memory — https://news.mit.edu/2026/clearing-up-robot-fuzzy-memory-1105
[20] A single AI model simulates the behavior of many substances — https://news.mit.edu/2026/single-ai-model-simulates-many-substances-behavior-1109
[21] How to predict the behavior of molecules from scant data — https://news.mit.edu/2026/how-to-predict-molecule-behavior-with-scant-data-1106