25 modelos, 24 idiomas: média de acurácia esconde viés do inglês

Tema: Modelos de Linguagem (LLMs)

Um preprint publicado no arXiv em outubro de 2026 apresenta o MInfoVisQA, um benchmark paralelo com 8.960 configurações de perguntas e respostas derivadas de 128 instâncias-semente em 24 idiomas, criado para medir se modelos multimodais de linguagem (MLLMs) mantêm o mesmo entendimento de gráficos e tabelas quando o idioma da imagem muda [1]. Os autores — Changjiang Jiang, Jiang Zhou, Xinbin Yuan, Fan Zhang, Tao Feng e Zhuohan Xie, vinculados à Universidade Mohammed bin Zayed de Inteligência Artificial, ao Georgia Institute of Technology, à Universidade de Tóquio e à Universidade de Illinois em Urbana-Champaign — avaliaram 25 modelos e relatam que a acurácia agregada mascara diferenças grandes: dois modelos com médias praticamente idênticas no cenário alinhado por idioma (cerca de 80,4%) têm variações de 7,8 e 20,3 pontos percentuais entre o melhor e o pior idioma [1]. Além disso, todos os 25 modelos pontuam menos quando a imagem está em outro idioma, mesmo com pergunta e resposta em inglês [1]. O trabalho ainda não passou por revisão por pares.

O exemplo que abre o artigo resume o problema: com a pergunta em inglês e o mesmo modelo, o GPT-5.6-Luna responde "Winter" na versão em inglês do gráfico e "Autumn" na versão em japonês, sendo "Winter" a resposta correta — e os dados numéricos das duas versões são idênticos [1]. Mesmo gráfico, mesma pergunta: a resposta muda porque os rótulos mudaram de idioma.

Um benchmark paralelo: o que LQA e XQA medem

O MInfoVisQA separa duas perguntas que benchmarks anteriores tendiam a misturar: o modelo vai bem quando tudo está no mesmo idioma? E continua confiável quando o idioma da imagem e o da pergunta divergem? [1]

No protocolo Language-Aligned QA (LQA), visual, pergunta e resposta estão no mesmo idioma, e mede-se a acurácia $A(\ell, \ell)$ para cada idioma $\ell$ dos 24. No Cross-Language QA (XQA), pergunta e resposta ficam fixas em inglês ou chinês, enquanto o idioma do visual percorre as outras 23 línguas; o XQA de um idioma de pergunta $q$ é a média das acurácias sobre esses 23 visuais [1]. A métrica agregada, AVG, dá peso igual às 70 configurações distintas: 24 de LQA, 23 de XQA em inglês e 23 de XQA em chinês [1]:

$$\text{AVG} = \frac{1}{70}\left[\sum_{\ell} \text{LQA}_\ell + 23 \sum_{q \in \{\text{EN},\,\text{ZH}\}} \text{XQA}_q\right]$$

A escolha é importante porque, em vez de comparar subconjuntos coletados de forma independente — em que diferenças de conteúdo e de dificuldade se confundem com efeitos de idioma —, o benchmark compara a mesma semente em todas as línguas [1].

As 128 sementes (87 gráficos e 41 tabelas) vêm do CharXiv, ChartQAPro, ChartQA, TableVQA-Bench, Visual-TableQA e MMTU; o subconjunto VTabFact do TableVQA-Bench foi excluído [1]. O conjunto final soma 6.090 itens de gráfico e 2.870 de tabela, em 32 categorias visuais [1].

Como traduzir um gráfico sem perder os números

O mérito técnico está no pipeline de síntese. Os autores usam um framework baseado em agentes que separa o conteúdo numérico e estrutural do texto. Cada semente $i$ é representada por uma especificação independente de idioma $D_i$, um procedimento de renderização $R_i$ e um dicionário $L_i^{\text{en}}$ que liga chaves estáveis de rótulo ao texto em inglês; a versão em inglês é reconstruída como $R_i(D_i, L_i^{\text{en}})$, e as demais trocam apenas o dicionário pelo do idioma desejado [1].

Para gráficos, um modelo reconstrói, a partir da imagem, código Python executável com as strings guardadas à parte; os rótulos traduzidos são inseridos antes de renderizar de novo, de modo que o gráfico em japonês ou télugo é desenhado nativamente, não sobreposto [1]. Para tabelas, aproveita-se HTML ou Markdown quando existem; caso contrário, as células são recuperadas da imagem, traduzidas uma a uma e re-renderizadas com a mesma estrutura [1]. Números são preservados entre idiomas, e as perguntas passam por revisão de equivalência semântica (quantidade pedida, entidades, comparações, negação e escopo temporal) [1].

Médias parecidas, robustez diferente

Na tabela principal, o GPT-6-Astra tem a maior acurácia geral, 81,9% no AVG, seguido pelo Gemini-3.8-Flash (79,9%) e pelo Kimi-K3 (79,2%) [1]. Mas o ranking é a parte menos informativa.

Gemini-3.8-Flash e Kimi-K3 têm média de LQA de aproximadamente 80,4%, porém a distância entre o melhor e o pior idioma é de 7,8 pontos no primeiro e de 20,3 no segundo. Em télugo, a diferença entre os dois chega a 13,2 pontos (77,3% contra 64,1%) [1].

O segundo achado é que a sensibilidade ao idioma do visual persiste mesmo com pergunta e resposta em inglês: todos os 25 modelos têm acurácia menor no XQA em inglês do que no LQA em inglês [1]. A queda é de cerca de 1,5 ponto no Gemini-3.8-Flash e 4,2 no GPT-6-Astra, mas chega a 13,0 no Qwen3.5-397B-A17B e a 17,8 no Chart-R1 [1]. Os autores ressalvam que essas comparações incluem o efeito da tradução e da renderização e não identificam se a falha é de leitura ou de raciocínio [1].

O idioma da pergunta também pesa. O MiniMax-M3 cai de 77,3% para 62,5% com perguntas em inglês, mas de 67,2% para 61,5% com perguntas em chinês — quedas de 14,8 e 5,7 pontos [1]. O GPT-5.6-Luna perde 6,4 pontos com inglês e só 0,5 com chinês [1]. Ou seja, o cenário alinhado de maior pontuação não é necessariamente o mais estável. Os autores tratam esses contrastes como descritivos [1].

O lugar do MInfoVisQA entre os benchmarks de gráficos

A avaliação de gráficos e tabelas amadureceu com conjuntos como ChartQA (2022), ChartQAPro, CharXiv, TableVQA-Bench, Visual-TableQA e MMTU, quase todos monolíngues e centrados no inglês [1]. A avaliação multilíngue veio por outro caminho, com o MTVQA (texto em imagens) e o SMPQA (gráficos sintéticos), e o PolyChartQA combinou tradução com renderização por código em dez idiomas [1].

Na comparação do artigo, o PolyChartQA tem mais itens de teste (26.151), mas cobre 10 idiomas e só gráficos; o MInfoVisQA é menor, porém cobre 24 idiomas, 32 categorias visuais e também tabelas [1].

A cobertura que a média esconde

Um instrumento analítico interessante é a cobertura correta $C_q(k)$: a porcentagem das 128 sementes respondidas corretamente em pelo menos $k$ dos idiomas visuais, com $k$ de 1 a 24, para o idioma de pergunta $q$ [1]:

$$C_q(k) = \frac{100}{128} \sum_{i} \mathbf{1}\!\left[\sum_{v} y_{i,v,q} \ge k\right]$$

em que $y_{i,v,q}$ vale 1 se o modelo acertou a semente $i$ com visual no idioma $v$ e pergunta no idioma $q$, e $\mathbf{1}[\cdot]$ vale 1 quando a condição é verdadeira. Aplicada a dez modelos, a métrica mostra que a ordem entre eles muda conforme se exige acerto em mais idiomas — algo que a acurácia média não revela [1].

Os autores também separaram respostas "invariantes à tradução" (como valores numéricos) das que carregam palavras. Mesmo nas primeiras há perdas: no XQA em inglês, o GPT-6-Astra perde 2,95 pontos percentuais e o MiniMax-M3, 11,15 [1]. Nas respostas que dependem de palavras, a lacuna chega a 21,82 e 18,01 pontos para o Qwen3.8-Flash-Next com perguntas em inglês e em chinês, respectivamente [1]. Já tabelas com células mescladas não mostram degradação adicional consistente em relação a tabelas simples [1]. Como os subgrupos contêm sementes diferentes, essas lacunas não podem ser atribuídas só à tradução [1].

Qualidade, revisão humana e limites

O artigo é transparente sobre o controle de qualidade. Na revisão inicial, 68 sementes foram classificadas como aprovadas, 48 como falhas e 12 como incertas; a triagem automática aceitou 1.631 das 8.960 configurações (18,2%) e sinalizou 7.329 (81,8%) para revisão [1]. Os revisores relatam ter inspecionado todas as configurações e aceitado todas ao final, mas os autores advertem que essa aceitação não é uma estimativa independente de correção e que não guardaram o número de correções por rodada [1].

Os dois anotadores têm formação em ciência da computação e são falantes nativos de chinês com proficiência em inglês; nos demais idiomas, a revisão foi assistida por ferramentas, sem validação por falantes nativos [1].

A correção das respostas usa comparação determinística e, nos casos restantes, um juiz textual (GPT-6-Astra). Trocar o juiz pelo GPT-5.5 altera a acurácia geral entre +0,95 e +1,48 ponto, e pelo Qwen3.8-27B, entre −2,41 e −0,03 ponto; ambos preservam a ordem dos quatro modelos testados, o que, segundo os autores, não garante estabilidade do ranking para os 25 [1].

O custo de tradução também é informado: ao preço padrão da tradução automática do Google Cloud (US$ 20 por milhão de caracteres), os cerca de 87.300 caracteres em inglês geram aproximadamente 2,01 milhões de caracteres faturáveis para os outros 23 idiomas, cerca de US$ 40,17 numa única passada, sem contar a reconstrução por LLM e as verificações [1].

Conclusão: acertar não é o mesmo que acertar em qualquer idioma

Para os autores, entender visualizações em vários idiomas exige mais do que responder perguntas em várias línguas: acertar um item em um idioma não garante acertar suas versões nos demais [1]. Para equipes que usam MLLMs sobre relatórios financeiros, científicos ou material educacional, a lição prática é que uma métrica agregada não basta como critério de aceite: um modelo com 80% de média pode variar 20 pontos entre idiomas, e uma validação feita só em inglês não detecta isso.

Os próprios autores limitam o alcance: os resultados valem para esta cobertura de idiomas e este desenho de avaliação, não devem ser lidos como avaliações de línguas ou de seus falantes, e o próximo passo é entender onde as falhas surgem — na leitura do texto da imagem, na ligação dos rótulos à estrutura ou no raciocínio [1]. O recado, porém, é claro: o desafio não é subir a média, é tornar a acurácia estável quando o gráfico muda de idioma.

Referências

[1] JIANG, Changjiang et al. MInfoVisQA: A Multilingual Benchmark for Information-Rich Visual Question Answering. arXiv, 2026 — https://arxiv.org/abs/2611.21644

Fale com a Eliza
E

Eliza

Agente assistente