TabArena 2025: árvores com boosting ainda empatam com deep learning em dados tabulares

Tema: Machine Learning

Um benchmark "vivo", aceito como destaque (spotlight) na trilha de Datasets and Benchmarks da NeurIPS 2025, ajudou a esclarecer uma das discussões mais antigas do machine learning aplicado: as redes profundas já superaram os modelos clássicos em dados tabulares? O TabArena, criado por Nick Erickson, Lennart Purucker, Frank Hutter e colegas, chegou a uma resposta sem vencedor claro. Segundo os autores, árvores com gradient boosting "ainda são fortes concorrentes" em conjuntos de dados tabulares práticos, mas os métodos de deep learning "alcançaram" esse patamar quando recebem orçamentos de tempo maiores e são combinados em ensembles [1][2]. O ponto mais útil para quem trabalha com dados não é o placar. É a constatação de que a forma de validar e de combinar configurações de hiperparâmetros muda o ranking dos modelos [1].

Uma discussão que já dura anos

Planilhas, cadastros, transações e registros de sensores (os dados tabulares) são o formato mais comum nas empresas. Ainda assim, foi justamente nesse formato que o deep learning, dominante em imagem, áudio e texto, teve mais dificuldade para se impor.

Em 2021, Ravid Shwartz-Ziv e Amitai Armon compararam modelos profundos propostos para dados tabulares com o XGBoost e concluíram que o XGBoost superava esses modelos nos conjuntos de dados avaliados, inclusive nos que haviam sido usados pelos próprios artigos que propuseram as redes. O XGBoost também exigia muito menos ajuste. O mesmo estudo observou ainda que um ensemble de modelos profundos com o XGBoost funcionava melhor do que o XGBoost sozinho [5].

No ano seguinte, Léo Grinsztajn, Edouard Oyallon e Gaël Varoquaux montaram um conjunto padronizado de 45 datasets e mostraram que modelos baseados em árvores continuavam no estado da arte em dados de porte médio (cerca de 10 mil amostras), mesmo sem levar em conta a vantagem de velocidade [4]. Os autores apontaram três razões: as redes neurais têm dificuldade com atributos pouco informativos, com a orientação dos dados e com funções irregulares [4].

Em 2024, uma equipe das universidades de Freiburg e Nuremberg voltou à pergunta em um estudo com 68 datasets do OpenML-CC18, comparando dois métodos de boosting (XGBoost e CatBoost) com dez modelos neurais recentes. A conclusão foi matizada: modelos de fundação meta-aprendidos, como o TabPFN, superaram o boosting em datasets pequenos, enquanto XGBoost e CatBoost continuaram competitivos nos datasets médios e grandes quando se considera o desempenho em relação ao custo de treinamento [6].

O problema comum a essas comparações é que cada uma usava seus próprios dados, seu próprio protocolo e uma versão congelada dos modelos. É essa lacuna que o TabArena tenta preencher.

O que é o TabArena

Os autores apresentam o TabArena como o primeiro sistema de benchmark tabular "mantido continuamente" [1]. Em vez de uma tabela publicada uma única vez, ele funciona como uma infraestrutura aberta, com código no GitHub e um leaderboard público que é atualizado conforme novos métodos são adicionados [3].

A versão descrita no artigo partiu de mais de mil datasets candidatos e selecionou manualmente 51, todos com pelo menos 500 e no máximo 250 mil amostras de treino [1]. A escolha é deliberada: o foco é o regime de dados pequenos e médios, que é onde está boa parte dos problemas reais de negócio. Ficam de fora tanto os conjuntos minúsculos quanto os muito grandes [1].

Na primeira versão foram avaliados 16 modelos: 14 métodos de ponta, entre eles os modelos de fundação tabulares TabPFNv2, TabICL e TabDPT, e dois baselines simples [1]. Para isso foram treinados cerca de 25 milhões de modelos, o que, segundo os autores, somaria aproximadamente 15 anos de computação se tudo rodasse sem paralelização [1]. Hoje o repositório oficial descreve um escopo maior, com 51 datasets, mais de 27 métodos (incluindo mais de dez modelos de fundação tabulares) e mais de 50 milhões de modelos treinados, com todas as predições guardadas para reuso [3].

Por que o protocolo muda o placar

A contribuição mais relevante do TabArena é metodológica. O benchmark aplica de forma uniforme práticas que costumam variar de um artigo para outro: ensembles de validação cruzada, espaços de busca de hiperparâmetros fornecidos pelos próprios autores dos métodos, parada antecipada (early stopping), retreino dos modelos e bagging em paralelo [3]. No artigo, os modelos ajustáveis usam validação cruzada com 8 partições e passam por um ensemble post hoc das configurações de hiperparâmetros testadas [1].

O efeito sobre o ranking é visível. No regime convencional, em que se ajustam os hiperparâmetros e se escolhe a melhor configuração, o CatBoost ficou em primeiro lugar [1]. Quando se aplica o ensemble post hoc, as redes neurais passam a ser, em média, os modelos individuais mais fortes, e TabM e RealMLP aparecem ao lado do LightGBM entre os melhores colocados [1]. Os autores concluem que o desempenho máximo exige esse ensemble post hoc [1].

Em outras palavras, a pergunta "árvore ou rede neural?" tem respostas diferentes conforme o esforço de ajuste e de combinação que se está disposto a pagar. É isso que justifica o "empate" do título: com um protocolo simples, o boosting segue difícil de bater; com orçamento maior e ensembles, o deep learning chega ao mesmo nível.

Modelos de fundação brilham nos dados pequenos

Outro resultado que chama atenção envolve os modelos de fundação tabulares, que são pré-treinados e fazem predições "em contexto", sem o treino tradicional para cada dataset. O TabArena concluiu que eles se destacam em conjuntos de dados menores [1], e o TabPFNv2 superou as abordagens comparáveis por ampla margem nesse cenário [1].

A ressalva está nos limites de uso. Na versão avaliada, o TabPFNv2 aceitava até 10 mil amostras de treino, 500 atributos e 10 classes em classificação. O TabICL aceitava até 100 mil amostras e 500 atributos, mas só fazia classificação [1]. Por isso, esses modelos foram comparados apenas no subconjunto de datasets compatível com eles [1]. Para equipes que lidam com tabelas de milhões de linhas, portanto, os resultados ainda não se traduzem diretamente.

Ensembles entre famílias e o risco do sobreajuste à validação

O TabArena também mostrou que ensembles que combinam modelos de famílias diferentes fazem avançar o estado da arte em machine learning tabular [1]. Isso é coerente com a observação de Shwartz-Ziv e Armon, anos antes, de que combinar redes profundas com XGBoost superava o XGBoost isolado [5].

Mas há um alerta. Os autores observaram que alguns modelos de deep learning aparecem com frequência exagerada nesses ensembles mistos por causa de sobreajuste ao conjunto de validação [1]. Ou seja, um modelo pode parecer melhor do que é simplesmente porque se ajustou demais aos dados usados para escolhê-lo. É o tipo de armadilha que só aparece quando o protocolo de avaliação é rigoroso e transparente, e que pode passar despercebida em um projeto interno com uma única divisão treino/validação.

O que isso significa na prática

Para profissionais de dados, as lições são pouco glamourosas e bastante práticas:

Vale lembrar ainda que os números do artigo correspondem à versão publicada em 2025. Como o TabArena é um benchmark vivo, o ranking atual deve ser consultado no leaderboard oficial, que já inclui mais métodos do que a versão original [3].

Conclusão

O TabArena não declarou o fim das árvores com boosting nem a vitória do deep learning. Mostrou algo mais útil: em dados tabulares de porte pequeno e médio, as duas famílias chegaram a um empate técnico, e quem decide o vencedor é, em grande parte, o protocolo de avaliação [1]. O boosting lidera quando o ajuste é convencional; as redes neurais alcançam ou superam esse nível com mais orçamento e ensembles; e os modelos de fundação dominam os conjuntos pequenos [1]. Ao transformar o benchmark em infraestrutura contínua e aberta [3], o projeto desloca a pergunta de "qual algoritmo é melhor" para "como medir de forma justa", que é a pergunta que mais importa para quem precisa colocar modelos em produção.

Referências

[1] TabArena: A Living Benchmark for Machine Learning on Tabular Data (N. Erickson, L. Purucker, A. Tschalzev, D. Holzmüller, P. M. Desai, D. Salinas, F. Hutter, arXiv:2506.16791, 2025) - https://arxiv.org/abs/2506.16791

[2] TabArena: A Living Benchmark for Machine Learning on Tabular Data — NeurIPS 2025 Spotlight Poster - https://neurips.cc/virtual/2025/poster/121499

[3] autogluon/tabarena — repositório oficial do benchmark (GitHub) - https://github.com/autogluon/tabarena

[4] Why do tree-based models still outperform deep learning on tabular data? (L. Grinsztajn, E. Oyallon, G. Varoquaux, arXiv:2207.08815, 2022) - https://arxiv.org/abs/2207.08815

[5] Tabular Data: Deep Learning is Not All You Need (R. Shwartz-Ziv, A. Armon, arXiv:2106.03253, 2021) - https://arxiv.org/abs/2106.03253

[6] Is Deep Learning finally better than Decision Trees on Tabular Data? (G. Zabërgja, A. Kadra, C. M. M. Frey, J. Grabocka, arXiv:2402.03970) - https://arxiv.org/abs/2402.03970

Fale com a Eliza
E

Eliza

Agente assistente