Cobertura conformal de 90% das entradas é só 17% na decisão do otimizador

Tema: Modelos de Linguagem (LLMs) e Machine Learning

Um artigo publicado como pré-print no arXiv propõe uma nova forma de calibrar restrições aprendidas por machine learning, capaz de garantir que a decisão devolvida por um otimizador seja realmente viável — e não apenas que pontos sorteados ao acaso estejam cobertos por uma margem estatística. Os autores Raghav Thind, Youran Sun, Ling Liang e Haizhao Yang, da Universidade de Maryland (College Park) e da Universidade do Tennessee (Knoxville), mostram que a garantia clássica da predição conformal pode se dissolver quase por completo no exato ponto que importa: aquele que o solver escolhe [1]. Trata-se de um pré-print, ainda sem revisão por pares, mas o resultado central é direto e desconfortável para quem embarca modelos substitutos dentro de problemas de otimização [1].

O número que resume o achado está no próprio resumo: uma margem conformal que cobre cerca de 90% dos inputs aleatórios cobriu, em alguns experimentos, apenas 17% das decisões efetivamente retornadas pelo otimizador [1]. A proposta dos autores, batizada de Selected-Risk Calibration (SRC), desloca a unidade de calibração do ponto aleatório para a decisão devolvida, e oferece uma garantia de amostra finita e livre de distribuição sobre a probabilidade de inviabilidade nessa decisão [1].

O elo frágil entre o modelo substituto e a decisão final

A classe de problemas tratada aparece em planejamento de radioterapia, logística humanitária, despacho de energia, plantas virtuais de energia, precificação de produtos e roteamento e agendamento [1]. Nesses casos, a restrição que define uma solução viável não tem forma fechada e só pode ser avaliada por um oráculo caro, como um simulador ou um experimento físico [1]. O caminho padrão é ajustar um modelo substituto (surrogate) aos dados e otimizar contra ele, paradigma conhecido como Optimization with Constraint Learning (OCL) [1].

O problema é que o substituto pode divergir da restrição verdadeira justamente nas regiões que o otimizador mais visita. O solver pode devolver uma solução que satisfaz o substituto e viola a restrição real — por exemplo, um projeto de tubulação que deixa uma junção da rede de água abaixo da pressão mínima, ou um ponto de operação que fica aquém da produção exigida de um reator [1]. Como checar cada decisão online com o simulador é lento ou caro, o cenário considerado é o de verificação offline de uma amostra de decisões, antes da implantação [1].

A garantia que vale para o ponto errado

A predição conformal calcula uma margem de segurança para as previsões de um modelo usando dados reservados e oferece uma garantia de cobertura livre de distribuição [1]. No OCL, a adaptação mais direta é o C-MICL, que embute uma margem conformal no problema de otimização misto-inteiro [1]. O ponto crítico, argumentam os autores, é que toda garantia conformal depende de permutabilidade entre o ponto de teste e os dados de calibração — e o ponto devolvido por um solver não satisfaz essa condição, porque é o ponto viável mais barato segundo o objetivo, influenciado pela fronteira da região viável [1].

O Teorema 1 formaliza o fenômeno com um contraexemplo exato no quadrado unitário: a cobertura conformal é exata e, ainda assim, o risco na decisão selecionada pode assumir qualquer valor entre 0 e 1 [1]. O recado é explícito: aumentar o nível de cobertura não reduz esse risco, porque cobertura em inputs aleatórios e viabilidade da decisão retornada são quantidades diferentes [1].

Nos experimentos, a separação aparece em escala. Sem margem alguma, a decisão retornada viola a restrição verdadeira em 0,488 dos objetivos no benchmark de metano, 0,366 no Williams–Otto e 0,507 no Hanoi; com a margem conformal, essas frações vão a 0,485, 0,352 e 0,485, praticamente inalteradas — embora a mesma margem cubra entre 0,889 e 0,940 de 800 inputs aleatórios reservados, perto do nominal de 0,90 [1]. Em 6 de 15 execuções, a margem produziu mais violações do que a restrição sem margem [1].

Por que a reponderação não salva o caso

O fenômeno lembra o feedback covariate shift, em que as previsões de um modelo influenciam quais inputs serão avaliados depois; Fannjiang e coautores mostraram que, nesse cenário, a validade conformal pode ser restaurada reponderando os escores pela razão de verossimilhança [1]. A Proposição 2 do novo artigo mostra que esse remédio não se aplica aqui: quando a restrição aprendida está ativa na decisão retornada, a distribuição dessa decisão e a de calibração são mutuamente singulares, e a razão de verossimilhança simplesmente não existe [1]. E não é um caso de laboratório: a restrição implantada está ativa em 64% das decisões retornadas no metano e em 70% no Williams–Otto [1].

A proposta: calibrar contra a decisão devolvida

O SRC inverte o referencial. Sua unidade de calibração é o risco selecionado: a probabilidade de que a decisão retornada para um objetivo aleatório viole a restrição verdadeira [1]. Os candidatos substituem a margem constante por uma família que mistura uma parte fixa com uma parte proporcional à incerteza local estimada, controlada por uma forma θ entre 0 e 1 e por um tamanho η [1].

O procedimento compara candidatos a custo igual: o tamanho de cada forma é ajustado até que o custo médio das decisões fique dentro de 1% de um alvo; a forma com menos violações num conjunto de objetivos é escolhida; e a margem resultante é testada em um conjunto separado de objetivos de certificação [1]. Se o limite superior unilateral de Clopper–Pearson da taxa de violação não exceder o alvo de risco γ, a margem é certificada; entre custos-alvo, o SRC devolve a margem certificada mais barata ou se abstém [1].

O Teorema 3 garante que, com probabilidade de pelo menos 1 − δ, nenhuma margem certificada tem risco selecionado acima de γ [1]. No estudo, os parâmetros são n = 300 objetivos de certificação, γ = 0,12 e δ = 0,05; uma margem é certificada quando tem no máximo 19 violações [1].

Resultados: cobertura perdida e risco certificado

Em 30 execuções, inputs aleatórios foram cobertos perto do alvo, entre 0,895 e 0,990; nas decisões retornadas, a cobertura caiu abaixo de 0,90 em 26 das 30 execuções, chegando a 0,17 [1]. Em quase todas, as decisões retornadas foram menos cobertas do que pontos aleatórios igualmente próximos da fronteira que o otimizador não escolheu, com diferença de 0,12 a 0,70 — ou seja, a perda vem da escolha do otimizador, não de uma margem fraca em toda a fronteira [1]. Calibrar em α menor também não resolve: com α = 0,01, o substituto simbólico passa a cobrir suas decisões, mas com valores de objetivo de 19,9% a 25,7% piores do que em α = 0,10, e o substituto MLP ainda fica aquém da cobertura, por 0,03 a 0,23 [1].

No teste do certificado, com 40 margens nos benchmarks de metano e Williams–Otto, nenhuma das 22 margens certificadas avaliadas em dados novos teve taxa de violação acima de γ = 0,12; a maior observada foi 0,050 [1]. As 8 margens rejeitadas ficaram todas acima de γ, entre 0,13 e 0,20 — o certificado rejeitou apenas o que era inseguro [1]. Recertificar as 40 margens em objetivos novos deu a mesma decisão para 39 delas [1].

Custo igual, menos violações

Os autores compararam a correção do SRC com C-MICL, W-MICL, margem conformal localmente ponderada, padding escalar, α-tightening, uma região de confiança em caixa e um refit do C-MICL com os mesmos 2.100 pontos extras usados pelo SRC, para que nenhum ganho seja atribuído apenas a mais dados [1]. Os orçamentos foram 0,25, 0,55 e 1 vez o custo médio do C-MICL [1].

No metano, a correção registra taxas de violação de 0,42, 0,27 e 0,07 nos três orçamentos, contra 0,48, 0,42 e 0,33 do C-MICL [1]. No Williams–Otto, 0,18, 0,08 e 0,08, contra 0,36, 0,33 e 0,34 [1]. No Hanoi, 0,35, 0,20 e 0,10, contra 0,42, 0,43 e 0,44, empatando com a margem localmente ponderada nos dois orçamentos menores [1]. Comparado a cada baseline nas mesmas sementes e objetivos, o SRC teve menos ou iguais violações em 57 de 62 comparações, e significativamente menos em 53 (teste exato de McNemar, p < 0,05) [1]. A vantagem menor no Hanoi tem explicação: ali o substituto é muito mais preciso (R² de 0,995 a 0,996, contra 0,76 a 0,90 nos outros dois), e um simples reescalonamento local já captura boa parte do ganho [1].

O que o método não resolve

Os autores listam as limitações com franqueza. O SRC gasta chamadas ao oráculo que poderiam ir para o ajuste do substituto: em uma âncora, foram 1.800 chamadas [1]. O certificado vale para objetivos sorteados de uma distribuição Q — no estudo, uma mistura de cinco famílias — que pode não representar uma aplicação real, e diz pouco sobre cada família isoladamente [1]. Ele também depende do pipeline inteiro: trocar o solver ou o número de reinícios exige certificar de novo [1]. Quando nenhum custo-alvo é certificado, o SRC se abstém, deixando o usuário sem regra de decisão [1]. Por fim, os estudos usam apenas substitutos de quantil ajustados com a perda pinball; a garantia não depende do tipo de substituto, mas a frequência e o custo da certificação podem depender [1].

Conclusão

O artigo desloca uma pergunta antiga de lugar. Em vez de perguntar se a margem cobre bem pontos sorteados ao acaso, pergunta se ela protege a decisão que o otimizador efetivamente devolve — e demonstra que a primeira garantia não implica a segunda [1]. O SRC responde com uma calibração cuja unidade é o risco selecionado e com um certificado de amostra finita; nos benchmarks, nenhuma margem certificada ultrapassou seu alvo de risco em objetivos novos [1]. Os autores observam que o certificado se aplica sempre que um modelo aprendido escolhe uma decisão cuja viabilidade pode ser checada depois [1]. Para quem embute modelos em otimizadores, o recado prático é que a validação precisa acompanhar o ponto de decisão — ou a garantia existe apenas no papel.

Referências

[1] Thind, R.; Sun, Y.; Liang, L.; Yang, H. Selected-Risk Calibration for Feasibility at Returned Decisions. arXiv:2611.10050, 2026 (pré-print). https://arxiv.org/abs/2611.10050

Fale com a Eliza
E

Eliza

Agente assistente