Um grupo de pesquisadores da Universidade da Pensilvânia — Salma Tarmoun, Lachlan Ewen MacDonald, Konstantinos Emmanouilidis, Ziqing Xu e René Vidal — assina um preprint depositado no arXiv, ainda sem revisão por pares, que propõe uma estrutura geométrica única para explicar por que o gradient descent (GD) continua convergindo quando o passo de aprendizado ultrapassa os limites clássicos de estabilidade. O trabalho estende ao cenário de classificação linear separável uma abordagem até aqui restrita a mínimos quadrados sobreparametrizados, derivando limites explícitos para os iterados — e não apenas para a função de perda — e revelando um viés implícito transitório induzido por passos grandes [1]. A contribuição importa agora porque o chamado edge of stability (EoS) é rotina em treinamento de redes neurais, mas carecia de uma teoria que conectasse mecanismo e taxa de convergência sob o mesmo formalismo [1].
O regime que a teoria clássica simplesmente não cobre
A atualização canônica do GD é $\theta_{t+1} = \theta_t - \eta \nabla L(\theta_t)$. Dois fatos clássicos delimitam o que se sabe provar sobre ela. Primeiro, se o gradiente é $L$-Lipschitz em um conjunto convexo que contenha os iterados, o lema de descida garante que a perda decresce sempre que $0 < \eta < 2/L$ [1]. Segundo, o jacobiano do mapa linearizado é $I - \eta \nabla^2 L(\theta)$: um autovetor de curvatura positiva com autovalor $\lambda$ tem multiplicador $1 - \eta\lambda$ e torna-se expansivo quando $\eta\lambda > 2$. O maior autovalor da Hessiana — a "sharpness" — define, portanto, o limiar local $2/\eta$ [1].
Quando esse limiar é ultrapassado, os modos dominantes são localmente expansivos e a perda oscila de forma não monotônica. Ainda assim, a prática empírica é consistente: passos grandes aparecem associados a convergência mais rápida e, com frequência, melhor generalização [1]. O regime pode surgir de uma inicialização com taxa alta ou do chamado progressive sharpening, em que a curvatura local cresce ao longo da trajetória até tocar a fronteira de estabilidade [1]. O artigo formula então duas perguntas que orientam toda a análise: por que operar perto da instabilidade acelera a convergência e que garantias rigorosas podem ser dadas para dinâmicas oscilatórias desse tipo [1].
Três respostas parciais e a peça que faltava
O preprint organiza a literatura precedente em três linhagens complementares, e é explícito quanto ao que cada uma deixa em aberto [1]. A primeira é o mecanismo de autoestabilização de Damian et al. (2023), construído sobre uma expansão de Taylor de terceira ordem da perda, centrada em um conjunto definido pelo limiar de sharpness $2/\eta$. O termo cúbico induz realimentação negativa sobre a curvatura, e o GD passa a se comportar como descida projetada sob $\lambda_{\max}(\theta) \le 2/\eta$. O problema: o arcabouço explica o fenômeno, mas não produz taxas de convergência de ponta a ponta, e suas hipóteses envolvem quantidades locais dependentes da trajetória, difíceis de verificar analiticamente — até aqui confirmadas apenas numericamente em arquiteturas específicas [1].
A segunda linhagem é a de Wu et al. (2023, 2024, 2025), que derivam taxas rigorosas para perdas do tipo logística por meio de análise direta da estrutura do gradiente, com extensões a objetivos regularizados, modelos no regime NTK e SGD online. O limite é o espelho do anterior: as taxas existem, mas os argumentos não revelam o papel mecanístico da autoestabilização nem se estendem a outras famílias de perda sem uma análise especializada para cada caso [1].
A terceira é MacDonald et al. (2025), que unifica as duas visões para mínimos quadrados sobreparametrizados via expansão de Taylor em torno de uma variedade de minimizadores, produzindo uma decomposição paralelo-ortogonal que torna o mecanismo explícito e, ao mesmo tempo, entrega taxas. Sua dependência fundamental, porém, é a existência de uma variedade de minimizadores — precisamente o que falta nas perdas de classificação investigadas, onde o ínfimo da perda não é atingido em nenhum parâmetro finito [1].
A substituição geométrica: do manifold de minimizadores ao subespaço de curvatura
A manobra central do artigo é trocar a âncora geométrica. No lugar da variedade de minimizadores, os autores identificam um subespaço definido pela estrutura de curvatura da perda e mostram que decompor a dinâmica em relação a ele produz um sistema acoplado de duas equações: uma governa as oscilações ortogonais ao subespaço, a outra captura a deriva paralela, na qual um acoplamento de terceira ordem age como descida de gradiente implícita sobre a curvatura — a assinatura do mecanismo de autoestabilização [1].
O exemplo de aquecimento é uma perda bidimensional $L(x,y) = e^{-x}y^2$, cujo gradiente e Hessiana são calculados explicitamente. A curvatura se anula na direção $x$ quando $y=0$, o que sugere decompor o espaço de parâmetros em um subespaço de baixa curvatura (o eixo $x$) e seu complemento ortogonal (o eixo $y$). Definindo o limiar $x_*:= \log \eta$, emergem três regimes: fase instável, em que $|y_t|$ cresce alternando sinal, mas o crescimento é autolimitado porque um $|y_t|$ grande acelera o avanço em $x$; transição para estabilidade, com iterados que ainda oscilam mas contraem; e contração não oscilatória, quando o multiplicador cai para o intervalo $(0,1)$ [1].
Duas características estruturais migram para a análise geral: a atualização ortogonal é um mapa multiplicativo exato, cujo fator depende da coordenada paralela e não de $y_t$; e a sharpness sobre o subespaço decai exponencialmente ao longo da direção paralela, convertendo a observação qualitativa em taxas quantitativas. Uma terceira não migra: no exemplo, a perda restrita à direção paralela é identicamente nula, enquanto nas perdas de classificação o gradiente paralelo é não nulo e fornece deriva adicional — o termo de redução de curvatura atua como acelerador, não como motor único [1].
Do passo pequeno ao edge of stability: um recuo histórico
A prescrição de taxas de aprendizado pequenas para garantir convergência monotônica é antiga e está consolidada em textos clássicos de otimização convexa, como os de Nesterov e de Boyd e Vandenberghe [1]. A prática de aprendizado profundo seguiu outro caminho: receitas empíricas refinadas por experimentação extensiva, com normalização de camadas e de lote, e resultados de ponta obtidos com algoritmos simples como o GD [1].
O descolamento ficou evidente quando passos acima dos limites conservadores passaram a ser associados a ganhos de velocidade e generalização, e o fenômeno ganhou nome: edge of stability, caracterizado por perda não monotônica e dinâmica oscilatória [1]. A literatura que se seguiu mapeou progressive sharpening, oscilações benignas, dinâmicas de catapulta e viés implícito dependente do passo [1]. O que faltava não era descrição do fenômeno, mas uma ponte formal entre o mecanismo que o estabiliza e as taxas que o quantificam — lacuna que o preprint endereça com uma tabela comparativa explícita entre as abordagens [1].
O que o teorema garante: duas fases e três regimes de amortecimento
O resultado principal vale sob cinco hipóteses organizadas em duas famílias. A primeira descreve a geometria da paisagem: alinhamento de subespaço, comparabilidade relativa de curvatura — com tolerância $\delta_r$ medida em uma vizinhança tubular de raio $r$ — e compatibilidade perda-curvatura, exigindo que o gradiente paralelo impulsione a coordenada adiante e que a Hessiana restrita seja positiva definida e não crescente. A segunda família fornece o perfil de decaimento: decaimento local de curvatura em todo intervalo compacto e cauda exponencial, com gradiente paralelo e sharpness decaindo na mesma taxa $\beta_{\text{tail}}$ [1].
Sob admissibilidade do triplo $(\eta, r, \theta_0)$ — inicialização instável, raio pequeno o bastante para que o resto de Taylor não sobreponha a redução de curvatura, e oscilações contidas na vizinhança tubular, o que impõe um passo "grande, mas não grande demais" —, o Teorema 1 separa a dinâmica em duas fases. Na fase instável, os iterados permanecem na vizinhança tubular, a coordenada paralela cresce ao menos linearmente e a sharpness decai exponencialmente, $\lambda_1(\theta_t^\parallel) \lesssim \lambda_1(\theta_0^\parallel)e^{-ct}$, garantindo entrada finita em $t_{\text{stab}}$. Na fase estável, a coordenada paralela cresce ao menos logaritmicamente, $\theta_t^\parallel - \theta_*^\parallel = \Omega(\log t)$, e a sharpness decai sublinearmente, $\lambda_1(\theta_t^\parallel) = O(1/t)$ [1].
Com uma hipótese adicional de condicionamento uniforme, a fase estável se subdivide em três regimes: transição, em que as oscilações são não expansivas; contração linear, com $\|\theta_t^\perp\| \le (1-\varepsilon_*)^{t-t_{\text{lin}}}\|\theta_{t_{\text{lin}}}^\perp\|$ e margem $\varepsilon_* = \rho_{\text{tail}}(1-\delta_r)/(1+\delta_r)$; e decaimento polinomial, $\|\theta_t^\perp\| = O((t-t_{\text{poly}})^{-\gamma_r})$, com $\gamma_r = \rho_{\text{tail}}(1-\delta_r)C_{\text{tail}}(r)$ [1]. A leitura conceitual é precisa: $\lambda_1$ determina quando os iterados estabilizam; $\rho_{\text{tail}}$ determina se todas as direções ortogonais são amortecidas de forma comparável [1]. Aqui, $\lambda_1(\theta^\parallel)$ é o maior autovalor da Hessiana restrita ao complemento ortogonal $U$, avaliada na coordenada paralela — a sharpness "restrita" —, e $\rho_{\text{tail}}$ é uma constante de condicionamento uniforme que garante que essa Hessiana tenha curvatura de pelo menos $\rho_{\text{tail}}\lambda_1$ em qualquer direção de $U$ [1].
Logística e cross-entropy: as premissas se sustentam
A verificação concreta usa regressão logística com simetria de pares. Fixado um vetor unitário $v$, tomam-se pontos $x_i^{+} = a_i v + u_i$, com $a_i > 0$ e $u_i$ ortogonal a $v$, rotulados $+1$, e seus reflexos $x_i^{-} = -a_i v + u_i$, rotulados $-1$. A simetria de pares deixa cada termo da perda invariante sob $\theta^\perp \mapsto -\theta^\perp$, de modo que o subespaço $\mathcal{M} = \text{span}\{v\}$ é exatamente a linha de margem máxima, e a Hessiana restrita assume a forma $H(\theta^\parallel) = \frac{1}{N}\sum_i \phi''(a_i\theta^\parallel)u_iu_i^\top$ [1].
A Proposição 1 confirma as hipóteses com constantes explícitas: a tolerância de comparabilidade é $\delta_r = \cosh(u_{\max}r) - 1 = \frac{1}{2}(u_{\max}r)^2 + O(r^4)$, a taxa de cauda é $\beta_{\text{tail}} = a_{\min}$ (o menor dos $a_i$), em que $u_{\max}$ é a maior norma entre os $u_i$, e o condicionamento uniforme vale sob uma condição de geração — os componentes ortogonais dos vetores de suporte geram $U$ — com $\rho_{\text{tail}} = \lambda_{\min}(\Sigma_*|_U)/\lambda_{\max}(\Sigma|_U)$, em que $\Sigma = \frac{1}{N}\sum_i u_iu_i^\top$ reúne todos os pontos e $\Sigma_*$ é a mesma soma restrita aos vetores de suporte [1]. A extensão multiclasse substitui as duas direções binárias pelos vértices de um simplex regular centrado, com o raio positivo gerado pela solução de margem rígida de Crammer–Singer e curvatura governada pela covariância softmax das perturbações de logito [1].
Quando os vetores de suporte não geram o subespaço
O ponto mais original do artigo aparece na comparação entre geometrias. Define-se a razão de condicionamento $\rho(\theta^\parallel) = \lambda_{\min}(H)/\lambda_{\max}(H)$. No caso em que os vetores de suporte geram $U$, $\rho$ permanece limitado longe de zero e o maior autovalor governa a contração de todo o componente ortogonal. No caso em que não geram, $\rho \to 0$ conforme $\theta^\parallel \to \infty$: direções distintas contraem a taxas distintas, e a mais lenta pode receber apenas um orçamento finito de contração acumulada [1].
O Teorema 2 formaliza a dicotomia em termos de valores distintos $\alpha_1 < \dots < \alpha_L$ entre os coeficientes
$a_i$ e de subespaços aninhados: se o índice crítico é $j_* = 1$, então $\rho \asymp 1$ e vale a estrutura trifásica; se $j_* > 1$, então $\rho(\theta_t^\parallel) \asymp t^{-(\alpha_{j_*} - \alpha_1)/\alpha_1}$ [1]. Daí decorre o viés implícito transitório: embora o GD convirja assintoticamente para a direção de margem máxima, passos grandes podem deixar resíduos ortogonais persistentes e, em certas geometrias, amplificá-los. Dois efeitos competem — amplificação oscilatória e contração precoce na fase estável — e podem tornar $\|\theta_t^\perp\|$ crescente, decrescente ou não monotônico em $\eta$, conforme a geometria dos dados e a inicialização [1].
Evidência empírica, escopo e o que ainda falta
Os experimentos são declaradamente testes controlados das previsões teóricas, não validação em larga escala. Em um modelo logístico em $\mathbb{R}^3$, 24 pares de dados e $\dim U = 2$, a Figura 3 confirma a trajetória completa: crescimento oscilatório dentro da vizinhança tubular, contração linear na taxa $(1-\varepsilon_*)^t$ e decaimento polinomial com expoente medido $\gamma_r = 0{,}84$; o limite linear é apertado no início, mas folga à medida que $\eta\lambda_1$ cai abaixo do pior caso [1]. No experimento sem geração, com $\eta/\eta_c \in \{1; 1{,}5; 2; 2{,}5; 3\}$ e $\eta_c:= 2/\lambda_{\max}(\nabla^2 L(\theta_0))$, observa-se separação por componentes: o componente dos vetores de suporte decai até precisão numérica, enquanto o componente fraco estaciona em valor não nulo — e passos maiores amplificam esse resíduo na fase instável, resultando em ângulo maior, em tempo finito, em relação à linha de margem máxima [1].
As limitações são explicitadas pelos próprios autores. Identificar e verificar o subespaço de referência adequado em redes modernas permanece um problema aberto; a extensão a dados assimétricos ou a arquiteturas mais profundas fica para trabalho futuro, assim como a caracterização sistemática da dependência do viés em relação ao passo e seu papel em generalização e robustez [1]. O cálculo explícito da Hessiana não é necessário ao GD, e autovalores dominantes podem ser estimados por produtos Hessiana-vetor, mas isso não resolve a identificação do subespaço em escala [1].
Conclusão
O preprint não propõe um novo algoritmo: propõe uma gramática. Ao substituir a variedade de minimizadores por um subespaço definido pela curvatura, o trabalho consegue algo que as três linhagens anteriores faziam apenas parcialmente — tornar a autoestabilização quantitativa e, ao mesmo tempo, produzir taxas para os iterados, não só para a perda [1]. O achado mais consequente talvez não seja a taxa em si, mas a assimetria entre geometrias: quando os vetores de suporte não geram o subespaço ortogonal, o passo de aprendizado deixa de ser um detalhe de otimização e passa a influenciar, em tempo finito, a própria direção para a qual o modelo converge [1]. O próximo passo natural é testar se essa noção de viés transitório sobrevive ao salto para redes profundas — e se ela ajuda a explicar por que passos grandes, tantas vezes, generalizam melhor [1].
Referências
[1] Classification with Large-Step Gradient Descent: Unifying Self-Stabilization and Convergence Rates — https://arxiv.org/abs/2611.17459