Tenho notado algo recorrente nos projetos com IA embarcada na T2S e nas minhas aulas de Machine Learning na FATEC: a percepção de qualidade dos modelos hoje tem muito mais a ver com as camadas de raciocínio e RAG do que com o treinamento base em si. É frustrante ver um sistema de Geração Aumentada por Recuperação (RAG) se comportar como se tivesse a memória de um peixe dourado, refazendo as mesmas buscas e travessias custosas para consultas que já resolveu minutos antes.
O fim do RAG estático
A maioria das implementações que usamos hoje é estática e sem estado. Você constrói o índice, define os embeddings e o sistema repete o mesmo caminho toda vez. O paper do GAM-RAG ataca justamente essa burrice estrutural ao introduzir o que chamam de memória adaptativa por ganho. Eles se inspiraram na neurociência, especificamente no aprendizado hebbiano, onde conexões sinápticas se fortalecem pela ativação repetida.
O que me chamou a atenção não foi a metáfora biológica, mas a aplicação prática de filtros de Kalman para gerenciar a incerteza. Em vez de simplesmente atualizar pesos de forma cega, o sistema usa a perplexidade para decidir se deve aprender rápido com um sinal novo ou ser conservador com uma memória que já se provou estável. O resultado é uma redução de 61% no custo de inferência, o que para qualquer operação de escala é música para os ouvidos.
A armadilha do consenso falso
Outro avanço que merece atenção é o T3RL, que lida com o treinamento em tempo de teste. O grande risco de deixar um modelo se autoevolucionar por reforço é o colapso de modo falso-popular. Se o modelo começa a achar que uma resposta errada é a mais provável e passa a se premiar por isso, ele entra num loop de feedback positivo para o erro.
A solução proposta de usar verificação externa via ferramentas é o que traz o pé no chão para o processo. No meu livro Engenharia de Prompt para Devs, eu sempre reforço que o controle determinístico sobre a saída do modelo é a única forma de garantir segurança em produção. O T3RL faz exatamente isso ao validar rollouts com interpretadores de código antes de atribuir recompensas no RL.
Tudo isso aponta para uma tendência: a de que estamos parando de tratar o modelo como uma caixa preta estática e começando a construir sistemas que realmente aprendem com a interação.
Ainda tenho minhas dúvidas sobre a complexidade de manter esses grafos de memória em tempo real para milhões de usuários, mas o ganho de eficiência do GAM-RAG é difícil de ignorar. Vamos ajustar os pesos juntos. Conecte-se comigo: https://linktr.ee/ricardo.pupo.