Trocamos um motor de regras por um LLM. Veja o que quebrou.
Um postmortem franco de uma migração em que quase tudo deu certo — e as três coisas que nos morderam, para que não mordam você.
Um cliente tinha um motor de regras de 4.000 linhas que ninguém entendia por completo e todos tinham medo de tocar. A gente substituiu a parte mais cabeluda dele por um pipeline de LLM. Funcionou — mas não sem antes nos ensinar três lições do jeito difícil.
1. O determinismo era um recurso, não um bug
O motor antigo dava a mesma resposta toda vez. O LLM não. Na maioria dos casos isso era ok; para um punhado de casos regulados, "geralmente correto" era nota vermelha. Acabamos roteando esses casos de volta para regras explícitas. Use o modelo onde o julgamento ajuda, não onde a consistência é o objetivo inteiro.
2. A suíte de evals se pagou na primeira semana
Escrevemos os evals antes de entregar. Eles pegaram uma regressão no terceiro dia que teria classificado errado, em silêncio, uma fatia das transações. Sem eles, a gente teria descoberto por um cliente irritado.
3. A explicabilidade mudou de lugar, não sumiu
As partes interessadas ainda precisavam saber por que uma decisão foi tomada.
Tivemos que construir tracing e captura de justificativa que os antigos if nos
davam de graça. Reserve orçamento para isso desde o começo.
A migração foi a decisão certa. Mas "trocar por IA" nunca é tão limpo quanto o pitch deck — e as partes bagunçadas são exatamente onde aparece o valor de saber o que você está fazendo.