A lacuna de eval, e por que é nela que os projetos morrem
A distância entre "a demo funcionou" e "eu confio nisso em produção" é, quase toda, uma questão de avaliação. Veja como fechá-la.
Há um momento em quase todo projeto de IA em que a energia se esvai da sala. A demo foi elétrica. A liderança ficou empolgada. Aí alguém colocou em produção e, três semanas depois, uma mudança discreta no prompt quebrou um fluxo que ninguém estava observando.
Chamamos o espaço entre esses dois momentos de lacuna de eval — e é nela que mais projetos de IA morrem do que em qualquer outro lugar.
A demo é mentirosa
Uma demo é um único caminho, escolhido a dedo, pelo seu sistema, executado em condições ideais pela pessoa que o construiu. A produção são dez mil caminhos, percorridos por pessoas que não sabem nem se importam com o jeito "certo" de usar. O modelo que arrasou na sua demo vai falhar de formas que você nem pensou em testar.
Avaliação é como você troca esperança por evidência. Não um check no feeling antes de entregar — uma estrutura permanente que avalia o seu sistema do jeito que os seus usuários de fato o estressam.
Como é quando está bom
Se você não consegue mudar um prompt numa sexta à tarde sem medo, você não tem evals. Você tem um passivo.
Três coisas, em ordem:
- Um dataset representativo. Casos que espelham como o seu app realmente falha, não só o caminho feliz.
- Um julgamento em que você confia. Às vezes um match de string. Às vezes um juiz LLM, calibrado contra rótulos humanos. Nunca "para mim está bom".
- Um gate. O eval roda no CI e bloqueia as regressões antes que cheguem à produção.
Nada disso é glamoroso. Tudo isso é a diferença entre um sistema que você mantém e um sistema que mantém rancor de você.