Por que a sua demo de RAG mente para você

Monte um protótipo de RAG sobre uma dúzia de documentos e parece mágica. O modelo responde a partir dos seus dados, cita uma fonte e você já começa a rascunhar o post de lançamento.

Aí você aponta para o corpus real, e a mágica azeda.

As falhas que esperam pela escala

• Chunking que destrói o sentido. Corte uma tabela ou um procedimento numerado ao meio e a recuperação devolve bobagem com confiança.
• Embeddings que erram o óbvio. A busca puramente vetorial passa batido em termos exatos, códigos de produto e nomes — justo o que os usuários mais buscam.
• Contexto que afoga a resposta. Enfie vinte chunks no prompt e o certo acaba soterrado.

A solução é nada glamorosa

Busca híbrida para que as palavras-chave continuem funcionando. Reranking para que o melhor chunk suba. Chunking que respeita a estrutura. E — diga comigo — um ciclo de evals que mede a qualidade da recuperação diretamente, para você descobrir quando ela cai antes dos seus usuários.

Nada disso é exótico. É só o trabalho que a demo deixou você pular.