Como você sabe que a IA está respondendo certo? Evals, explicado sem jargão

A pergunta que trava qualquer reunião de IA

Em algum momento da conversa, alguém da diretoria faz a pergunta certa: "tudo bem, mas como a gente sabe que ela está respondendo certo?"

E a resposta que costuma vir é: "a gente testou, funcionou bem". Isso não é teste. É impressão. Impressão vale para escolher restaurante, não para colocar um sistema entre a sua empresa e o seu cliente.

O nome do teste de verdade é eval (de avaliação). É um conceito simples que virou jargão sem precisar — vamos desfazer isso.

O que é um eval, em uma frase

Eval é uma prova escrita para a IA: um conjunto de perguntas cuja resposta certa você já conhece, aplicada sempre que alguma coisa muda.

É exatamente a lógica de um gabarito. Você monta 60 casos reais da sua operação — perguntas que clientes fazem de verdade, documentos que o time processa de verdade — e registra, com ajuda de quem entende do assunto, qual é a resposta correta para cada um. Depois roda tudo pela IA e conta quantas ela acertou.

O número que sai disso é a nota da sua solução. Não é opinião de ninguém. É medição.

O que entra na prova (a parte que dá trabalho, e importa)

Um eval ruim só tem caso fácil. Um eval útil tem quatro tipos de caso:

1. O comum. O que acontece o dia inteiro. Se ela erra aqui, nada mais importa.
2. O de borda. O pedido incompleto, o cliente que escreve com erro de digitação, o documento fora do padrão, o caso raro que sempre aparece.
3. A pegadinha do negócio. Situações em que a resposta genérica seria plausível mas está errada para a sua empresa: uma exceção contratual, uma regra de desconto, um produto descontinuado.
4. O caso em que a resposta certa é "não sei". Talvez o mais importante de todos. Uma IA que inventa uma resposta segura é mais perigosa que uma que admite não ter a informação e encaminha para um humano.

Repare que montar isso não é trabalho de tecnologia. É trabalho de quem conhece a operação — a Camada C2, as pessoas que executam, decidem e vetam. É por isso que eval é uma conversa de negócio disfarçada de assunto técnico.

Quando rodar

Sempre que alguma coisa mudar. Na prática, três gatilhos:

• Antes de subir para produção. Nenhuma prova de valor vira produção sem nota. Esse é o portão da Fase 2 do Growth Tech.
• Quando você mexer em qualquer coisa. Mudou o modelo, mudou uma instrução, conectou uma fonte de dado nova: roda de novo. Ajuste que melhora uma coisa frequentemente piora outra, e sem eval ninguém percebe.
• Periodicamente, mesmo sem mexer. O negócio muda sozinho. Entra produto, muda regra fiscal, muda política comercial. A IA continua respondendo com a realidade de seis meses atrás até alguém medir.

Sem eval, o seu sistema de detecção de erro é a reclamação do cliente. É tarde, é caro e queima confiança do time — que depois não volta a usar.

O que fazer com a nota

Nota isolada não decide nada. O que decide é o combinado que você faz em cima dela:

• Qual é o piso. Abaixo de X% de acerto nos casos comuns, não sobe para produção. O número varia com o risco: sugerir um texto interno e responder um cliente sobre cobrança não podem ter a mesma exigência.
• O que é erro tolerável e o que é erro grave. Errar o tom é uma coisa. Afirmar um valor errado é outra. Erro grave tem tolerância zero, mesmo com nota geral alta.
• Onde entra o humano. Toda categoria em que a nota não é confortável ganha revisão humana antes de sair. Isso é guardrail, e guardrail não é desconfiança da tecnologia — é desenho de processo.

Por que insistimos nisso

Porque método é o que sabe dizer não. Chute vende qualquer coisa — e sem eval, qualquer fornecedor consegue demonstrar uma IA impressionante em cima de cinco exemplos escolhidos a dedo.

Com eval, a conversa muda de "parece bom" para "acertou 91% dos 60 casos que o seu próprio time montou, e os 9% que errou são destes tipos". Aí você decide com informação.

Tem ainda um ganho que sobra: o conjunto de casos com as respostas certas vira patrimônio da empresa. É documentação viva de como o seu negócio deveria responder — Camada C4, memória organizacional, escrita de um jeito que serve para treinar gente nova e para avaliar qualquer solução futura. Se um dia você trocar de modelo ou de fornecedor, essa prova continua sendo sua.

Quer aplicar essa prova na IA que a sua empresa já usa e ver a nota real? Fale com a AI Start no WhatsApp — a gente monta os casos junto com o seu time.