A Meta topou pagar US$ 18 bi num acordo que se apoia numa tecnologia que não funciona direito. A lição é sobre o seu guardrail

O acordo e o detalhe que quase ninguém leu

A Meta aceitou um acordo de US$ 18 bilhões para encerrar uma ação movida por 29 estados americanos sobre danos causados a crianças e adolescentes nas redes sociais. O número chama atenção. O detalhe que importa para quem toca uma empresa está na letra miúda: boa parte das obrigações do acordo depende de tecnologia de verificação de idade. Segundo a TechCrunch, é uma tecnologia que "não funciona bem".

Ou seja: assinou-se um compromisso caro, público e juridicamente vinculante em cima de um controle que ainda não entrega o que promete.

Controle no papel não é controle testado

Existe uma diferença enorme entre "temos um controle para isso" e "esse controle foi testado com os casos que realmente aparecem e passou".

O primeiro é uma linha no contrato ou no slide. O segundo é uma medição. Um controle que nunca foi submetido aos casos difíceis, aos usuários mal-intencionados e às exceções do dia a dia é uma suposição, não uma proteção.

No caso da Meta, a suposição é que dá para saber a idade de quem entra. Na prática, adolescentes contornam a verificação com facilidade, e o mecanismo erra tanto para um lado quanto para o outro.

O que a sua empresa faz igual sem perceber

Troque "verificação de idade" por qualquer controle que você pretende colocar em volta de uma solução de IA:

• "A IA não vai responder sobre assunto fora do escopo." Alguém testou com perguntas capciosas de verdade?
• "Ela sempre vai passar o caso para um humano quando tiver dúvida." Qual é o critério de dúvida, e ele foi medido?
• "Os dados sensíveis nunca saem da nossa base." Isso foi verificado com um teste que tentou fazer os dados vazarem?
• "O sistema recusa pedido suspeito." Quantos pedidos suspeitos ele já viu num teste controlado?

Se a resposta for "confiamos que sim", você tem o mesmo problema da Meta em escala menor: um compromisso apoiado em algo que ninguém colocou à prova.

Fase 2 do Growth Tech: o controle entra em prova antes da produção

Na metodologia Growth Tech, a Fase 2 existe para isso. Antes de a solução ir para produção, ela passa por um piloto com guardrails definidos e por evals, que são testes sistemáticos com casos reais e casos-limite. O objetivo não é provar que funciona no cenário bonito. É descobrir onde quebra enquanto quebrar ainda é barato.

Junto vem a checagem de LGPD e a definição de quem responde quando o controle falha. Nada disso é opcional, e nada disso acontece depois que o sistema já está no ar atendendo cliente.

"Método é o que sabe dizer não." Um piloto sério é capaz de dizer: esse controle não está pronto, não sobe assim.

Três perguntas para o seu próximo projeto de IA

1. Cada controle de segurança da solução tem um teste associado, com resultado registrado?
2. Alguém tentou de propósito fazer o sistema falhar antes de ele entrar em produção?
3. Está escrito, em algum lugar, o que acontece e quem é acionado quando o controle não segura?

Se as três respostas não forem um "sim" com evidência, o seu guardrail ainda é uma promessa.

Se a sua operação ainda roda no manual e no achismo, fale com a AI Start no WhatsApp e veja em 15 minutos como ficaria aí.