O que a HackerRank passou a medir em entrevista quando a IA faz parte do trabalho

Na segunda-feira, 5 de outubro, a HackerRank liberou para todos os clientes o Chakra, um agente de IA que entrevista candidatos. Segundo a TechCrunch, ele passou cerca de seis meses em teste e fez mais de 500 mil entrevistas nesse período. Snowflake, Snorkel e Capgemini estavam entre os primeiros a usar.

O candidato recebe uma tarefa baseada num repositório de código real e trabalha ao lado de um assistente de IA. O Chakra observa o processo e pergunta por que ele escolheu aquele caminho, ou o que mudaria se surgisse uma restrição nova. Ele une três etapas que eram separadas: a triagem do recrutador, o teste para fazer em casa e a conversa técnica final. A decisão de contratar continua humana.

O que o Chakra mede, e o que ele deixou de medir

A empresa diz que avalia pensamento crítico e julgamento. Também mede o que chama de "fluência em IA": como o candidato formula o problema para a IA, avalia o que ela devolve e a conduz até a solução.

O CEO, Vivek Ravisankar, resumiu a mudança numa frase: o modelo anterior de avaliação olhava a saída. Agora olha o caminho até ela.

Releia o critério. Ninguém ali está medindo a habilidade de escrever uma instrução enfeitada. Mede-se se a pessoa sabe o que quer, percebe quando a resposta está errada e corrige o rumo. Isso é conhecimento do trabalho. A instrução é o detalhe.

Por que "o especialista em prompt" é uma contratação frágil

Muita empresa tentou resolver a IA com uma pessoa que "sabe falar com a máquina". Às vezes foi um estagiário esperto, às vezes um consultor avulso. O raciocínio parece lógico: se o resultado depende da instrução, contrate quem escreve a melhor instrução.

O problema aparece em três pontos.

A instrução envelhece. O que funcionava com uma versão de modelo deixa de funcionar com outra. Quem guardou o conhecimento como receita de frase perde a receita.

O especialista não conhece a operação. Quem escreve a instrução sem saber por que o pedido de compra volta duas vezes para o financeiro produz texto bonito e resultado errado. Só quem faz o trabalho sabe quando a saída está errada.

O conhecimento fica numa pessoa. Se ela sai, a empresa volta ao zero e descobre que nada estava documentado.

O que o Chakra avalia é o oposto da receita: formular, conferir, corrigir. Essa habilidade serve em qualquer função. A TechCrunch registra ainda que o cargo de GTM engineer, que monta fluxos de pesquisa e qualificação de vendas, ganhou cerca de 100 vagas por mês segundo a Clay. O nome do cargo é de engenharia. O trabalho é de quem entende o processo e o transforma em sistema.

O que isso muda na contratação e no treino

Três ajustes práticos para o dono.

1. Treine quem faz o trabalho. O analista de compras, a pessoa do financeiro, o atendente. Eles já sabem quando o resultado está errado, e esse é o item mais difícil de ensinar.
2. Teste com tarefa real. Em vez de perguntar o que a pessoa sabe de IA, dê um problema da sua operação e observe como ela formula, confere e corrige. É o mesmo princípio do Chakra, em escala de conversa.
3. Documente o critério, não a frase. Escreva o que é uma boa saída e o que é uma saída que precisa de revisão. Esse documento sobrevive a qualquer troca de ferramenta.

A leitura da casa: o diferencial não está em quem escreve a melhor instrução. Está em quem conhece o processo bem o bastante para reconhecer quando a IA errou. É uma leitura nossa, e não uma conclusão da reportagem.

Um cuidado que a própria matéria registra

A TechCrunch lembra que aplicar o mesmo critério para todos não torna um sistema automaticamente livre de viés. Reguladores já olham ferramentas de contratação automatizada. Em Nova York, por exemplo, certas ferramentas exigem auditoria independente de viés e aviso ao candidato. Quem pensar em usar IA para triar gente deve tratar isso como risco de processo, com revisão humana e registro de como a decisão foi tomada.