Por que a IA alucina? OpenAI aponta falhas nos incentivos

Um estudo recém-publicado pela OpenAI traz uma reflexão sobre um dos maiores desafios da inteligência artificial generativa: as alucinações. Definidas pela própria companhia como declarações falsas, mas convincentes, geradas por modelos de linguagem, essas falhas continuam a aparecer mesmo nas versões mais recentes de sistemas como o GPT-5 e o ChatGPT.

Segundo a OpenAI, e reportagem do TechCrunch, o problema não será completamente eliminado, mas pode ser reduzido. Para ilustrar, pesquisadores pediram a um chatbot conhecido informações sobre a tese de doutorado do cientista Adam Tauman Kalai. A resposta veio com três títulos diferentes, todos incorretos. Quando perguntado sobre a data de aniversário do pesquisador, a ferramenta novamente inventou três datas erradas.

De acordo com o artigo, as alucinações têm relação direta com o processo de pré-treinamento dos modelos. Nessa fase, as IAs são expostas a enormes volumes de texto e aprendem a prever a próxima palavra em uma sequência, sem distinção entre o que é verdadeiro ou falso.

Assim, padrões regulares, como ortografia ou uso de parênteses, são aprendidos de forma precisa. Já informações esparsas, como aniversários ou detalhes específicos, não seguem padrões claros e se tornam terreno fértil para respostas inventadas.

Leia também: Andrea Rivetti e a Arklok: 17 anos transformando tecnologia em solução

Incentivos que estimulam erros

Embora reconheça limitações no pré-treinamento, a OpenAI aponta que o problema maior está nos métodos de avaliação usados atualmente. O estudo compara esses testes a provas de múltipla escolha, em que o aluno pode arriscar respostas porque existe a chance de acertar por sorte, enquanto deixar em branco garante nota zero.

De forma semelhante, quando os modelos são avaliados apenas pela precisão — o percentual de respostas certas — eles acabam “aprendendo” a arriscar respostas mesmo sem certeza. “Se o principal critério de sucesso continuar premiando palpites sortudos, os modelos continuarão a adotar esse comportamento”, destacam os autores.

Possíveis soluções

Para reduzir o problema, os pesquisadores propõem que os sistemas de avaliação passem a punir mais severamente os erros dados com confiança do que as respostas incertas. Além disso, sugerem a adoção de “créditos parciais” para quando o modelo admite não ter certeza, em vez de penalizá-lo da mesma forma que um erro completo.

A lógica é inspirada em exames como o SAT, nos Estados Unidos, que já aplicaram pontuações negativas para desencorajar palpites aleatórios. Para a OpenAI, não basta criar testes paralelos que valorizem a incerteza. É necessário revisar amplamente os principais sistemas de avaliação, que hoje seguem centrados apenas em métricas de acerto.

O artigo conclui que, enquanto a régua de desempenho continuar valorizando os acertos ocasionais, os modelos terão pouco incentivo para “aprender” a reconhecer e comunicar suas próprias limitações.

Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!