- Pesquisadores da OpenAI identificaram o fenômeno das “alucinações” em modelos de linguagem, onde informações falsas são apresentadas com confiança.
- Um novo estudo sugere que as métricas de avaliação atuais incentivam respostas arriscadas, em vez de promover a admissão de incertezas.
- O estudo, intitulado “Hallucinations in Language Models: Causes, Consequences, and Countermeasures”, destaca que modelos como o GPT-5 e o Claude geram respostas erradas com frequência.
- Os pesquisadores propõem reformular as métricas de avaliação para recompensar a indicação de incerteza e punir erros cometidos com confiança excessiva.
- A OpenAI enfatiza a importância de uma abordagem mais cuidadosa no uso de sistemas de inteligência artificial, especialmente em contextos que exigem precisão.
Pesquisadores da OpenAI publicaram um estudo que investiga as “alucinações” em modelos de linguagem, como o GPT-5 e o Claude. O fenômeno, que se refere à geração de informações falsas apresentadas com confiança, continua a ser um desafio significativo para a confiança nas tecnologias de IA.
O estudo, intitulado “Hallucinations in Language Models: Causes, Consequences, and Countermeasures”, sugere que as métricas de avaliação atuais incentivam respostas arriscadas. Em vez de promover a admissão de incertezas, essas métricas recompensam respostas completas, mesmo que incorretas. Isso leva os modelos a arriscarem palpites, em vez de reconhecerem quando não têm informações suficientes.
Os pesquisadores relataram que, ao questionar um chatbot sobre o título da tese de doutorado de Adam Kalai, o modelo forneceu três respostas diferentes, todas erradas. Esse padrão se repetiu ao perguntar sobre sua data de aniversário. A OpenAI explica que o problema está no pré-treinamento dos modelos, que aprendem a prever palavras sem considerar a veracidade das informações.
Mudanças Necessárias
O estudo propõe que as métricas de avaliação sejam reformuladas. Os modelos deveriam ser recompensados por indicar incerteza e punidos por erros cometidos com confiança excessiva. Essa mudança poderia estimular respostas mais cautelosas e precisas. Além disso, a OpenAI sugere que métodos quantitativos, como o estimador Good-Turing, podem ajudar a calibrar a confiança dos modelos, reduzindo a geração de respostas inventadas.
Os pesquisadores também destacam que alguns modelos, como o Claude, demonstram maior consciência de sua própria incerteza, embora isso possa limitar a quantidade de respostas fornecidas. A OpenAI não comentou oficialmente sobre o estudo, mas enfatizou em seu blog que a reformulação das métricas de avaliação é crucial para aumentar a confiabilidade das IAs.
À medida que a inteligência artificial avança, é essencial que tanto desenvolvedores quanto usuários estejam cientes das limitações e riscos associados a essas tecnologias. O estudo da OpenAI ressalta a necessidade de uma abordagem mais cuidadosa no uso de sistemas de IA, especialmente em contextos onde a precisão é fundamental.
