- Pesquisas recentes mostram que chatbots de inteligência artificial, como o ChatGPT, utilizam informações de artigos científicos rebatidos sem alertar os usuários.
- Um estudo da Universidade do Tennessee revelou que o ChatGPT referenciou cinco artigos rebatidos sem mencionar suas reiterações.
- Outro estudo analisou 217 artigos rebatidos e também não encontrou menções sobre reações nos resultados do chatbot.
- A Fundação Nacional de Ciência dos EUA investiu R$ 75 milhões em modelos de IA para pesquisa científica, aumentando a dependência dessas tecnologias.
- A identificação de artigos rebatidos é dificultada pela falta de um padrão uniforme entre editores, complicando a detecção e atualização das informações.
Pesquisas recentes indicam que chatbots de inteligência artificial (IA), como o ChatGPT, podem utilizar informações de artigos científicos rebatidos sem alertar os usuários, comprometendo a confiança em suas respostas. Estudos realizados por pesquisadores, incluindo Weikuan Gu, da Universidade do Tennessee, revelaram que esses sistemas podem fornecer dados imprecisos, levando a interpretações errôneas.
Em um teste, o ChatGPT foi questionado sobre informações de 21 artigos rebatidos na área de imagem médica. Os resultados mostraram que, em cinco casos, o chatbot referenciou esses artigos sem mencionar suas reiterações, alertando os usuários apenas em três situações. Outro estudo, realizado em agosto, analisou 217 artigos rebatidos e de baixa qualidade, e também não encontrou menções sobre reações nos resultados do chatbot.
Preocupações com a Confiabilidade
A crescente utilização de chatbots para consultas médicas e revisão de literatura científica levanta preocupações sobre a confiabilidade dessas ferramentas. A Fundação Nacional de Ciência dos EUA investiu 75 milhões de dólares em modelos de IA para pesquisa científica, o que pode aumentar ainda mais a dependência dessas tecnologias. Especialistas, como Yuanxi Fu, da Universidade de Illinois, destacam a importância de usar a reiteração como um indicador de qualidade, alertando que o público deve ser avisado sobre artigos rebatidos.
Além do ChatGPT, outras ferramentas de pesquisa, como Elicit e Ai2 ScholarQA, também foram testadas e apresentaram resultados semelhantes, citando artigos rebatidos sem avisar os usuários. Algumas empresas começaram a implementar dados de reiteração em suas plataformas, mas a falta de um banco de dados abrangente e atualizado ainda é um desafio.
Desafios na Identificação de Retratações
A identificação de artigos rebatidos é dificultada pela falta de um padrão uniforme entre os editores. Termos como “correção” e “erratum” podem ser usados de maneiras diferentes, complicando a detecção. Ivan Oransky, cofundador do Retraction Watch, ressalta que criar um banco de dados completo de reiterações exigiria recursos significativos.
A situação é ainda mais complexa, pois muitos artigos são distribuídos em servidores de pré-impressão e repositórios, tornando a localização de versões atualizadas um desafio. A falta de verificação em tempo real contra dados de reiteração em motores de busca acadêmicos pode resultar em informações desatualizadas.
Os especialistas recomendam que mais contexto seja disponibilizado para os modelos de IA, incluindo críticas e revisões de artigos. A responsabilidade recai tanto sobre os usuários quanto sobre os criadores de ferramentas de IA, que devem ser cautelosos e críticos ao utilizar essas tecnologias em suas pesquisas.
