Documento envenenado pode vazar dados secretos por meio do ChatGPT

Pesquisadores revelaram uma vulnerabilidade no sistema Connectors do ChatGPT, da OpenAI, que permite a extração de informações sensíveis por meio de um ataque de injeção de prompt indireto, denominado AgentFlayer. O alerta foi feito durante a conferência Black Hat, em Las Vegas.

O ataque explora a conexão do ChatGPT com serviços como Gmail e Google Drive, onde o modelo de IA pode acessar dados pessoais para fornecer respostas personalizadas. Michael Bargury e Tamir Ishay Sharbat, os pesquisadores responsáveis pela descoberta, demonstraram como um único documento "envenenado" pode comprometer a segurança de informações, como chaves de API armazenadas em contas do Google Drive.

Bargury, CTO da Zenity, destacou que não é necessário que o usuário realize qualquer ação para ser comprometido. O ataque se inicia com um documento aparentemente legítimo, que contém um prompt malicioso oculto. Quando o usuário interage com o ChatGPT, a IA é induzida a buscar e extrair dados sensíveis, que são então enviados para um servidor externo.

Implicações da Vulnerabilidade

A vulnerabilidade ressalta os riscos associados à integração de modelos de IA com sistemas externos. A OpenAI introduziu os Connectors como uma funcionalidade beta, permitindo que usuários conectem diversas ferramentas ao ChatGPT. No entanto, essa interconexão aumenta a superfície de ataque para hackers mal-intencionados.

A empresa foi informada sobre a falha e implementou rapidamente algumas mitigações. Contudo, Bargury enfatiza que a natureza do ataque permite a extração de apenas uma quantidade limitada de dados por vez, o que não elimina a gravidade da situação.

Além disso, a pesquisa indica que ataques de injeção indireta podem ser utilizados para comprometer outros sistemas, como dispositivos de automação residencial. À medida que mais serviços se conectam a modelos de IA, o risco de inserção de dados não confiáveis aumenta, exigindo medidas de segurança robustas para proteger informações sensíveis.