- A Anthropic, startup de inteligência artificial fundada em 2021, é apontada pela Cloudflare como líder em raspagem de dados da web.
- A empresa gera pouco tráfego de referência para os sites originais, o que levanta preocupações éticas e financeiras.
- A relação de “crawl-to-refer” da Anthropic é alta, resultando em custos crescentes para os proprietários de sites.
- A empresa contestou os dados da Cloudflare, citando possíveis problemas metodológicos e anunciou uma nova funcionalidade em seu chatbot Claude.
- A Cloudflare lançou o marketplace “Pay per Crawl” para que editores possam decidir sobre o acesso de bots de IA e serem remunerados por isso.
A Anthropic, startup de inteligência artificial fundada em 2021 por ex-funcionários da OpenAI, se destaca por seus modelos Claude, que competem diretamente com o ChatGPT. Recentemente, a empresa foi apontada pela Cloudflare como a líder em raspagem de dados da web, gerando preocupações éticas e financeiras.
A análise da Cloudflare revelou que a Anthropic apresenta uma relação de “crawl-to-refer” muito alta, ou seja, seus bots raspam intensivamente dados da web, mas geram pouco tráfego de referência para os sites originais. Isso levanta questões sobre o impacto financeiro para os proprietários de sites, que enfrentam custos crescentes devido à atividade dos bots. Um desenvolvedor relatou que os custos de seu cliente dobraram em meses, evidenciando o efeito da raspagem.
Questões Éticas
A situação não é nova, já que reportagens anteriores indicavam que o tráfego de bots de IA, especialmente da Anthropic e da OpenAI, estava elevando as despesas de computação em nuvem para muitos sites. Enquanto isso, empresas como o Google mantêm um equilíbrio mais favorável, enviando tráfego de referência significativo para os criadores de conteúdo.
Em resposta às críticas, a Anthropic contestou os dados da Cloudflare, alegando possíveis problemas metodológicos. A empresa também destacou uma nova funcionalidade de busca em seu chatbot Claude, que, segundo afirma, está aumentando o tráfego de referência para sites.
Iniciativas do Mercado
Para lidar com essas questões, a Cloudflare lançou o marketplace “Pay per Crawl”, que permite que editores decidam se permitirão o acesso de bots de IA e sejam remunerados por isso. A análise da relação “crawl-to-refer” exclui aplicativos nativos, o que poderia resultar em índices ainda mais baixos para a Anthropic.
Enquanto isso, a OpenAI não se manifestou sobre o assunto, e a Perplexity destacou que os bots estão cada vez mais alinhados com as intenções dos usuários, que buscam acesso livre ao conhecimento na web.
