A Anthropic acionou a polícia após identificar uma ameaça de ataque na Flórida durante conversas de uma usuária com a inteligência artificial do Claude. Carli Michelle Heller foi presa sob acusação de fazer uma ameaça eletrônica de violência, algo considerado grave pela legislação do estado.

Segundo a ocorrência, Heller teria escrito em 26 de setembro que pretendia atacar o escritório do xerife e, no dia seguinte, teria mencionado que conseguiu uma nova arma. As mensagens foram identificadas pelos mecanismos automatizados de segurança e encaminhadas a uma equipe de revisão humana, que comunicou as autoridades.

O relatório policial afirma que o sistema da Anthropic monitora conversas em busca de expressões e conteúdos potencialmente ameaçadores. Quando uma mensagem é considerada grave, ela pode ser encaminhada para análise humana.

A empresa informa em sua documentação que pode fornecer dados às autoridades em situações de emergência nas quais considere que a divulgação é necessária para evitar risco de morte ou ferimentos físicos graves.

Como a Anthropic chegou à polícia?

De acordo com o relato, Heller usava a ferramenta de IA como um diário para registrar pensamentos e conversar sobre assuntos pessoais. As mensagens tratadas como ameaça teriam surgido nesse contexto.

A acusação contra ela é baseada no Estatuto da Flórida 836.10, que prevê punição para ameaças escritas ou transmitidas eletronicamente de morte, violência, tiroteio em massa ou ato terrorista. Registros judiciais indicam que Heller foi formalmente acusada pelo crime em 30 de setembro.

O caso reforça que, embora usuários possam recorrer a chatbots para conversar sobre questões pessoais, as plataformas não possuem obrigação de proteger essas informações. No ano passado, Sam Altman, CEO da concorrente OpenAI, já havia dito que os chatbots não seguem as mesmas regras de sigilo que um psicólogo ou advogado, por exemplo – além de poderem ser lidas por mecanismos de segurança, como no caso de Heller, o histórico das conversas também pode ser facilmente entregue às autoridades.

Chatbots monitoram conversas perigosas

A denúncia da Anthropic sugere que os laboratórios de IA podem ficar ainda menos tolerantes quanto a sugestões criminosas dentro de suas plataformas após casos nos quais a empresa virou alvo de ações legais quando o crime foi consumado.

Em um episódio recente, a OpenAI não acionou a polícia após identificar conversas sobre violência armada entre uma adolescente e a IA. A OpenAI foi processada depois de o crime acontecer.

Anthropic chama polícia após mulher ameaçar ataque em conversa com Claude