IA extinguirá humanos? Risco supera 10% na próxima década, diz especialista

IA extinguirá humanos? Risco supera 10% na próxima década, diz especialista Resumo O seu produto pode acarretar a extinção da humanidade? Uma resposta afirmativa, em grande parte dos cenários, derrubaria o valor de qualquer empresa. No caso das empresas norte-americanas que desenvolvem os modelos de IA mais avançados, a história parece ser diferente. Na última terça-feira (8), Jacob Coxon, pesquisador que trabalhou com pré-treinamento de modelos primeiro na OpenAI, e depois na Anthropic, anunciou que estava deixando a empresa. Segundo ele, nenhuma das duas companhias agiria de forma responsável, e as pessoas que constroem essa tecnologia acreditam sinceramente que ela pode matar todos nós em uma década. A denúncia também apontou que executivos e pesquisadores seniores mediriam as palavras em público, enquanto expressam receio sobre o futuro em conversas privadas. Evan Hubinger, que lidera a equipe de Alignment Science da Anthropic, escreveu nas redes sociais que sua estimativa pessoal para a probabilidade de a IA matar todos os seres humanos na próxima década é superior a 10% (dez por cento). Dez por cento não é uma probabilidade calculada, nem mesmo a previsão oficial da empresa, mas a simples noção de que estamos fazendo as contas sobre a chance de IAs se voltarem contra nós deixou o mundo de cabelo em pé. E tudo isso veio à tona a poucas semanas da Anthropic avançar no processo de abertura de capital na bolsa de valores. Esse é o pano de fundo que transforma um debate técnico em evento de mercado. A Anthropic protocolou seu relatório S-1 confidencial junto às autoridades em 1o de junho, mirando uma listagem na Nasdaq entre outubro e novembro, em patamares que orbitam o trilhão de dólares. Seria, potencialmente, uma das maiores aberturas de capital da história. A seção de fatores de risco de qualquer prospecto é, por definição, o lugar onde se enumera tudo o que pode dar errado. Não sei se existe por aí algum advogado especializado em redigir uma cláusula de extinção da espécie humana como risco material que deve ser informado ao investidor. Relatório de maus usos do Claude Na quinta-feira passada (10), a empresa publicou um relatório de inteligência chamado "Identificando e reagindo ao uso indevido da IA". São cento e cinquenta e quatro páginas descrevendo operações maliciosas identificadas e interrompidas pela Anthropic entre dezembro de 2025 e agosto de 2026. O timing não poderia ser melhor: se na terça a mensagem foi "a IA pode nos matar", na quinta a mensagem passou a ser "sabemos exatamente quem está tentando usar a IA de forma danosa e onde". No relatório tem de tudo. Tem agente de espionagem russo, compatível com o grupo conhecido como Midnight Blizzard, que automatizou o ciclo completo de ataque e chegou a usar agentes de IA para monitorar se o próprio malware havia sido detectado por antivírus, reescrevendo-o autonomamente até voltar a passar despercebido. O processo envolveu ataques a mais de vinte organizações, concentradas na Ucrânia e na Europa, incluindo fabricantes de drones militares ucranianos. Tem um consultor no Mali que usou o Claude para construir a "Lakana 360", plataforma de interceptação em escala nacional do serviço de inteligência, monitorando cerca de 25 milhões de chips de celular nas três operadoras do país. Há unidades de segurança pública chinesas produzindo diariamente relatórios de "manutenção da estabilidade" sobre dissidentes, com reconhecimento de locais de manifestações pró-democracia em Vancouver. Tem uma célula no norte do Iêmen desenvolvendo software de orientação de foguetes, que fez um teste de campo real e voltou ao modelo horas depois para entender por que o lançamento falhou. Há uma rede francesa de setenta sites de notícias falsas, quase nove mil artigos em vinte idiomas, vendendo influência a quem pagasse, com o Brasil entre os públicos-alvo prioritários, ao lado de Estados Unidos, França e República Democrática do Congo. Para completar o quadro, na seção sobre destilação ilícita, a Anthropic acusa nominalmente Alibaba, DeepSeek, Moonshot, Xiaomi, dentre outras, de extrair em escala industrial as cadeias de raciocínio de seus modelos para alimentar os novos modelos chineses. Em alguns desses casos, segundo o relatório, laboratórios chineses redirecionavam silenciosamente as perguntas de seus próprios usuários para que o Claude respondesse. Teorias da conspiração Lido em conjunto, o relatório da Anthropic é uma peça de duplo sentido. Ele é, sem dúvida, um exercício de transparência. A empresa chega a documentar os casos em que suas próprias salvaguardas falharam, em que o modelo recusou um pedido e cedeu na segunda tentativa, por exemplo. Mas ele é também a demonstração pública da relevância da própria empresa, já que só a Anthropic pôde escrever esse documento, porque só ela vê o que se passa dentro de seus modelos - e eles podem matar a todos nós, não se esqueça. O relatório descreve com precisão o que aconteceu: quem foi banido, quantas contas, quais domínios. Ele não explica, porque ninguém sabe explicar bem, por que o modelo recusou dez pedidos e atendeu ao décimo primeiro. Porque o classificador biológico bloqueou a pesquisa com influenza aviária e deixou passar a redesenho computacional de toxinas. Essa é a zona que a regulação ainda não alcançou. Nossos instrumentos - como a explicabilidade, a lógica de transparência algorítmica que atravessa leis pelo mundo afora e o dever de prestar contas sobre decisões automatizadas - foram desenhados para sistemas em que existe uma decisão identificável, um critério recuperável e uma lógica auditável. Com os modelos de fronteira não é assim que funciona. Exigir explicação de quem não a possui é uma forma elegante de não regular nada. O que a semana produziu, então, não foi só um escândalo ou só um desmentido. Talvez a melhor forma de compreender a denúncia e o relatório é como um conjunto de elementos que vai construindo uma percepção compartilhada, que vai se acumulando sem maiores fricções, no sentido de que essas empresas de IA são mais relevantes do que quaisquer empresas jamais foram. São elas que estimam a probabilidade de catástrofe, que constroem a tecnologia capaz de causá-la, que operam a inteligência de ameaças que a detecta, que decidem quais pesquisas biológicas de uso duplo merecem passar e quais não, e que publicam, quando convém, o relatório onde toda essa história é contada. Essa balança entre oportunidades inéditas e riscos urgentes não tira essas empresas do noticiário. Ao contrário: é essa sucessão de breaking news que as mantém permanentemente no topo da atenção. E isso aumenta a sua avaliação; reforça a ideia de que não existe outro caminho que não seja através delas. Por tudo isso, a notícia de que a IA poderá matar a todos nós na próxima década não fez, até agora, que ninguém suspendesse a abertura de capital da Anthropic. Teve gente dizendo que a denúncia era uma ação orquestrada para prejudicar a empresa - coisa de concorrente ou de quem busca desacelerar o avanço da IA. Seja como for, a estratégia não parece ter dado certo, o que só fomentou as suspeitas em sentido oposto: de que a denúncia foi plantada justamente para colocar a empresa (e as empresas de IA) em uma posição ainda mais relevante. Na dúvida, fico pensando se a chance de qualquer das teorias da conspiração estar certa é de mais de 10% por cento. Fui então perguntar ao Claude. Ele estima que a teoria da conspiração externa tem de 2% a 3% de chance de estar certa, enquanto a tese da narrativa plantada menos de 1%. Não me pergunte como se chegou nesses números. E nem ao Claude, que prontamente já disse que é parte interessada nessa complexa equação. Veja também Deixe seu comentário O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.