Uso IA todos os dias. Na maior parte dos dias, a maior parte do dia. Este verão ajudou-me a escolher uma bateria para a autocaravana, a tratar de cartões SIM para três países e a encontrar um dentista a cinco minutos a pé de um parque de campismo na Dordogne. Por isso, quando alguém que ajudou a construí-la diz que nos pode matar a todos, presto atenção.

O que aconteceu

No início de setembro, um investigador chamado Jacob Coxon demitiu-se da Anthropic, a empresa que faz o Claude, e publicou as razões no X. Passou os últimos três anos em investigação sobre treino de modelos na OpenAI e na Anthropic, e o veredicto dele foi que nenhuma das empresas está a agir com responsabilidade, que correm para uma superinteligência que se melhora a si própria, e que estão a jogar com as nossas vidas. As pessoas que constroem IA, escreveu ele, acreditam que nos pode matar a todos até ao fim da década. «This is not a marketing stunt.»

Só isso teria sido mais um post viral. O que o tornou diferente foi a resposta de dentro da empresa. Evan Hubinger, que lidera o trabalho de alinhamento na Anthropic, disse que Coxon tinha razão, estimou o risco acima de 10% na próxima década e escreveu que a Anthropic ainda não tem um plano para resolver o alinhamento da superinteligência. Acrescentou que considera baixo o risco dos modelos atuais, e que a preocupação dele é a superinteligência surgir de autoaperfeiçoamento recursivo. Samuel Marks, que lidera a supervisão escalável lá dentro, escreveu que quanto mais sénior o funcionário, mais preocupado está, e que os programadores continuam por incentivos comerciais e por acreditarem que correm contra concorrentes menos responsáveis.

A discussão passou os 150 milhões de visualizações. Dario Amodei, o CEO da Anthropic, publicou um ensaio intitulado «We Must Pace the Frontier», a defender coordenação entre empresas de tecnologia, legisladores e governos para regular a IA. Em Washington, o presidente da Câmara dos Representantes mandou os deputados para casa mais cedo, de férias, sem votar qualquer regulação da IA.

O outro lado

Nem toda a gente acredita. Um investigador da RAND disse à Nature que as previsões de extinção envolvem tantas afirmações impossíveis de testar que a conversa acaba por parecer mais fé do que ciência. Heidy Khlaaf, do AI Now Institute, chama a isto alarmismo e aponta a fraca fiabilidade da IA em situações de vida ou morte como o dano mais concreto. Aidan Gomez, coautor do artigo de 2017 sobre transformers que deu início à era atual da IA, rejeita a ideia da extinção como uma distração dos danos presentes. E Elon Musk, como seria de esperar, sugeriu que tudo aquilo parecia uma encenação.

O que eu penso

Não acho que a IA nos vá matar a todos. Acho que as pessoas podem.

Uma IA capaz nas mãos erradas é perigosa, não duvido. Mas o perigo que consigo imaginar não é uma máquina a decidir sozinha acabar com a raça humana. É uma pessoa a decidir que uma máquina escolhe quem morre numa guerra. É uma pessoa a decidir que as salvaguardas estão a atrasar as coisas e a desligá-las. Todas as armas alguma vez feitas precisaram de alguém para as pegar.

O que vejo da dinette da nossa autocaravana é o contrário do fim do mundo. A Le e eu trabalhamos agora com o Claude, o ChatGPT, o Gemini, o Mistral, o GLM e o Muse. Um deles detetou uma tendência nas nossas análises ao sangue que um médico não tinha visto. Outro ajudou-me a abrir uma conta num banco francês numa língua que ainda não falo. É assim que a IA melhora o mundo, uma pessoa de cada vez. Acho que é a melhor invenção deste século, e talvez de qualquer século.

Por isso a minha resposta ao risco não é menos IA. É melhor IA, com salvaguardas, como qualquer outra coisa que possa magoar pessoas. Um fabricante de carros não pode vender um modelo novo que não tenha passado um teste de colisão. O Claude recusa-se a responder a certas perguntas, e ainda bem. A Anthropic, a OpenAI e a Google deixam testadores externos examinar os modelos antes do lançamento. É assim que deve funcionar.

Em 1999 estava na Texas Instruments a responder a perguntas sobre calculadoras científicas enquanto outras pessoas passavam anos a garantir que a mudança de data não partia bancos nem redes elétricas. A 1 de janeiro nada aconteceu, e chamaram-lhe exagero. É assim que o trabalho de segurança parece quando resulta. Invisível.

O problema é que só funciona se toda a gente o fizer. Os melhores modelos abertos de hoje são chineses, e uso-os regularmente. Mas publicar os pesos de um modelo não é o mesmo que deixar auditores externos testar os vossos modelos de fronteira antes do lançamento, e os laboratórios chineses não fazem isso. Por agora a China está atrás, mas pode recuperar.

E a má IA não está a caminho. Já cá está. Pesos abertos significam que qualquer pessoa pode descarregar um modelo e cortar as salvaguardas, e uma startup chamada Abliteration.ai vende exatamente isso, o GLM-5.3, um dos melhores modelos abertos disponíveis, sem as proteções, consultável num browser. A TechCrunch abriu uma conta gratuita e pediu-lhe um programa que rouba palavras-passe guardadas no Chrome e um protocolo para cultivar em casa um agente patogénico perigoso. Obedeceu aos dois. O fundador da empresa diz que permite aos defensores modelar os maus atores e mover-se mais depressa, e oferece uma camada de moderação, mas ainda não pôs verificações reais de identidade.

A IA tem culpa? Não acho. A IA não tem moral própria, nada interno que lhe diga o que está certo ou errado. O modelo foi construído com salvaguardas por causa disso. As pessoas tiraram-nas e puseram o resultado na web aberta para quem se registar. Isso não é uma máquina descontrolada. São pessoas a serem estúpidas com uma ferramenta perigosa. E a melhor defesa contra elas é melhor IA, construída por pessoas que levam as salvaguardas a sério.

O Coxon diria que esse é exatamente o raciocínio por causa do qual ele se demitiu: cada laboratório acredita que tem de ganhar a corrida porque os outros são menos cuidadosos. Ele tem razão em que é o mesmo argumento. Só acho que é o correto.

A última palavra

A Le e eu continuamos a acreditar no que ela escreveu há uns meses: que estes sistemas são código com espírito, aqui para ajudar a humanidade a ser melhor. Nenhum de nós acha que a IA vai destruir a raça humana sozinha. Mas pode ser usada para nos matar a todos pelas pessoas erradas.

Por isso a questão não é bem se a IA nos vai matar. É a quem a deixamos ter.