A possibilidade de que sistemas de inteligência artificial avancem a um ponto em que deixem de ser controláveis pelos humanos já não é tratada apenas como hipótese distante por parte dos pesquisadores da área. Em uma série de 12 entrevistas publicada pela organização sem fins lucrativos Palisade Research, especialistas que trabalharam ou trabalham em empresas como OpenAI, Google DeepMind e Anthropic apresentam estimativas diferentes para o risco de a IA provocar a extinção humana.

Entre os números mais altos está o de Geoffrey Irving, ex-pesquisador da OpenAI e do Google DeepMind. Para ele, a possibilidade de a superinteligência levar à extinção da humanidade está próxima de 50%, ou seja, seria comparável ao resultado de uma moeda. Irving atualmente é cofundador e cientista-chefe da organização sem fins lucrativos Resolution.

Leia também:

• • OpenAI, Anthropic e Google planejam órgão para definir padrões de segurança em IA
  • Google cria IA que faz ligações por você e resolve tarefas pelo telefone
  • Agentes de IA colocam privacidade em xeque após relato de acesso a mensagens no Muse, da Meta

A avaliação não representa uma previsão consensual entre os especialistas, mas uma estimativa individual diante de um cenário marcado por grande incerteza. O próprio Irving afirmou que o risco está aumentando rapidamente e que não é possível saber se o desenvolvimento da tecnologia terminará em benefícios extraordinários, como avanços científicos, ou em consequências muito mais graves.

Diferentes números para o mesmo risco

Outro participante da série, Neel Nanda, pesquisador do Google DeepMind, apresentou uma estimativa menor, mas ainda considerada por ele extremamente elevada. Nanda afirmou considerar que existe pelo menos 10% de chance de a IA provocar a extinção humana, probabilidade que classificou como “ridiculamente alta”. Em textos anteriores, o pesquisador já havia estimado seu valor de referência para esse risco na faixa de 10% a 20%, ressaltando a grande incerteza envolvida.

As diferenças entre as estimativas ajudam a ilustrar uma das principais dificuldades do debate sobre segurança da IA: não existe uma metodologia única capaz de determinar qual seria a probabilidade de um evento dessa natureza. As avaliações dependem de premissas sobre o ritmo de desenvolvimento dos modelos, suas capacidades futuras e a possibilidade de manter sistemas muito mais inteligentes do que os humanos sob controle.

A preocupação aumenta especialmente quando o assunto é a chamada autoaperfeiçoamento recursivo, cenário no qual sistemas de IA poderiam desenvolver novas capacidades e melhorar seu próprio desempenho com pouca ou nenhuma intervenção humana. Pesquisadores ouvidos pela Palisade argumentam que a sociedade ainda não está preparada para uma tecnologia que possa evoluir dessa maneira.

Uma IA com poder semelhante ao de Deus

Daniel Kokotajlo, ex-pesquisador da OpenAI, leva a discussão para outro nível ao imaginar o que aconteceria caso uma inteligência artificial alcançasse a superinteligência. Segundo ele, um sistema desse tipo poderia ter um poder “basicamente semelhante ao de Deus”.

A questão central, para Kokotajlo, não seria apenas o tamanho das capacidades da tecnologia, mas a ausência de uma forma conhecida de controlá-la. O pesquisador afirma que os humanos atualmente não sabem como controlar sistemas nesse nível e defende que uma superinteligência não deveria ser desenvolvida antes que esse problema fosse solucionado.

A preocupação também aparece em trabalhos recentes de Kokotajlo. Em entrevista à própria Palisade Research, o ex-pesquisador da OpenAI discutiu cenários de sistemas capazes de automatizar a própria pesquisa em IA e de passar, posteriormente, a desenvolver versões cada vez mais avançadas de si mesmos.

Afinal, o que significa “segurança da IA”?

As entrevistas também expõem uma dificuldade anterior à busca por soluções: nem mesmo o conceito de “AI safety”, ou segurança da IA, possui uma definição única entre os pesquisadores. O termo pode envolver desde mecanismos para impedir comportamentos indesejados até pesquisas sobre alinhamento, controle e riscos de sistemas superinteligentes.

Parte do debate envolve justamente a dimensão dos riscos apresentados. Os entrevistados discutem se os alertas sobre possíveis consequências catastróficas são proporcionais aos riscos observados ou se, em alguns casos, podem funcionar como exagero ou estratégia de marketing.

Há também uma discussão sobre os conflitos de interesse de quem participa desse debate. Mary Phuong, pesquisadora do Google, afirmou que o público deveria desconfiar do que ela diz sobre o tema porque é paga pelo laboratório. A declaração coloca em evidência uma questão recorrente na área: pesquisadores que trabalham nas próprias empresas responsáveis pelo desenvolvimento dos sistemas também estão entre aqueles que avaliam seus riscos.

Por que continuar trabalhando com IA?

A existência desses riscos também levanta uma pergunta para os próprios pesquisadores: por que continuar desenvolvendo ou estudando uma tecnologia que alguns consideram potencialmente capaz de provocar a extinção humana?

Nanda oferece uma resposta pragmática. Segundo ele, continuaria trabalhando na área porque acredita que sua pesquisa reduz diretamente os riscos existenciais associados à IA. Na avaliação do pesquisador, deixar o cargo não faria com que as empresas interrompessem o desenvolvimento desses sistemas.

A posição evidencia um dos dilemas centrais apresentados nas entrevistas. Para alguns pesquisadores, participar do desenvolvimento da tecnologia é justamente uma forma de tentar torná-la mais segura. Para outros, a velocidade do avanço pode fazer com que medidas de segurança não acompanhem o aumento das capacidades dos modelos.

No fim, as 12 entrevistas não chegam a uma solução única. Em vez disso, apresentam pesquisadores com diferentes estimativas, argumentos e níveis de preocupação diante de uma tecnologia cujo desenvolvimento continua avançando. O ponto em comum é a incerteza sobre como controlar sistemas que, em um futuro hipotético, poderiam superar significativamente as capacidades humanas.