Resiliência na era da IA

A Fundação OpenAI existe para garantir que a inteligência artificial geral beneficie toda a humanidade.

Temos trabalhado incansavelmente para acompanhar os rápidos avanços na própria área da Inteligência Artificial. Em abril, a Fundação anunciou⁠ a sua primeira concessão de 100 milhões de dólares em Ciências da Vida e Cura de Doenças, com a ambição de ajudar a prevenir e tratar doenças como o Alzheimer, aproveitando a inteligência artificial avançada. Na semana passada, anunciamos⁠ nosso programa Empregos e Futuros Econômicos, com a esperança de compreender e moldar o que trabalho e prosperidade econômica significam para as gerações futuras.

Hoje, estamos expandindo nossa visão para o próximo grande programa: garantir que, à medida que as capacidades da IA crescerem, a capacidade da sociedade de aproveitá-las cresça na mesma proporção. Chamamos a este trabalho de resiliência da IA: a abordagem ecossistêmica necessária para mitigar os riscos da IA, de modo que a sociedade possa maximizar seus benefícios.

Nosso trabalho já começou. Nos poucos meses desde o início do nosso trabalho, a Fundação está a trabalhar para finalizar mais de 130 milhões de dólares em subsídios a organizações através do nosso programa de Resiliência em IA, que serão partilhados publicamente em breve, e mais virão.^1⁠

O padrão das tecnologias transformadoras

A importância da resiliência da IA é melhor compreendida através da análise de tecnologias do passado que moldaram significativamente a história da humanidade.

De tempos em tempos, surge uma tecnologia que remodela a sociedade desde a sua base. Os economistas chamam essas “tecnologias de uso geral”. Fogo. A prensa de impressão. Eletricidade. A internet. Cada uma seguiu uma trajetória semelhante: inovação rápida, riscos reais e instituições correndo para acompanhar o ritmo. Mas cada exemplo também mostra o que é necessário para tornar uma tecnologia poderosa segura.

O fogo tornou a civilização humana possível. Nos mantinha aquecidos, cozinhava nossa comida e nos protegia de predadores. Também reduziu nossas cidades a cinzas. Ao longo do tempo, as sociedades desenvolveram resiliência: materiais resistentes ao fogo, redes de hidrantes, corpos de bombeiros profissionais e códigos de construção. Um ecossistema, camada por camada.

A eletricidade seguia o mesmo caminho. Após a Estação Pearl Street de Edison iluminar Manhattan em 1882, a eletricidade trouxe incêndios, eletrocussões e pânico público. Sem proteções como fios isolados, disjuntores e normas, trabalhadores e transeuntes foram eletrocutados em cidades por todo o país. As cidades debateram se o experimento deveria ser abandonado por completo. Em vez disso, à medida que a tecnologia avançava, criamos órgãos de teste independentes, como a Underwriters Laboratories, normas do setor, como o Código Elétrico Nacional, e investimentos públicos que levaram energia a comunidades que o mercado havia deixado para trás. Cada etapa tornou a eletricidade mais segura e acessível; hoje, ela é tão segura que uma criança pode apertar um interruptor e a luz acende.

É assim que a resiliência se manifesta quando bem aplicada.

A IA requer um ecossistema resiliente.

A IA está seguindo a mesma trajetória das tecnologias anteriores, mas avançando a uma velocidade sem precedentes.

Ainda estamos nos estágios iniciais, mas os benefícios já são claros: a IA está reduzindo as barreiras para a criação de empresas, ampliando o acesso à educação, acelerando as descobertas científicas e transformando a medicina.

Ao mesmo tempo, os riscos estão surgindo com a mesma rapidez — e em um reflexo dos benefícios da IA. O mesmo crescimento que cria novas indústrias pode desestabilizar as já existentes e impactar negativamente carreiras. Os mesmos sistemas que podem ajudar os jovens a aprender e criar também podem levar a comportamentos adversos. As ferramentas que aceleram a pesquisa biológica podem diminuir as barreiras à criação de patógenos nocivos. E a capacidade da IA de escrever código, em mãos erradas, poderia ameaçar infraestruturas críticas.

A equipe inicial da OpenAI acreditava que garantir que a IA beneficiasse a sociedade dependia principalmente da solução do problema de alinhamento técnico. Isso continua sendo crucial — e fundamental para o nosso trabalho —, mas agora acreditamos que seja apenas uma peça do quebra-cabeça. À medida que a IA se difunde por diversos setores e nações, a sociedade também precisará de pesquisa independente, infraestrutura pública, coordenação industrial e campos de especialização inteiramente novos. Resumindo, será necessária resiliência da IA.

Optamos por concentrar nosso trabalho inicial em quatro áreas^2⁠ que se situam na interseção de grandes riscos a curto prazo e impacto imediato:

1. Biorresiliência para ajudar a prevenir futuras pandemias criadas em laboratório;

2. A ciber-resiliência é fundamental para garantir a segurança dos sistemas críticos do nosso mundo;

3. Segurança dos modelos de IA para consolidar o controle da humanidade sobre os modelos que criamos; e

4. O impacto da IA nos jovens para ajudar a tornar a tecnologia uma força positiva para as gerações futuras.

Nosso trabalho está apenas começando. Planejamos compartilhar mais detalhes sobre nossas estratégias e financiamentos iniciais em cada área, e expandir para outras áreas ao longo do tempo.

Biorresiliência

A inteligência artificial permitirá que a pesquisa biológica avance a uma velocidade sem precedentes, ajudando a desenvolver novas curas e melhorias na saúde pública que nos permitam viver com mais saúde e por mais tempo. No entanto, essas mesmas capacidades também podem ser mal utilizadas por agentes maliciosos, reduzindo as barreiras à criação de patógenos nocivos.

A era da IA exige um foco renovado na biossegurança. Como os sistemas avançados de IA podem ser mal utilizados por agentes mal-intencionados para ajudar a criar uma ampla gama de ameaças biológicas, daremos prioridade a soluções de biossegurança independentes de patógenos. Isso exigirá investimentos em prevenção, detecção e defesa. Precisamos dificultar o acesso de agentes maliciosos à expertise, aos equipamentos e aos materiais necessários para criar ameaças biológicas, aprimorar nossa capacidade de identificar e rastrear novos surtos precocemente e fortalecer as tecnologias — como equipamentos de proteção, sistemas de purificação do ar interno e contramedidas médicas — necessárias para uma resposta rápida e eficaz.

Ciber-resiliência

A inteligência artificial já começou a transformar rapidamente o cenário da segurança cibernética. Tarefas que antes exigiam equipes especializadas agora podem ser auxiliadas ou automatizadas por modelos avançados. Ao mesmo tempo, as capacidades de IA em constante evolução também podem fortalecer a defesa cibernética, ajudando a identificar e corrigir vulnerabilidades e a acelerar a resposta a incidentes.

Muitas grandes empresas e agentes privados podem gastar muito em cibernética para proteger seus próprios sistemas, inclusive com novos avanços em IA. Prevemos concentrar recursos significativos na segurança de outros atores sociais importantes que têm menos recursos e terão muito mais dificuldade para implantar defesas cibernéticas prontas para IA tão rapidamente quanto necessário. Em paralelo, também estamos focados em nos preparar para os novos desafios de segurança que a inteligência artificial geral acabará por trazer.

Segurança de modelos de IA

A segurança dos modelos de IA concentra-se no comportamento dos próprios sistemas — se são verídicos, confiáveis e alinhados com a intenção humana. Em um mundo onde isso dá errado, os modelos podem se descontrolar e se comportar de maneiras imprevisíveis, nos enganando ou buscando objetivos que vão além do seu projeto. Acertar nesse ponto torna-se cada vez mais importante à medida que os sistemas de IA se tornam mais autônomos e se aproximam — e eventualmente superam — a inteligência humana.

As empresas de IA estão investindo recursos substanciais na segurança dos modelos. No entanto, a importância desse desafio exige um ecossistema mais amplo e robusto: instituições independentes para avaliar a segurança dos modelos, infraestrutura pública para verificar a implantação segura dos modelos na prática e avanços contínuos na ciência do alinhamento que impulsionem o campo de forma abrangente.

O impacto da IA nos jovens

Os jovens costumam ser os primeiros a adotar novas tecnologias, usando-as para aprender, criar, comunicar e explorar o mundo. A IA não é exceção. Mas, à medida que essas ferramentas se tornam cada vez mais presentes no cotidiano dos jovens, é fundamental que desenvolvamos uma base de evidências mais sólida para compreender seus impactos.

Famílias, escolas, legisladores e organizações comunitárias estão avaliando como e quando os jovens devem interagir com a IA, bem como os impactos dessa tecnologia na conexão humana, na aprendizagem e no desenvolvimento. Em um primeiro momento, nosso foco será promover pesquisas independentes que contribuam para essas decisões, aprofundando a compreensão sobre a forma como a IA pode favorecer o desenvolvimento, quais riscos pode apresentar e quais fatores contextuais influenciam seus efeitos.

Essas informações devem orientar padrões de segurança e princípios de design abrangentes que direcionem o desenvolvimento de qualquer produto de IA, a forma como as escolas optam por implementá-los e se e como as famílias decidem incorporar essas tecnologias em suas vidas.

O trabalho que temos pela frente

Existe uma diferença crucial entre a IA e as tecnologias que a precederam: a velocidade.

A resistência ao fogo levou milênios para se desenvolver. A resiliência do setor elétrico levou décadas para ser alcançada. A resiliência da IA está evoluindo em questão de anos. Os sistemas que o tornam seguro, confiável e amplamente benéfico devem ser construídos em conjunto com ele.

Se fizermos tudo certo, a IA poderá se tornar parte da infraestrutura fundamental da vida moderna, ampliando o acesso ao conhecimento, acelerando descobertas e melhorando vidas em escala global.

Mas não há garantia de que isso aconteça. Nenhuma tecnologia de uso geral jamais foi totalmente segura.

A resiliência é um compromisso contínuo que exige a participação, o investimento e a colaboração pessoas e instituições. Esse é o trabalho que temos pela frente e um dos desafios que definirão nossa época. Esperamos contar com você.