Resiliência na era da IA

A Fundação OpenAI existe para garantir que a inteligência artificial geral beneficie toda a humanidade.

Temos trabalhado incansavelmente para acompanhar a rápida evolução da própria IA. Em abril, a Fundação anunciou⁠ os nossos primeiros 100 milhões de dólares em bolsas de financiamento na área das ciências da vida e cura de doenças, com a ambição de ajudar a prevenir e tratar doenças como o Alzheimer, tirando partido da IA avançada. Na semana passada, anunciámos⁠ o nosso programa Emprego e Futuros Económicos, na esperança de compreender e influenciar a forma como o trabalho e a prosperidade económica serão definidos para as gerações futuras.

Hoje, apresentamos uma visão mais alargada para o próximo grande programa: assegurar que, à medida que as capacidades da IA aumentam, a capacidade da sociedade para as utilizar e delas beneficiar cresce com igual rapidez. Designamos este esforço por resiliência da IA: uma abordagem assente no ecossistema necessária para reduzir os riscos associados à IA, de modo a que a sociedade possa tirar o máximo partido dos seus benefícios.

O nosso trabalho já começou. Nos poucos meses decorridos desde que iniciámos o nosso trabalho, a Fundação encontra-se a finalizar a atribuição de mais de 130 milhões de dólares em financiamentos a organizações através do programa de Resiliência da IA. Estes apoios serão anunciados publicamente em breve, seguindo-se outros futuramente.^1⁠

O padrão das tecnologias transformadoras

A importância da resiliência da IA é melhor compreendida à luz de tecnologias do passado que moldaram de forma significativa a história da humanidade.

De tempos em tempos, surge uma tecnologia que transforma a sociedade de forma profunda. Os economistas chamam-lhes "tecnologias de uso geral". Fogo. A prensa tipográfica. Eletricidade. A internet. Todas seguiram uma trajetória semelhante: inovação acelerada, riscos reais e instituições a tentar acompanhar o ritmo. Contudo, cada caso também demonstra o que é necessário para garantir a segurança de uma tecnologia poderosa.

O fogo tornou possível a civilização humana. Manteve-nos aquecidos, permitiu cozinhar os alimentos e protegeu-nos de predadores. Também reduziu cidades inteiras a cinzas. Com o tempo, as sociedades desenvolveram resiliência: materiais resistentes ao fogo, redes de hidrantes, corpos de bombeiros profissionais e regulamentos de construção. Um ecossistema, camada após camada.

A eletricidade seguiu o mesmo caminho. Depois de a Pearl Street Station de Edison ter iluminado Manhattan em 1882, a eletricidade trouxe incêndios, eletrocussões e pânico generalizado. Sem proteções como cabos isolados, disjuntores e normas, trabalhadores e transeuntes eram eletrocutados em cidades por todo o país. As cidades debateram se a experiência devia ser abandonada por completo. Em vez disso, à medida que a tecnologia avançava, criámos entidades independentes de testes, como a Underwriters Laboratories, normas industriais, como o National Electrical Code, e investimento público que levou eletricidade às comunidades que o mercado tinha deixado para trás. Cada camada tornou a eletricidade mais segura e mais acessível; hoje, é tão segura que uma criança pode premir um interruptor e a luz acende-se.

É assim que a resiliência se manifesta quando é bem trabalhada.

A IA requer um ecossistema de resiliência

A IA está a seguir a mesma trajetória das tecnologias anteriores, mas a avançar a uma velocidade sem precedentes.

Ainda estamos numa fase inicial, mas os benefícios já são evidentes: a IA está a reduzir as barreiras à criação de empresas, a expandir o acesso à educação, a acelerar a descoberta científica e a transformar a medicina.

Ao mesmo tempo, os riscos estão a surgir com igual rapidez — e em paralelo com os benefícios da IA. O mesmo crescimento que cria novas indústrias pode transformar radicalmente as já existentes e desestabilizar carreiras profissionais. Os mesmos sistemas que podem ajudar os jovens a aprender e a criar também podem conduzir a comportamentos prejudiciais. As ferramentas que aceleram a investigação biológica poderiam reduzir a barreira à criação de agentes patogénicos nocivos. E a capacidade da IA de escrever código, nas mãos erradas, poderia ameaçar infraestruturas críticas.

A equipa inicial da OpenAI acreditava que garantir que a IA beneficiava a sociedade dependia sobretudo da resolução do problema técnico do alinhamento. Isso continua a ser crucial — e central para o nosso trabalho — mas acreditamos agora que é apenas uma peça do enigma. À medida que a IA se difunde por setores e nações, a sociedade também exigirá investigação independente, infraestruturas públicas, coordenação da indústria e áreas de especialização inteiramente novas. Em suma, exigirá resiliência da IA.

Optámos por centrar o nosso trabalho inicial em quatro áreas^2⁠ que se situam na interseção entre grandes riscos de curto prazo e impacto imediato:

1. Bio-resiliência para ajudar a prevenir pandemias futuras de origem artificial;

2. Ciber-resiliência para trabalhar no sentido de garantir a segurança dos sistemas críticos do nosso mundo;

3. Segurança dos modelos de IA para consolidar o controlo da humanidade sobre os modelos que criamos; e

4. o impacto da IA nos jovens para ajudar a tornar a tecnologia uma força positiva para as gerações futuras.

O nosso trabalho está apenas a começar. Planeamos partilhar mais sobre as nossas estratégias e os financiamentos iniciais em cada área, bem como expandir para outras áreas ao longo do tempo.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.