Résilience à l’ère de l’IA

La Fondation OpenAI a pour mission de veiller à ce que l’intelligence artificielle générale profite à l’ensemble de l’humanité.

Nous avons travaillé sans relâche pour suivre le rythme des progrès fulgurants de l’IA elle-même. En avril, la Fondation a annoncé⁠ l’octroi de ses premières subventions, d’un montant de 100 millions de dollars, dans les domaines des sciences de la vie et de la lutte contre les maladies, avec pour ambition de contribuer à la prévention et au traitement de maladies telles que la maladie d’Alzheimer en tirant parti des avancées de l’IA. La semaine dernière, nous avons annoncé⁠ notre programme « Emplois et avenir économique », dans l’espoir de comprendre et de façonner ce que le travail et la prospérité économique signifieront pour les générations futures.

Aujourd’hui, nous développons notre vision pour notre prochain grand programme : veiller à ce que, à mesure que les capacités de l’IA se développent, la capacité de la société à en tirer parti évolue tout aussi rapidement. Nous appelons cela la résilience de l’IA : l’approche écosystémique nécessaire pour atténuer les risques liés à l’IA, afin que la société puisse en tirer le meilleur parti.

Notre travail a déjà commencé. Depuis le lancement de notre initiative, il y a quelques mois à peine, la Fondation s’emploie à finaliser l’octroi de subventions d’un montant total de plus de 130 millions de dollars à diverses organisations dans le cadre de notre programme sur la résilience de l’IA ; ces informations seront bientôt rendues publiques, et d’autres suivront.^1⁠

Le modèle des technologies transformatrices

C’est en se penchant sur les technologies du passé qui ont profondément marqué l’histoire de l’humanité que l’on comprend le mieux l’importance de la résilience de l’IA.

De temps à autre, une technologie fait son apparition et transforme radicalement la société. Les économistes appellent cela des « technologies à usage général ». Le feu. L’imprimerie. L’électricité. Internet. Chacune a suivi un parcours similaire : innovation rapide, risques réels et institutions s’efforçant de rattraper leur retard. Mais chaque exemple illustre également ce qu’il faut pour rendre une technologie puissante sûre.

Le feu a rendu la civilisation humaine possible. Il nous a réchauffés, nous a permis de cuire notre nourriture et nous a protégés des prédateurs. Mais il a aussi réduit nos villes en cendres. Au fil du temps, les sociétés ont développé leur résilience : matériaux ignifuges, réseaux de bornes-fontaines, services d’incendie professionnels et codes de construction. Un écosystème, couche par couche.

L’électricité a suivi le même chemin. Après que la centrale d’Edison de Pearl Street eut illuminé Manhattan en 1882, l’électricité a entraîné des incendies, des électrocutions et semé la panique parmi la population. En l’absence de protections telles que du câblage isolé, des disjoncteurs et des normes, des travailleurs et des passants ont été électrocutés dans des villes à travers tout le pays. Les villes se sont demandé s’il fallait abandonner complètement cette expérience. Au lieu de cela, à mesure que la technologie progressait, nous avons mis en place des organismes de contrôle indépendants comme Underwriters Laboratories, des normes industrielles telles que le National Electrical Code, ainsi que des investissements publics qui ont permis d’alimenter les communautés laissées pour compte par le marché. Chaque étape a rendu l’électricité plus sûre et plus accessible ; aujourd’hui, elle est si sûre qu’un enfant peut actionner un interrupteur et la lumière s’allume.

Voilà à quoi ressemble la résilience lorsqu’elle est bien mise en œuvre.

L’IA nécessite un écosystème de résilience

L’IA suit la même trajectoire que les technologies précédentes, mais à une vitesse sans précédent.

Nous n’en sommes encore qu’aux prémices, mais les avantages sont déjà évidents : l’IA facilite la création d’entreprise, élargit l’accès à l’éducation, accélère les découvertes scientifiques et révolutionne la médecine.

Dans le même temps, les risques apparaissent tout aussi rapidement, parallèlement aux avantages de l’IA. Cette même croissance qui donne naissance à de nouveaux secteurs peut bouleverser ceux qui existent déjà et perturber les parcours professionnels. Les mêmes systèmes qui peuvent aider les jeunes à apprendre et à créer pourraient également conduire à des comportements néfastes. Les outils qui accélèrent la recherche biologique pourraient faciliter la création d’agents pathogènes dangereux. Et la capacité de l’IA à écrire du code, entre de mauvaises mains, pourrait menacer les infrastructures essentielles.

L’équipe initiale d’OpenAI estimait que pour garantir que l’IA profite à la société, il fallait avant tout résoudre le problème du recoupement technique. Cela reste essentiel et central dans notre travail, mais nous pensons désormais que ce n’est qu’une pièce du puzzle. À mesure que l’IA se généralise dans tous les secteurs et tous les pays, la société aura également besoin de recherche indépendante, d’infrastructures publiques, d’une coordination entre les acteurs du secteur et de domaines d’expertise entièrement nouveaux. En bref, elle aura besoin d’une IA résiliente.

Nous avons choisi de concentrer nos premiers efforts sur quatre domaines^2⁠ qui se situent à la croisée des risques majeurs à court terme et des répercussions immédiates :

1. La biorésilience pour contribuer à prévenir les pandémies d’origine humaine de demain ;

2. La cybersécurité pour œuvrer à garantir la sécurité des systèmes essentiels de notre monde ;

3. La sécurité des modèles d’IA afin de renforcer le contrôle de l’humanité sur les modèles que nous créons ; et

4. L’impact de l’IA sur les jeunes pour contribuer à faire de la technologie une force positive pour les générations futures.

Notre travail ne fait que commencer. Nous avons l’intention de vous en dire davantage sur nos stratégies et nos premières subventions dans chaque domaine, et d’étendre nos activités à d’autres domaines au fil du temps.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.