Стійкість в епоху ШІ

OpenAI Foundation існує, щоб забезпечити користь штучного загального інтелекту для всього людства.

Ми невпинно працюємо, щоб не відставати від стрімкого розвитку самого ШІ. У квітні Фундація оголосила⁠ про перші гранти на суму 100 мільйонів доларів США у сфері біологічних наук і лікування захворювань, прагнучи допомогти запобігати таким захворюванням, як хвороба Альцгеймера, і лікувати їх за допомогою передового ШІ. Минулого тижня ми оголосили⁠ про програму Jobs and Economic Futures, щоб краще зрозуміти й сформувати те, що праця та економічне процвітання означатимуть для майбутніх поколінь.

Сьогодні ми розвиваємо наше бачення наступної великої програми — щоб у міру зростання можливостей ШІ здатність суспільства використовувати його потенціал зростала так само швидко. Ми називаємо цей напрямок розвитком стійкості ШІ: це екосистемний підхід, необхідний зниження ризиків ШІ, аби суспільство могло використовувати переваги ШІ по максимуму.

Наша робота вже почалася. За кілька коротких місяців від початку нашої роботи Фундація працює над завершенням оформлення грантів на суму понад 130 мільйонів доларів США для організацій у межах нашої програми AI Resilience. Невдовзі ми публічно повідомимо про них, і попереду — більше.^1⁠

Закономірність трансформаційних технологій

Важливість стійкості до ШІ найкраще зрозуміти крізь призму минулих технологій, які суттєво вплинули на історію людства.

Час від часу з’являється технологія, яка змінює суспільство від самих основ. Економісти називають їх «технологіями загального призначення». Вогонь. Друкарський верстат. Електрика. Інтернет. Кожна з них проходила схожий шлях: швидкі інновації, реальні ризики й інституції, що намагалися встигнути за змінами. Але кожен приклад також показує, що потрібно, щоб зробити потужну технологію безпечною.

Вогонь зробив людську цивілізацію можливою. Він зігрівав нас, готував нам їжу й захищав від хижаків. Він також спалював наші міста дощенту. З часом суспільства вибудували стійкість: вогнестійкі матеріали, мережі гідрантів, професійні пожежні служби та будівельні норми. Екосистему, шар за шаром.

Електрика — та сама історія. Після того, як електростанція Едісона на Перл-стріт у 1882 році освітила Мангеттен, електрика принесла не лише користь, а й пожежі, смертельні ураження струмом та паніку. Без таких засобів захисту, як ізольовані дроти, автоматичні вимикачі та норми електробезпеки, робітники та випадкові перехожі гинули від ураження електричним струмом у містах по всій країні. Велися обговорення стосовно того, чи не слід повністю відмовитись від експерименту. Натомість у міру розвитку технологій ми створили незалежні випробувальні організації (такі як Лабораторія з техніки безпеки), галузеві стандарти (такі як Національний електротехнічний кодекс), а також забезпечили державні інвестиції, завдяки яким електрика надійшла до спільнот, які ринок залишив позаду. Кожен рівень робив електрику безпечнішою та доступнішою; сьогодні вона настільки безпечна, що навіть дитина може клацнути вимикачем — і з’являється світло.

Ось так виглядає стійкість, коли її реалізовано належним чином.

ШІ потребує екосистеми стійкості

ШІ рухається за тією ж траєкторією, що й попередні технології, але з безпрецедентною швидкістю.

Ми все ще на ранньому етапі, але переваги вже очевидні: ШІ знижує бар’єри для започаткування бізнесу, розширює доступ до освіти, прискорює наукові відкриття й змінює медицину.

У той же час ризики виявляються так само швидко — немов дзеркальне відображення переваг ШІ. Те саме зростання, яке створює нові галузі, може радикально змінювати вже існуючі та порушувати кар’єрні траєкторії. Ті ж системи, які можуть допомагати молодим людям вчитися й творити, можуть призводити до небажаної поведінки. Інструменти, що прискорюють біологічні дослідження, можуть знизити поріг створення небезпечних патогенів. Здатність ШІ писати код у руках зловмисників може загрожувати критично важливій інфраструктурі.

Перша команда OpenAI вважала, що забезпечення користі ШІ для суспільства залежить насамперед від розв’язання технічної проблеми узгодження. Це й надалі критично важливо — і посідає центральне місце в нашій роботі, — але тепер ми вважаємо, що це лише одна частина складної картини. У міру того як ШІ поширюється секторами й країнами, суспільству також знадобляться незалежні дослідження, громадська інфраструктура, координація в галузі та цілком нові сфери експертизи. Інакше кажучи, знадобиться стійкість до ШІ.

Ми вирішили зосередити нашу початкову роботу на чотирьох напрямах^2⁠, що лежать на перетині масштабних короткострокових ризиків і безпосереднього впливу:

1. біостійкість, щоб допомогти запобігати створеним людиною пандеміям майбутнього;

2. кіберстійкість, щоб працювати над забезпеченням безпеки критично важливих систем нашого світу;

3. безпека моделей ШІ, щоб зміцнити контроль людства над моделями, які ми створюємо; і

4. вплив ШІ на молодих людей, щоб допомогти зробити технології позитивною силою для майбутніх поколінь.

Наша робота лише починається. Ми плануємо докладніше розповісти про наші стратегії та перші гранти в кожному напрямі, а з часом — розширитися на інші напрями.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.