Устойчивость в эпоху ИИ

Фонд OpenAI Foundation существует для того, чтобы общий искусственный интеллект приносил пользу всему человечеству.

Мы неустанно работаем, чтобы не отставать от стремительного развития самого ИИ. В апреле фонд объявил⁠ о наших первых грантах на сумму 100 млн долл. США в области наук о жизни и лечении заболеваний, ставя перед собой цель помочь предотвращать и лечить такие заболевания, как болезнь Альцгеймера, с помощью передового ИИ. На прошлой неделе мы объявили⁠ о запуске нашей программы Jobs and Economic Futures, стремясь понять и сформировать значение работы и экономического процветания для будущих поколений.

Сегодня мы развиваем наше видение следующей крупной программы — чтобы по мере роста возможностей ИИ способность общества использовать его потенциал росла столь же быстро. Мы называем это направление развитием устойчивости ИИ: это экосистемный подход, необходимый для снижения рисков ИИ, чтобы общество могло использовать преимущества ИИ по максимуму.

Работа уже ведется. За несколько коротких месяцев с начала нашей работы фонд работает над окончательным оформлением грантов на сумму более 130 млн долл. США для организаций в рамках нашей программы AI Resilience; информация о них вскоре будет опубликована, и в дальнейшем последуют новые гранты.^1⁠

Шаблон трансформационных технологий

Важность устойчивости ИИ лучше всего осмысливать через призму прошлых технологий, которые существенным образом повлияли на ход истории человечества.

Время от времени появляется технология, которая коренным образом меняет общество. Экономисты называют их «технологиями широкого применения». Огонь. Печатный станок. Электричество. Интернет. Во всех случаях наблюдалась схожая траектория: стремительные инновации, реальные риски и институты, спешащие наверстать отставание. Но каждый пример также показывает, что нужно, чтобы сделать мощную технологию безопасной.

Огонь сделал возможным появление человеческой цивилизации. Он согревал нас, готовил нашу пищу и защищал от хищников. Но мог и сжигать города дотла. Со временем человечество повышало устойчивость к огню: создавало огнестойкие материалы, сети пожарных гидрантов, профессиональные пожарные службы, писало строительные нормы... Словом, слой за слоем строило экосистему.

Электричество — та же история. После того, как электростанция Эдисона на Перл-стрит в 1882 году осветила Манхэттен, электричество принесло не только пользу, но и пожары, смертельные поражения током и панику. Без таких средств защиты как изолированные провода, автоматические выключатели и нормы электробезопасности, рабочие и случайные прохожие погибали от поражения электрическим током в городах по всей стране. В городах обсуждали, не следует ли полностью отказаться от эксперимента. Вместо этого по мере развития технологий мы создали независимые испытательные организации (такие как Лаборатория по технике безопасности), отраслевые стандарты (такие как Национальный электротехнический кодекс), а также обеспечили государственные инвестиции, благодаря которым электричество пришло в сообщества, которые рынок оставил позади. Каждый уровень делал электричество безопаснее и доступнее; сегодня оно настолько безопасно, что ребёнок может щёлкнуть выключателем — и появляется свет.

Вот как выглядит устойчивость, когда она проявляется по-настоящему.

ИИ требует экосистемы устойчивости

ИИ следует той же траектории, что и предыдущие технологии, но движется с беспрецедентной скоростью.

Мы всё ещё находимся на раннем этапе, но преимущества уже очевидны: ИИ снижает барьеры для запуска бизнеса, расширяет доступ к образованию, ускоряет научные открытия и преобразует медицину.

В то же время риски проявляются столь же быстро — словно зеркальное отражение преимуществ ИИ. Тот же рост, который создает новые отрасли, может радикально менять уже существующие и нарушать карьерные траектории. Те же системы, которые могут помогать молодым людям учиться и творить, также могут приводить к нежелательному поведению. Инструменты, ускоряющие биологические исследования, могут снизить порог для создания опасных патогенов. Способность ИИ писать код в руках злоумышленников может угрожать критически важной инфраструктуре.

Команда OpenAI еще на раннем этапе считала, что обеспечение того, чтобы ИИ приносил пользу обществу, зависит прежде всего от решения технической проблемы согласования. Это по-прежнему критически важно — и занимает центральное место в нашей работе —, но теперь мы считаем, что это лишь часть общей картины. По мере того как ИИ распространяется по секторам и странам, обществу также потребуются независимые исследования, общественная инфраструктура, координация в отрасли и совершенно новые области экспертных знаний. Короче говоря, для этого потребуется устойчивость ИИ.

Мы решили сосредоточить наши первоначальные усилия на четырёх областях^2⁠, которые находятся на стыке значительных рисков ближайшей перспективы и возможности оказать немедленное воздействие:

1. биоустойчивость, помогающая предотвращать искусственное создание пандемий будущего;

2. киберустойчивость для обеспечения безопасности критически важных систем нашего мира;

3. безопасность моделей ИИ, чтобы укрепить контроль человечества над моделями, которые мы создаём; и

4. влияние ИИ на молодых людей, чтобы помочь сделать технологии положительной силой для будущих поколений.

Наша работа только начинается. Мы планируем подробнее рассказать о наших стратегиях и первых грантах в каждом из этих направлений, а со временем расширить работу на другие направления.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.