Odpornost v dobi umetne inteligence

OpenAI Foundation si prizadeva zagotoviti, da bo splošna umetna inteligenca koristila vsemu človeštvu.

Nenehno se prilagajamo hitremu napredku umetne inteligence. Aprila je Fundacija napovedala⁠ prvih 100 mio. USD nepovratnih sredstev za program Življenjske znanosti in zdravljenje bolezni (Life Sciences and Curing Diseases), s katerim želi z napredno umetno inteligenco pomagati pri preprečevanju in zdravljenju bolezni, kot je Alzheimerjeva bolezen. Prejšnji teden smo predstavili⁠ program Delovna mesta in gospodarska prihodnost (Jobs and Economic Futures), namenjen razumevanju in oblikovanju tega, kaj bosta delo in gospodarska blaginja pomenila za prihodnje generacije.

Danes našo vizijo širimo z naslednjim velikim programom: poskrbeti želimo, da bo družba zmožnosti umetne inteligence znala izkoristiti tako hitro, kot se bodo te razvijale. To področje imenujemo odpornost umetne inteligence: ekosistemski pristop k zmanjševanju tveganj umetne inteligence, da lahko družba čim bolje izkoristi njene koristi.

Naše delo se je že začelo. V nekaj kratkih mesecih od začetka dela Fundacija v okviru programa odpornosti umetne inteligence zaključuje več kot 130 mio. USD nepovratnih sredstev za organizacije. Podrobnosti bomo kmalu javno objavili, sledilo pa bo še več podpore.^1⁠

Vzorec prelomnih tehnologij

Pomen odpornosti umetne inteligence najlažje razumemo skozi tehnologije, ki so v preteklosti močno zaznamovale človeštvo.

Občasno se pojavi tehnologija, ki družbo spremeni od temeljev. Ekonomisti takšne tehnologije imenujejo »splošnonamenske tehnologije«. Ogenj. Tiskarski stroj. Elektrika. Internet. Njihova pot je bila podobna: hiter razvoj, resnična tveganja in ustanove, ki so spremembe poskušale dohajati. Vsak primer pa pokaže tudi, kaj je potrebno, da zmogljiva tehnologija postane varnejša.

Ogenj je omogočil nastanek človeške civilizacije. Dajal nam je toploto, omogočil pripravo hrane in nas varoval pred plenilci. Hkrati pa je uničeval cela mesta. Družbe so zato postopoma gradile odpornost: ognjeodporne materiale, hidrantna omrežja, poklicne gasilske službe in gradbene predpise. Plast za plastjo je nastajal ekosistem zaščite.

Podobno pot je ubrala elektrika. Ko je Edisonova elektrarna Pearl Street Station leta 1882 osvetlila Manhattan, so se z elektriko pojavili tudi požari, električni udari in zaskrbljenost javnosti. Brez izoliranih vodnikov, odklopnikov in predpisov so v mestih po državi zaradi električnih udarov umirali delavci in mimoidoči. Nekatera mesta so celo razmišljala, ali bi bilo treba poskus z elektrifikacijo povsem opustiti. Namesto tega so z razvojem tehnologije nastali neodvisni organi za preskušanje, kot je Underwriters Laboratories, industrijski standardi, kot je National Electrical Code, ter javne naložbe, ki so elektriko pripeljale tudi v skupnosti, ki jih trg ni dosegel. Vsaka nova plast zaščite je elektriko naredila varnejšo in dostopnejšo. Danes je dovolj varna, da lahko otrok pritisne stikalo in prižge luč.

Tako je videti dobro zgrajena odpornost.

Umetna inteligenca potrebuje ekosistem odpornosti

Umetna inteligenca sledi podobni poti kot prejšnje tehnologije, vendar se razvija z doslej neprimerljivo hitrostjo.

Še vedno smo na začetku, koristi pa so že jasne: umetna inteligenca zmanjšuje ovire za zagon podjetij, širi dostop do izobraževanja, pospešuje znanstvena odkritja in spreminja medicino.

Tudi tveganja se pojavljajo hitro – pogosto kot zrcalna podoba njenih koristi. Rast, ki ustvarja nove panoge, lahko pretrese obstoječe in spremeni poklicne poti ljudi. Sistemi, ki mladim pomagajo pri učenju in ustvarjanju, lahko prispevajo tudi k škodljivemu vedenju. Orodja, ki pospešujejo biološke raziskave, lahko znižajo prag za razvoj škodljivih patogenov. Zmožnost umetne inteligence za pisanje kode pa lahko v napačnih rokah ogrozi kritično infrastrukturo.

Zgodnja ekipa OpenAI je verjela, da bo umetna inteligenca družbi koristila predvsem, če bomo rešili tehnični problem usklajevanja modelov s človeškimi cilji. To ostaja ključno in še naprej zavzema osrednje mesto v našem delu, vendar danes vemo, da je le del širše slike. Ko se umetna inteligenca širi med panogami in državami, bo družba potrebovala tudi neodvisne raziskave, javno infrastrukturo, usklajevanje v panogi in povsem nova strokovna področja. Potrebovala bo odpornost umetne inteligence.

Na začetku se osredotočamo na štiri področja^2⁠, kjer se velika kratkoročna tveganja srečujejo z možnostjo neposrednega učinka

1. Biološka odpornost za preprečevanje prihodnjih umetno ustvarjenih pandemij;

2. Kibernetska odpornost za varnost kritičnih sistemov, od katerih je odvisen sodobni svet;

3. Varnost modelov umetne inteligence za utrjevanje človeškega nadzora nad modeli, ki jih ustvarjamo; in

4. Vpliv umetne inteligence na mlade, da bo tehnologija prihodnjim generacijam prinašala več koristi kot škode.

Naše delo se šele začenja. V prihodnje bomo podrobneje predstavili strategije in prve prejemnike nepovratnih sredstev na vsakem področju ter delo postopoma razširili tudi drugam.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.