Odolnosť v ére umelej inteligencie

Nadácia OpenAI existuje preto, aby zabezpečila, že všeobecná umelá inteligencia bude prinášať úžitok celému ľudstvu.

Neúnavne pracujeme na tom, aby sme držali krok s rýchlym pokrokom samotnej umelej inteligencie. V apríli nadácia oznámila⁠ naše prvé granty v hodnote 100 000 000 USD v oblasti biovedy a liečby chorôb s ambíciou pomôcť predchádzať chorobám, ako je Alzheimerova choroba a liečiť ich využitím pokročilej umelej inteligencie. Minulý týždeň sme spustili⁠ náš program Pracovné miesta a ekonomická budúcnosť s nádejou, že pochopíme a pomôžeme formovať, čo budú práca a ekonomická prosperita znamenať pre budúce generácie.

Dnes rozvíjame našu víziu ďalšieho významného programu — zabezpečiť, aby s rastom schopností umelej inteligencie rovnako rýchlo rástla aj schopnosť spoločnosti využívať ju. Túto prácu nazývame odolnosť AI: ekosystémový prístup potrebný na zmiernenie rizík spojených s AI, aby spoločnosť mohla maximalizovať jej prínosy.

Naša práca sa už začala. Za niekoľko krátkych mesiacov od začatia našej práce nadácia pracuje na finalizácii grantov v hodnote viac ako 130 000 000 USD pre organizácie v rámci nášho programu AI Resilience. Tieto budú čoskoro verejne oznámené a ďalšie budú nasledovať.^1⁠

Vzorec transformačných technológií

Dôležitosť odolnosti umelej inteligencie možno najlepšie pochopiť optikou minulých technológií, ktoré významne formovali ľudské dejiny.

Raz za čas sa objaví technológia, ktorá od základov pretvorí spoločnosť. Ekonómovia ich označujú ako „technológie všeobecného použitia“. Oheň. Tlačiarenský lis. Elektrina. Internet. Každý z nich mal podobný priebeh: rýchle inovácie, reálne riziká a inštitúcie sa predbiehali, aby dobehli vývoj. Každý príklad však zároveň ukazuje, čo je potrebné na to, aby sa silná technológia stala bezpečnou.

Oheň umožnil vznik ľudskej civilizácie. Udržiaval nás v teple, pripravoval nám jedlo a chránil nás pred predátormi. Tiež však naše mestá úplne vypálil. Postupom času spoločnosti zvyšovali svoju odolnosť: materiály odolné voči ohňu, hydrantové siete, profesionálne hasičské zbory a stavebné predpisy. Ekosystém, vrstva po vrstve.

Elektrina nasledovala rovnakú cestu. Po tom, čo Edisonova elektráreň Pearl Street Station v roku 1882 rozsvietila Manhattan, priniesla elektrina požiare, usmrtenia elektrickým prúdom a paniku verejnosti. Bez ochranných opatrení, ako sú izolované vodiče, ističe a predpisy, boli pracovníci aj okoloidúci v mestách po celej krajine usmrcovaní elektrickým prúdom. Mestá diskutovali o tom, či by sa mal experiment úplne ukončiť. Namiesto toho sme s pokrokom technológií zriadili nezávislé skúšobné orgány, ako napríklad Underwriters Laboratories, zaviedli priemyselné normy, ako napríklad National Electrical Code, a realizovali verejné investície, ktoré priviedli elektrinu do komunít, ktoré trh nechal bokom. Každá vrstva robila elektrinu bezpečnejšou a dostupnejšou. Dnes je taká bezpečná, že dieťa môže prepnúť vypínač a rozsvieti sa svetlo.

Takto vyzerá odolnosť, keď je zvládnutá správne.

AI vyžaduje ekosystém odolnosti

Umelá inteligencia sa uberá rovnakou trajektóriou ako predchádzajúce technológie, no napreduje bezprecedentnou rýchlosťou.

Sme ešte len na začiatku, ale prínosy sú už teraz jasné: AI znižuje prekážky pri zakladaní podnikov, rozširuje prístup k vzdelaniu, urýchľuje vedecké objavy a mení podobu medicíny.

Zároveň sa však rovnako rýchlo objavujú aj riziká – a sú zrkadlovým obrazom prínosov umelej inteligencie. Rovnaký rast, ktorý vytvára nové odvetvia, môže zásadne zmeniť existujúce a narušiť kariérne dráhy. Tie isté systémy, ktoré môžu mladým ľuďom pomáhať učiť sa a tvoriť, by mohli viesť aj k nežiaducemu správaniu. Nástroje, ktoré urýchľujú biologický výskum, by mohli znížiť prekážky pri vytváraní škodlivých patogénov. A schopnosť umelej inteligencie písať kód by v nesprávnych rukách mohla ohroziť kritickú infraštruktúru.

Skorý tím OpenAI veril, že zabezpečiť, aby AI prinášala prospech spoločnosti, závisí predovšetkým od vyriešenia technického problému zosúladenia. To je naďalej zásadné – a ústredné pre našu prácu –, no teraz sa domnievame, že je to len jeden dielik skladačky. Keď sa umelá inteligencia šíri naprieč odvetviami a krajinami, spoločnosť bude potrebovať aj nezávislý výskum, verejnú infraštruktúru, koordináciu v rámci priemyslu a úplne nové oblasti odbornosti. Skrátka, bude si to vyžadovať odolnosť AI.

Rozhodli sme sa svoju počiatočnú prácu zamerať na štyri oblasti^2⁠, ktoré sa nachádzajú na priesečníku veľkých, bezprostredných rizík a okamžitého vplyvu:

1. Bioodolnosť s cieľom pomôcť predchádzať budúcim umelo vytvoreným pandémiám;

2. Kybernetická odolnosť s cieľom zaistiť bezpečnosť kritických systémov nášho sveta;

3. Bezpečnosť modelov umelej inteligencie na upevnenie kontroly ľudstva nad modelmi, ktoré vytvárame; a

4. Vplyv umelej inteligencie na mladých ľudí s cieľom prispieť k tomu, aby technológie boli pozitívnou silou pre budúce generácie.

Naša práca sa len začína. Plánujeme zdieľať viac o našich stratégiách a počiatočných grantoch v každej oblasti a časom sa rozšíriť do ďalších oblastí.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.