Odolnost ve věku umělé inteligence

Nadace OpenAI Foundation existuje proto, aby zajistila, že obecná umělá inteligence bude přinášet prospěch celému lidstvu.

Neúnavně pracujeme na tom, abychom drželi krok s rychlým vývojem samotné umělé inteligence. V dubnu nadace Foundation oznámila⁠ naše první granty v oblasti věd o živé přírodě a léčby nemocí v objemu 100 milionů USD, jejichž ambicí je pomáhat předcházet nemocem, jako je Alzheimerova choroba, a léčit je využitím pokročilé AI. Minulý týden jsme oznámili⁠ náš program Jobs and Economic Futures s nadějí, že pochopíme a pomůžeme utvářet, co práce a ekonomická prosperita znamenají pro budoucí generace.

Dnes rozšiřujeme naši vizi pro další velký program. Zajišťujeme, aby s růstem schopností umělé inteligence rostla stejně rychle i schopnost společnosti ji využívat. Tuto práci nazýváme odolností umělé inteligence: ekosystémovým přístupem potřebným ke zmírnění rizik umělé inteligence tak, aby společnost mohla maximalizovat její přínosy.

Naše úsilí již začalo. Během několika málo měsíců od zahájení naší práce pracuje nadace Foundation na finalizaci grantů v celkové výši více než 130 milionů USD pro organizace v rámci našeho programu AI Resilience. Tento program bude brzy veřejně vyhlášený a další budou následovat.^1⁠

Vzorec transformačních technologií

Důležitost odolnosti umělé inteligence lze nejlépe pochopit optikou minulých technologií, které smysluplně formovaly lidské dějiny.

Čas od času se objeví technologie, která od základů promění společnost. Ekonomové je označují jako „univerzální technologie“. Oheň. Tiskařský lis. Elektřina. Internet. Každý z nich postupoval podle podobného scénáře: rychlé inovace, reálná rizika a instituce, které se snažily držet ze všech sil krok. Každý příklad také ukazuje, co je potřeba k tomu, aby byla silná technologie bezpečná.

Oheň umožnil vznik lidské civilizace. Udržoval nás v teple, vařili jsme na něm jídlo a chránil nás před predátory. Také od základů vypaloval naše města. Postupem času si společnosti vybudovaly odolnost vůči požárům: požárně odolné materiály, sítě hydrantů, profesionální hasičské sbory a stavební předpisy. Ekosystém, vrstva po vrstvě.

Elektřina šla stejnou cestou. Poté, co Edisonova stanice Pearl Street v roce 1882 osvětlila Manhattan, způsobila elektřina požáry, úrazy elektrickým proudem a veřejnou paniku. Bez ochranných opatření jako izolované vodiče, jističe a předpisy docházelo po celém zemi k zasažení pracovníků i kolemjdoucích elektrickým proudem. Města debatovala o tom, zda by se od experimentu nemělo zcela upustit. Místo toho jsme s rozvojem technologie vytvořili nezávislé zkušební instituce, jako je Underwriters Laboratories, zavedli oborové normy, jako je National Electrical Code, a realizovali veřejné investice, které přivedly elektřinu do obcí, které se díky trhu ocitly stranou. Díky každé vrstvě byla elektřina bezpečnější a dostupnější. Dnes je tak bezpečná, že i dítě může přepnout vypínač a rozsvítí se světlo.

Takhle vypadá odolnost, když se s ní pracuje dobře.

Umělá inteligence vyžaduje ekosystém odolnosti

Umělá inteligence sleduje stejnou trajektorii jako předchozí technologie, ale pohybuje se nebývalou rychlostí.

Jsme stále na začátku, ale přínosy jsou už teď jasné: umělá inteligence snižuje bariéry pro zahájení podnikání, rozšiřuje přístup ke vzdělání, urychluje vědecké objevy a proměňuje medicínu.

Zároveň se však stejně rychle objevují i rizika – a to jako zrcadlový obraz přínosů umělé inteligence. Stejný růst, který vytváří nová odvětví, může zásadně proměnit ta stávající a narušit kariérní postupy. Ty stejné systémy, které mohou mladým lidem pomáhat učit se a tvořit, mohou také vést k nežádoucímu chování. Nástroje, které urychlují biologický výzkum, by mohly snížit překážku pro vznik škodlivých patogenů. A schopnost umělé inteligence psát kód může v nesprávných rukou ohrozit kritickou infrastrukturu.

Původní tým OpenAI věřil, že zajištění přínosu AI pro společnost závisí především na vyřešení technického problému sladění. To je i nadále klíčové (a pro naši práci ústřední), ale nyní se domníváme, že je to jen jeden dílek skládačky. S tím, jak se umělá inteligence šíří napříč sektory a národy, bude společnost potřebovat také nezávislý výzkum, veřejnou infrastrukturu, koordinaci v rámci průmyslu a zcela nové oblasti odborných znalostí. Stručně řečeno, bude to vyžadovat odolnost AI.

Rozhodli jsme se zaměřit své počáteční úsilí na čtyři oblasti^2⁠, které se nacházejí na průsečíku významných krátkodobých rizik a okamžitého dopadu:

1. Biologická odolnost pomáhající předcházet uměle vytvořeným pandemiím budoucnosti;

2. Kybernetická odolnost usiluje o zajištění bezpečnosti kritických systémů našeho světa;

3. Bezpečnost modelů AI s cílem upevnit kontrolu lidstva nad modely, které vytváříme, a

4. dopad umělé inteligence na mladé lidi, abychom pomohli zajistit, že technologie bude pozitivní silou pro budoucí generace.

Naše práce teprve začíná. Plánujeme sdílet více informací o našich strategiích a prvních grantech v jednotlivých oblastech a postupem času se rozšířit i do dalších oblastí.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.