Robusthet i KI-alderen

OpenAI Foundation finnes for å sikre at kunstig generell intelligens kommer hele menneskeheten til gode.

Vi har jobbet utrettelig for å holde tritt med de raske fremskrittene innen selve KI. I april kunngjorde⁠ stiftelsen våre første tilskudd på 100 millioner dollar innen biovitenskap og kurering av sykdommer, med en ambisjon om å bidra til å forebygge og behandle sykdommer som Alzheimers sykdom ved å utnytte avansert KI. I forrige uke kunngjorde⁠ vi Jobs and Economic Futures-programmet vårt, i håp om å forstå og forme hva arbeid og økonomisk velstand betyr for fremtidige generasjoner.

I dag bygger vi videre på visjonen vår for det neste store programmet – for å sikre at etter hvert som KIs evner vokser, vil samfunnets evne til å dra nytte av dem vokse like raskt. Vi kaller dette arbeidet KI-robusthet: økosystemtilnærmingen som kreves for å redusere risikoene ved KI, slik at samfunnet kan maksimere fordelene.

Arbeidet vårt er allerede i gang. I løpet av de få korte månedene siden vi startet arbeidet vårt, arbeider stiftelsen med å sluttføre tilskudd på mer enn $130 millioner til organisasjoner gjennom vårt AI-resiliensprogram. Disse vil snart bli offentliggjort, og mer er på vei.^1⁠

Mønsteret for transformative teknologier

Betydningen av KI-robusthet forstås best i lys av tidligere teknologier som på vesentlig måte har formet menneskehetens historie.

Fra tid til annen dukker det opp en teknologi som omformer samfunnet fra grunnen av. Økonomer kaller disse «generelle formålsteknologier». Brann. Trykkpressen. Elektrisitet. Internett. Hver av dem fulgte et lignende utviklingsforløp: rask innovasjon, reelle risikoer og institusjoner som hastet med å holde tritt. Men hvert eksempel viser også hva som skal til for å gjøre en kraftig teknologi trygg.

Ilden gjorde menneskelig sivilisasjon mulig. Den holdt oss varme, tilberedte maten vår og beskyttet oss mot rovdyr. Det brente også byene våre til grunnen. Over tid bygde samfunn opp motstandskraft: brannbestandige materialer, nettverk av brannhydranter, profesjonelle brannvesen og byggeforskrifter. Et økosystem, lag for lag.

Elektrisitet fulgte den samme stien. Etter at Edisons Pearl Street Station lyste opp Manhattan i 1882, førte elektrisiteten med seg branner, dødsfall ved elektrisk støt og panikk i offentligheten. Uten vernetiltak som isolerte ledninger, automatsikringer og forskrifter ble arbeidere og forbipasserende elektrocutert i byer over hele landet. Byene diskuterte om eksperimentet burde skrinlegges helt. I stedet fikk vi, etter hvert som teknologien utviklet seg, på plass uavhengige testorganer som Underwriters Laboratories, bransjestandarder som National Electrical Code og offentlige investeringer som førte strøm til lokalsamfunn markedet hadde latt bli hengende etter. Hvert lag gjorde strømmen tryggere og mer tilgjengelig; i dag er den så trygg at et barn kan slå på en bryter, og lyset tennes.

Slik ser robusthet ut når det gjøres riktig.

KI krever et økosystem for motstandsdyktighet

KI følger samme utviklingsløp som tidligere teknologier, men beveger seg i et tempo uten sidestykke.

Vi er fortsatt i en tidlig fase, men fordelene er allerede tydelige: KI senker terskelen for å starte en bedrift, utvider tilgangen til utdanning, fremskynder vitenskapelige oppdagelser og forandrer medisinen.

Samtidig oppstår risikoene like raskt – og som et speilbilde av fordelene med KI. Den samme veksten som skaper nye næringer, kan snu eksisterende næringer på hodet og skape omveltninger i karrierer. De samme systemene som kan hjelpe unge mennesker med å lære og skape, kan også føre til skadelig atferd. Verktøyene som fremskynder biologisk forskning, kan senke terskelen for å skape skadelige patogener. Og KIs evne til å skrive kode, i feil hender, kan true kritisk infrastruktur.

Det tidlige OpenAI-teamet mente at det å sikre at KI kommer samfunnet til gode, først og fremst var avhengig av å løse det tekniske tilpasningsproblemet. Det er fortsatt avgjørende – og står sentralt i arbeidet vårt – men vi mener nå at det bare er én del av puslespillet. Etter hvert som KI sprer seg på tvers av sektorer og land, vil samfunnet også ha behov for uavhengig forskning, offentlig infrastruktur, koordinering i næringslivet og helt nye kompetansefelt. Kort sagt vil det kreve KI-robusthet.

Vi har valgt å fokusere vårt innledende arbeid på fire områder^2⁠ som befinner seg i skjæringspunktet mellom store risikoer på kort sikt og umiddelbar effekt:

1. Biologisk motstandskraft for å bidra til å forebygge fremtidens konstruerte pandemier;

2. Cyberrobusthet for å bidra til å ivareta sikkerheten i verdens kritiske systemer;

3. Sikkerhet for KI-modeller for å befeste menneskehetens kontroll over modellene vi skaper; og

4. KIs innvirkning på unge mennesker for å bidra til å gjøre teknologi til en positiv kraft for fremtidige generasjoner.

Vårt arbeid er bare begynnelsen. Vi planlegger å dele mer om strategiene våre og de første tilskuddene på hvert område, og å utvide til andre områder over tid.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.