Resilienz im Zeitalter der KI

Die OpenAI Foundation sorgt dafür, dass künstliche allgemeine Intelligenz der gesamten Menschheit zugutekommt.

Wir arbeiten unermüdlich daran, mit den rasanten Fortschritten in der KI selbst Schritt zu halten. Im April hat die Stiftung unsere ersten Fördermittel in Höhe von 100 Millionen USD in den Bereichen Biowissenschaften und Krankheitsheilung bekannt gegeben⁠, mit dem Ziel, durch den Einsatz fortschrittlicher KI dazu beizutragen, Krankheiten wie Alzheimer vorzubeugen und zu behandeln. Letzte Woche haben wir unser Programm Jobs and Economic Futures bekannt gegeben⁠, in der Hoffnung, besser zu verstehen und mitzugestalten, was Arbeit und wirtschaftlicher Wohlstand für künftige Generationen bedeuten.

Heute bauen wir unsere Vision für das nächste große Programm weiter aus – damit die Fähigkeit der Gesellschaft, KI nutzbar zu machen, genauso schnell wächst wie die Fähigkeiten von KI. Wir nennen diese Arbeit KI-Resilienz: der Ökosystemansatz, der erforderlich ist, um die Risiken der KI zu mindern, damit die Gesellschaft deren Vorteile maximieren kann.

Unsere Arbeit hat bereits begonnen. In den wenigen Monaten seit Aufnahme unserer Arbeit arbeitet die Stiftung daran, die Vergabe von Fördermitteln in Höhe von mehr als 130 Mio. USD an Organisationen im Rahmen unseres AI-Resilience-Programms zu finalisieren; diese sollen in Kürze öffentlich bekannt gegeben werden, und weitere werden folgen.^1⁠

Das Muster transformativer Technologien

Die Bedeutung der KI-Resilienz lässt sich am besten aus der Perspektive vergangener Technologien verstehen, die die Menschheitsgeschichte maßgeblich geprägt haben.

Von Zeit zu Zeit kommt eine Technologie auf, die die Gesellschaft von Grund auf verändert. Ökonomen bezeichnen diese als „Querschnittstechnologien“. Feuer. Die Druckerpresse. Elektrizität. Das Internet. Jede davon folgte einem ähnlichen Verlauf: rasante Innovation, reale Risiken und Institutionen, die fieberhaft versuchen, Schritt zu halten. Doch jedes Beispiel zeigt auch, was nötig ist, um eine leistungsstarke Technologie sicher zu machen.

Feuer machte die menschliche Zivilisation möglich. Es hielt uns warm, garte unser Essen und schützte uns vor Raubtieren. Es brannte auch unsere Städte bis auf die Grundmauern nieder. Im Laufe der Zeit stärkten Gesellschaften ihre Widerstandsfähigkeit: feuerbeständige Materialien, Hydrantennetze, professionelle Feuerwehren und Bauvorschriften. Ein Ökosystem, Schicht für Schicht.

Elektrizität folgte dem gleichen Weg. Nachdem Edisons Pearl Street Station 1882 Manhattan erhellt hatte, brachte die Elektrizität Brände, tödliche Stromschläge und Panik in der Öffentlichkeit mit sich. Ohne Schutzmaßnahmen wie isolierte Leitungen, Sicherungsautomaten und Vorschriften wurden Arbeiter und Passanten in Städten im ganzen Land durch Stromschläge ums Leben gebracht. Die Städte diskutierten, ob das Experiment vollständig aufgegeben werden sollte. Stattdessen richteten wir mit dem Fortschritt der Technologie unabhängige Prüfinstitutionen wie Underwriters Laboratories, Branchenstandards wie den National Electrical Code und öffentliche Investitionen ein, die Strom in Gemeinden brachten, die der Markt zurückgelassen hatte. Jede Schicht machte Elektrizität sicherer und zugänglicher; heute ist sie so sicher, dass ein Kind einen Schalter umlegen kann und das Licht angeht.

So sieht Resilienz aus, wenn sie richtig umgesetzt wird.

KI erfordert ein Resilienz-Ökosystem

KI folgt demselben Entwicklungspfad wie frühere Technologien, jedoch mit beispielloser Geschwindigkeit.

Wir stehen noch ganz am Anfang, aber die Vorteile sind bereits klar: KI senkt die Hürden für die Gründung eines Unternehmens, erweitert den Zugang zu Bildung, beschleunigt wissenschaftliche Entdeckungen und verändert die Medizin grundlegend.

Gleichzeitig zeichnen sich die Risiken ebenso schnell ab – und zwar spiegelbildlich zu den Vorteilen der KI. Dasselbe Wachstum, das neue Branchen entstehen lässt, kann bestehende auf den Kopf stellen und Karrieren beeinträchtigen. Dieselben Systeme, die jungen Menschen beim Lernen und kreativen Schaffen helfen können, könnten auch zu problematischem Verhalten führen. Die Werkzeuge, die die biologische Forschung beschleunigen, könnten die Hürde für die Entwicklung gefährlicher Krankheitserreger senken. Und die Fähigkeit von KI, Code zu schreiben, könnte in den falschen Händen kritische Infrastruktur gefährden.

Das frühe OpenAI-Team war der Überzeugung, dass es, um sicherzustellen, dass KI der Gesellschaft zugutekommt, in erster Linie darauf ankommt, das technische Alignment-Problem zu lösen. Das bleibt entscheidend – und zentral für unsere Arbeit –, doch mittlerweile sind wir der Ansicht, dass es nur ein Teil des Puzzles ist. Während sich KI über Branchen und Länder hinweg verbreitet, wird die Gesellschaft auch unabhängige Forschung, öffentliche Infrastruktur, Koordination zwischen Wirtschaft und Staat und völlig neue Fachgebiete benötigen. Kurz gesagt, es wird KI-Resilienz erfordern.

Wir haben uns entschieden, unsere ersten Arbeiten auf vier Bereiche^2⁠ zu konzentrieren, die an der Schnittstelle von erheblichen kurzfristigen Risiken und unmittelbarer Wirkung liegen:

1. Bio-Resilienz, um dazu beizutragen, künftige künstlich erzeugte Pandemien zu verhindern;

2. Cyber-Resilienz, um daran zu arbeiten, die Sicherheit der kritischen Systeme unserer Welt zu gewährleisten;

3. Sicherheit von KI-Modellen, um die Kontrolle der Menschheit über die von uns geschaffenen Modelle zu festigen; und

4. Die Auswirkungen von KI auf junge Menschen, um dazu beizutragen, Technologie zu einer positiven Kraft für künftige Generationen zu machen.

Unsere Arbeit fängt gerade erst an. Wir planen, mehr über unsere Strategien und ersten Förderzusagen in den einzelnen Bereichen zu berichten und unsere Arbeit im Laufe der Zeit auf weitere Bereiche auszuweiten.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.