Ketahanan dalam era AI

Yayasan OpenAI wujud untuk memastikan bahawa kecerdasan am buatan memberi manfaat kepada seluruh umat manusia.

Kami telah berusaha tanpa henti untuk mengikuti rentak kemajuan pesat dalam AI itu sendiri. Pada bulan April, Yayasan mengumumkan⁠ geran pertama kami berjumlah $100 juta dalam bidang Sains Hayat dan Penyembuhan Penyakit, dengan cita-cita untuk membantu mencegah dan merawat penyakit seperti Alzheimer dengan memanfaatkan AI canggih. Minggu lepas, kami mengumumkan⁠ program Masa Depan Kerja dan Ekonomi kami, dengan harapan untuk memahami dan membentuk erti pekerjaan dan kemakmuran ekonomi bagi generasi akan datang.

Hari ini, kami memperluaskan visi kami untuk program utama yang seterusnya—memastikan bahawa, apabila keupayaan AI berkembang, keupayaan masyarakat untuk memanfaatkannya juga akan berkembang sepantas itu. Kami menamakan usaha ini ketahanan AI: pendekatan ekosistem yang diperlukan untuk mengurangkan risiko AI, supaya masyarakat dapat memaksimumkan manfaat AI.

Kerja kami sudah pun bermula. Dalam beberapa bulan yang singkat sejak memulakan kerja kami, yayasan sedang berusaha untuk memuktamadkan geran bernilai lebih daripada $130 juta kepada organisasi melalui program ketahanan AI kami, yang akan dikongsikan kepada umum tidak lama lagi, dengan lebih banyak lagi akan menyusul.^1⁠

Corak teknologi transformasi

Kepentingan daya tahan AI paling baik difahami melalui lensa teknologi masa lalu yang membentuk sejarah manusia secara bermakna.

Selalunya, teknologi tiba yang membentuk semula masyarakat dari bawah ke atas. Ahli ekonomi memanggil ini sebagai “teknologi tujuan am.” Kebakaran. Mesin cetak. Elektrik. Internet. Setiap satunya mengikuti arka yang sama: inovasi pantas, risiko sebenar dan institusi yang berlumba untuk seiring. Tetapi setiap contoh juga menunjukkan perkara yang diperlukan untuk menjadikan teknologi berkuasa yang selamat.

Api memungkinkan wujudnya tamadun manusia. Ia menghangatkan kita, memasak makanan kita dan melindungi kita daripada pemangsa. Ia juga telah membakar bandar kami sehingga rata. Lama-kelamaan, masyarakat membina ketahanan: bahan tahan api, rangkaian pili bomba, jabatan bomba profesional dan kod bangunan. Sebuah ekosistem, lapisan demi lapisan.

Elektrik telah mengikuti corak yang sama. Selepas Stesen Pearl Street Edison menyalakan Manhattan pada tahun 1882, elektrik membawa kebakaran, renjatan elektrik dan orang ramai menjadi panik. Tanpa perlindungan seperti wayar bertebat, pemutus dan kod, pekerja dan penonton terkena renjatan elektrik di bandar-bandar di seluruh negara. Bandar-bandar membahaskan sama ada eksperimen itu harus dihentikan sepenuhnya. Sebaliknya, apabila teknologi semakin maju, kami menubuhkan badan ujian bebas seperti Makmal Penaja Jamin, piawaian industri seperti Kod Elektrik Kebangsaan dan pelaburan awam yang membawa kuasa kepada komuniti yang ditinggalkan oleh pasaran. Setiap lapisan menjadikan elektrik lebih selamat dan lebih mudah diakses; hari ini, ia sangat selamat sehingga kanak-kanak boleh membalikkan suis dan lampu muncul.

Beginilah rupa ketahanan apabila ia dilakukan dengan baik.

AI memerlukan ekosistem yang berdaya tahan

AI mengikuti trajektori yang sama seperti teknologi sebelumnya, tetapi bergerak pada kelajuan yang tidak pernah berlaku sebelum ini.

Kami masih berada pada peringkat awal, tetapi manfaatnya sudah jelas: AI sedang mengurangkan halangan untuk memulakan perniagaan, memperluas akses kepada pendidikan, mempercepat penemuan saintifik, dan mengubah bidang perubatan.

Pada masa yang sama, risiko turut muncul dengan sama pantas—seolah-olah mencerminkan imej manfaat AI. Pertumbuhan yang sama yang mewujudkan industri baharu boleh menggugat industri sedia ada dan menjejaskan kerjaya. Sistem yang sama yang boleh membantu golongan muda belajar dan mencipta juga boleh membawa kepada tingkah laku yang teruk. Alat yang mempercepat penyelidikan biologi boleh mengurangkan halangan untuk mencipta patogen berbahaya. Dan keupayaan AI untuk menulis kod, jika jatuh ke tangan pihak yang salah, boleh mengancam infrastruktur kritikal.

Pasukan awal OpenAI percaya bahawa memastikan AI memberi manfaat kepada masyarakat bergantung terutamanya pada penyelesaian masalah penjajaran teknikal. Perkara itu tetap amat penting—dan teras kepada kerja kami—tetapi kini kami percaya ia hanyalah satu bahagian daripada kepingan yang lebih besar. Apabila AI tersebar merentasi sektor dan negara, masyarakat juga akan memerlukan penyelidikan bebas, infrastruktur awam, penyelarasan industri, dan bidang kepakaran yang serba baharu. Secara ringkasnya, ia akan memerlukan ketahanan AI.

Kami telah memilih untuk memfokuskan kerja awal kami pada empat bidang^2⁠ yang terletak pada persilangan antara risiko besar dalam jangka masa terdekat dan impak segera:

1. Ketahanan bio untuk membantu mencegah pandemik kejuruteraan pada masa depan;

2. Ketahanan siber untuk berusaha memastikan keselamatan sistem kritikal dunia kita;

3. Keselamatan model AI untuk mengukuhkan kawalan manusia terhadap model yang kita cipta; dan

4. Kesan AI terhadap golongan muda untuk membantu menjadikan teknologi sebagai daya positif bagi generasi akan datang.

Usaha kita baru sahaja bermula. Kami merancang untuk berkongsi lebih lanjut tentang strategi dan geran awal kami dalam setiap bidang, serta memperluas ke bidang lain dari semasa ke semasa.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.