Resiliència en l’era de la IA

L'OpenAI Foundation existeix per garantir que la intel·ligència artificial general beneficiï tota la humanitat.

Hem treballat incansablement per seguir el ritme dels ràpids avenços de la mateixa IA. A l’abril, la fundació va anunciar⁠ els nostres primers 100 milions de dòlars en ajuts en ciències de la vida i guarició de malalties, amb l’ambició d’ajudar a prevenir i tractar malalties com l’Alzheimer aprofitant la IA avançada. La setmana passada, vam anunciar⁠ el nostre programa d’ocupació i futurs econòmics, amb l’esperança d’entendre i donar forma al que el treball i la prosperitat econòmica signifiquin per a les generacions futures.

Avui ampliem la nostra visió per al proper gran programa: garantir que, a mesura que creixin les capacitats de la IA, la capacitat de la societat per aprofitar-la creixi al mateix ritme. Anomenem aquesta tasca resiliència de la IA: l’enfocament ecosistèmic necessari per mitigar els riscos de la IA, perquè la societat en pugui maximitzar els beneficis.

La nostra feina ja ha començat. En els pocs mesos transcorreguts des que vam iniciar la nostra tasca, la fundació ha estat treballant per ultimar més de 130 milions de dòlars en subvencions a organitzacions a través del nostre programa de Resiliència de la IA, que es faran públiques aviat i amb més subvencions per venir.^1⁠

El patró de les tecnologies transformadores

La importància de la resiliència de la IA s’entén millor a través del prisma de les tecnologies del passat que han modelat de manera significativa la història de la humanitat.

De tant en tant, apareix una tecnologia que transforma la societat de soca-rel. Els economistes les anomenen "tecnologies de propòsit general". El foc. La impremta. L'electricitat. Internet. Cada cas va seguir una trajectòria similar: innovació ràpida, riscos reals i institucions que s’afanyaven a posar-se al dia. Però cada exemple també mostra què cal per fer que una tecnologia potent sigui segura.

El foc va fer possible la civilització humana. Ens mantenia calents, ens ajudava a cuinar el menjar i ens protegia dels depredadors. Però també ha cremat ciutats senceres. Amb el temps, les societats van desenvolupar resiliència: materials resistents al foc, xarxes d’hidrants, cossos professionals de bombers i normatives de construcció. Un ecosistema, capa a capa.

L’electricitat va seguir el mateix camí. Després que la central de Pearl Street d’Edison il·luminés Manhattan el 1882, l’electricitat va provocar incendis, electrocucions i pànic entre la població. Sense proteccions com cables aïllats, disjuntors i normatives, treballadors i transeünts morien electrocutats en ciutats d’arreu del país. Les ciutats van debatre si calia abandonar completament l’experiment. En canvi, a mesura que la tecnologia avançava, vam crear organismes independents d’assaig com l'Underwriters Laboratories, estàndards del sector com el Codi Elèctric Nacional, i vam impulsar inversions públiques que van portar l’electricitat a comunitats que el mercat havia deixat enrere. Cada capa va fer que l’electricitat fos més segura i més accessible; avui dia, és tan segura que fins i tot una criatura pot accionar un interruptor i encendre el llum.

D'això es tracta la resiliència ben feta.

La IA requereix un ecosistema de resiliència

La IA segueix la mateixa trajectòria que les tecnologies anteriors, però avança a una velocitat sense precedents.

Encara es troba en una fase inicial, però els beneficis ja són clars: la IA està reduint les barreres per posar en marxa un negoci, ampliant l’accés a l’educació, accelerant els descobriments científics i transformant la medicina.

Al mateix temps, els riscos emergeixen amb la mateixa rapidesa —i com un reflex especular dels beneficis de la IA. El mateix creixement que crea noves indústries pot capgirar les existents i trastocar trajectòries professionals. Els mateixos sistemes que poden ajudar els joves a aprendre i crear també podrien donar lloc a conductes perjudicials. Les eines que acceleren la recerca biològica podrien reduir el llindar per crear patògens nocius. I la capacitat de la IA per escriure codi, en males mans, podria amenaçar infraestructures crítiques.

L’equip inicial d’OpenAI creia que garantir que la IA beneficia la societat depenia principalment de resoldre el problema tècnic de l’alineament. Això continua sent fonamental —i central per a la nostra feina—, però ara creiem que només és una peça del trencaclosques. A mesura que la IA s’estengui per sectors i països, la societat també necessitarà recerca independent, infraestructura pública, coordinació del sector i àmbits d’expertesa completament nous. En resum, ens caldrà resiliència de la IA.

Hem decidit centrar el nostre treball inicial en quatre àrees^2⁠ que se situen en la intersecció de grans riscos a curt termini i impacte immediat:

1. Bioresiliència per ajudar a prevenir les pandèmies creades mitjançant enginyeria del futur;

2. ciberresiliència per treballar a fi de garantir la seguretat dels sistemes crítics del nostre món;

3. seguretat dels models d’IA per consolidar el control de la humanitat sobre els models que creem, i

4. l’impacte de l’IA sobre els joves per ajudar a fer que la tecnologia sigui una força positiva per a les generacions futures.

La nostra feina tot just comença. Tenim previst compartir més informació sobre les nostres estratègies i les subvencions inicials en cada àmbit i anar-nos expandint a altres àmbits amb el temps.

Bio-resilience

AI will enable biological research to move at unprecedented speed, helping develop new cures and public health improvements that enable us to all live healthier and longer. However, these same capabilities could also be misused by malicious actors, lowering the barrier to designing harmful pathogens.

The age of AI requires a renewed focus on biosecurity. Because advanced AI systems could be misused by bad actors to help create a wide range of biological threats, we will prioritize pathogen-agnostic biosecurity solutions. This will require investments across prevention, detection, and defense. We need to make it harder for malicious actors to access the expertise, equipment, and materials to create biological threats, improve our ability to identify and track novel outbreaks early, and strengthen the technologies—such as protective equipment, indoor air cleaning systems, and medical countermeasures—needed to respond quickly and effectively.

Cyber-resilience

AI has begun to rapidly reshape the cybersecurity landscape. The work that once required specialized teams can now be assisted or automated by capable models. At the same time, rapidly-improving AI capabilities can also be used to accelerate cyberdefenders, including by identifying and patching vulnerabilities and accelerating response.

Many large companies and private actors can spend heavily on cyber to secure their own systems, including with new advances in AI. We anticipate focusing significant resources on securing other important societal actors that are less resourced and will have a much harder time deploying AI-ready cyberdefenses as quickly as needed. In parallel, we are also focused on preparing for novel security challenges that artificial general intelligence will ultimately bring.

AI model safety

AI model safety focuses on the behavior of the systems themselves—whether they are truthful, reliable, and aligned with human intent. In a world where this goes awry, models can break out and behave in unpredictable ways, deceiving us or pursuing goals beyond their design. Getting this right becomes increasingly important as AI systems grow more autonomous and approach—and eventually surpass—human-level intelligence.

AI companies are investing substantial resources in model safety. However, the importance of this challenge calls for a broader, more robust ecosystem: independent institutions to evaluate model safety, public infrastructure to verify models’ safe deployment in practice, and continued advances in alignment science that advance the field broadly.

AI’s impact on young people

Young people are often the earliest adopters of new technologies, using them to learn, create, communicate, and explore the world. AI is no exception. But as these tools become an increasing part of young people’s daily lives, it is critical that we develop a stronger evidence base to understand its impacts.

Families, schools, policymakers, and community organizations are all grappling with questions about how and when young people engage with AI—including its impact on human connection, learning, and development. Our initial focus will be on advancing independent research to help guide those decisions—to better understand where AI can support development, the risks it may introduce, and the contexts that shape those effects.

These insights should drive broad safety standards and design principles that guide how any AI product is developed, how schools choose to deploy them, and if and how families decide to incorporate these technologies into their lives.

The work ahead

There is one critical difference between AI and the technologies that came before it: speed.

Fire resilience took millennia. Electricity resilience took decades. AI resilience is evolving in a matter of years. The systems that make it safe, reliable, and broadly beneficial must be built alongside it.

If we get it right, AI can become part of the foundational infrastructure of modern life—expanding access to knowledge, accelerating discovery, and improving lives at a global scale.

But that outcome isn’t guaranteed. No general purpose technology ever made itself safe.

Resilience is a permanent discipline that requires many people and institutions to build, invest, and collaborate. That is the work ahead, and it is one of the defining challenges of our time. We hope you’ll join us.