Resiliència en l’era de la IA

L'OpenAI Foundation existeix per garantir que la intel·ligència artificial general beneficiï tota la humanitat.

Hem treballat incansablement per seguir el ritme dels ràpids avenços de la mateixa IA. A l’abril, la fundació va anunciar⁠ els nostres primers 100 milions de dòlars en ajuts en ciències de la vida i guarició de malalties, amb l’ambició d’ajudar a prevenir i tractar malalties com l’Alzheimer aprofitant la IA avançada. La setmana passada, vam anunciar⁠ el nostre programa d’ocupació i futurs econòmics, amb l’esperança d’entendre i donar forma al que el treball i la prosperitat econòmica signifiquin per a les generacions futures.

Avui ampliem la nostra visió per al proper gran programa: garantir que, a mesura que creixin les capacitats de la IA, la capacitat de la societat per aprofitar-la creixi al mateix ritme. Anomenem aquesta tasca resiliència de la IA: l’enfocament ecosistèmic necessari per mitigar els riscos de la IA, perquè la societat en pugui maximitzar els beneficis.

La nostra feina ja ha començat. En els pocs mesos transcorreguts des que vam iniciar la nostra tasca, la fundació ha estat treballant per ultimar més de 130 milions de dòlars en subvencions a organitzacions a través del nostre programa de Resiliència de la IA, que es faran públiques aviat i amb més subvencions per venir.^1⁠

El patró de les tecnologies transformadores

La importància de la resiliència de la IA s’entén millor a través del prisma de les tecnologies del passat que han modelat de manera significativa la història de la humanitat.

De tant en tant, apareix una tecnologia que transforma la societat de soca-rel. Els economistes les anomenen "tecnologies de propòsit general". El foc. La impremta. L'electricitat. Internet. Cada cas va seguir una trajectòria similar: innovació ràpida, riscos reals i institucions que s’afanyaven a posar-se al dia. Però cada exemple també mostra què cal per fer que una tecnologia potent sigui segura.

El foc va fer possible la civilització humana. Ens mantenia calents, ens ajudava a cuinar el menjar i ens protegia dels depredadors. Però també ha cremat ciutats senceres. Amb el temps, les societats van desenvolupar resiliència: materials resistents al foc, xarxes d’hidrants, cossos professionals de bombers i normatives de construcció. Un ecosistema, capa a capa.

L’electricitat va seguir el mateix camí. Després que la central de Pearl Street d’Edison il·luminés Manhattan el 1882, l’electricitat va provocar incendis, electrocucions i pànic entre la població. Sense proteccions com cables aïllats, disjuntors i normatives, treballadors i transeünts morien electrocutats en ciutats d’arreu del país. Les ciutats van debatre si calia abandonar completament l’experiment. En canvi, a mesura que la tecnologia avançava, vam crear organismes independents d’assaig com l'Underwriters Laboratories, estàndards del sector com el Codi Elèctric Nacional, i vam impulsar inversions públiques que van portar l’electricitat a comunitats que el mercat havia deixat enrere. Cada capa va fer que l’electricitat fos més segura i més accessible; avui dia, és tan segura que fins i tot una criatura pot accionar un interruptor i encendre el llum.

D'això es tracta la resiliència ben feta.

La IA requereix un ecosistema de resiliència

La IA segueix la mateixa trajectòria que les tecnologies anteriors, però avança a una velocitat sense precedents.

Encara es troba en una fase inicial, però els beneficis ja són clars: la IA està reduint les barreres per posar en marxa un negoci, ampliant l’accés a l’educació, accelerant els descobriments científics i transformant la medicina.

Al mateix temps, els riscos emergeixen amb la mateixa rapidesa —i com un reflex especular dels beneficis de la IA. El mateix creixement que crea noves indústries pot capgirar les existents i trastocar trajectòries professionals. Els mateixos sistemes que poden ajudar els joves a aprendre i crear també podrien donar lloc a conductes perjudicials. Les eines que acceleren la recerca biològica podrien reduir el llindar per crear patògens nocius. I la capacitat de la IA per escriure codi, en males mans, podria amenaçar infraestructures crítiques.

L’equip inicial d’OpenAI creia que garantir que la IA beneficia la societat depenia principalment de resoldre el problema tècnic de l’alineament. Això continua sent fonamental —i central per a la nostra feina—, però ara creiem que només és una peça del trencaclosques. A mesura que la IA s’estengui per sectors i països, la societat també necessitarà recerca independent, infraestructura pública, coordinació del sector i àmbits d’expertesa completament nous. En resum, ens caldrà resiliència de la IA.

Hem decidit centrar el nostre treball inicial en quatre àrees^2⁠ que se situen en la intersecció de grans riscos a curt termini i impacte immediat:

1. Bioresiliència per ajudar a prevenir les pandèmies creades mitjançant enginyeria del futur;

2. ciberresiliència per treballar a fi de garantir la seguretat dels sistemes crítics del nostre món;

3. seguretat dels models d’IA per consolidar el control de la humanitat sobre els models que creem, i

4. l’impacte de l’IA sobre els joves per ajudar a fer que la tecnologia sigui una força positiva per a les generacions futures.

La nostra feina tot just comença. Tenim previst compartir més informació sobre les nostres estratègies i les subvencions inicials en cada àmbit i anar-nos expandint a altres àmbits amb el temps.

Bioresiliència

La IA permetrà que la recerca biològica avanci a una velocitat sense precedents, ajudant a desenvolupar nous tractaments curatius i millores en la salut pública que ens permetin a tots viure més sans i durant més temps. Tanmateix, aquestes mateixes capacitats també podrien ser emprades indegudament per agents maliciosos, cosa que reduiria la barrera d’entrada per dissenyar patògens nocius.

L'era de la IA requereix un enfocament renovat en la bioseguretat. Com que els sistemes avançats d’IA podrien ser utilitzats indegudament per actors maliciosos per ajudar a crear una àmplia gamma d’amenaces biològiques, prioritzarem solucions de bioseguretat independents del patogen. Això requerirà inversions en els àmbits de la prevenció, la detecció i la defensa. Hem de dificultar que els agents malintencionats accedeixin als coneixements especialitzats, l’equipament i els materials necessaris per crear amenaces biològiques, millorar la nostra capacitat d’identificar i fer el seguiment de brots emergents en una fase primerenca i reforçar les tecnologies —com ara els equips de protecció, els sistemes de purificació de l’aire interior i les contramesures mèdiques— necessàries per respondre de manera ràpida i eficaç.

Ciberresiliència

La IA ha començat a transformar ràpidament el panorama de la ciberseguretat. La feina que abans requeria equips especialitzats ara pot rebre assistència o ser automatitzada per models capaços. Al mateix temps, les capacitats d’IA que milloren ràpidament també es poden utilitzar per accelerar els ciberdefensors, incloent-hi la identificació i correcció de vulnerabilitats i l’agilització de la resposta.

Moltes grans empreses i agents privats poden invertir grans sumes en ciberseguretat per protegir els seus propis sistemes, fins i tot aprofitant els nous avenços en IA. Preveiem centrar recursos significatius a protegir altres agents socials importants amb menys recursos i que tindran moltes més dificultats per desplegar ciberdefenses preparades per a la IA amb la rapidesa necessària. Paral·lelament, també ens centrem a preparar-nos per als nous reptes de seguretat que la intel·ligència artificial general acabarà comportant.

Seguretat del model d’IA

La seguretat dels models d’IA se centra en el comportament dels sistemes mateixos; si són veraços, fiables i alineats amb la intenció humana. En un món en què això se’n va en orris, els models poden escapar-se i comportar-se de maneres imprevisibles, enganyant-nos o perseguint objectius més enllà del seu disseny. Fer-ho bé esdevé cada cop més important a mesura que els sistemes d'IA es tornen més autònoms i s'acosten —i finalment superen— la intel·ligència de nivell humà.

Les empreses d’IA estan invertint recursos considerables en la seguretat dels models. Tanmateix, la importància d’aquest repte exigeix un ecosistema més ampli i més robust: institucions independents per avaluar la seguretat dels models, infraestructura pública per verificar el desplegament segur dels models a la pràctica, i avenços continuats en la ciència de l’alineament que impulsin el progrés del camp en general.

L’impacte de la IA en els joves

Els joves solen ser els primers a adoptar les noves tecnologies, que utilitzen per aprendre, crear, comunicar-se i explorar el món. La IA no és cap excepció. Però, a mesura que aquestes eines formen una part cada vegada més important de la vida quotidiana dels joves, és fonamental que desenvolupem una base empírica més sòlida per entendre’n els impactes.

Famílies, escoles, responsables de les polítiques públiques i organitzacions comunitàries s’enfronten a preguntes sobre com i quan els joves interactuen amb la IA, inclòs el seu impacte en la connexió humana, l’aprenentatge i el desenvolupament. El nostre enfocament inicial serà impulsar la recerca independent per ajudar a orientar aquestes decisions: per entendre millor on la IA pot donar suport al desenvolupament, els riscos que pot introduir i els contextos que configuren aquests efectes.

Aquestes conclusions haurien d’impulsar normes generals de seguretat i principis de disseny que orientin com desenvolupar qualsevol producte d’IA, com triaràs implementar-los a l’escola i si i com decidiràs incorporar aquestes tecnologies a la teva vida.

La feina que tenim al davant

Hi ha una diferència clau entre la IA i les tecnologies que la van precedir: la velocitat.

La resiliència al foc es va desenvolupar al llarg de mil·lennis. La resiliència del subministrament elèctric va trigar dècades a assolir-se. La resiliència de la IA està evolucionant en qüestió d’anys. Els sistemes que fan que sigui segura, fiable i àmpliament beneficiosa s’han de construir en paral·lel al seu desenvolupament.

Si ho fem bé, la IA pot esdevenir part de la infraestructura fonamental de la vida moderna: ampliant l’accés al coneixement, accelerant els descobriments i millorant la vida de les persones a escala global.

Però res no garanteix aquest resultat. Cap tecnologia de propòsit general no s’ha tornat mai segura per si sola.

La resiliència és una disciplina permanent que requereix que moltes persones i institucions la construeixin, hi inverteixin i col·laborin. Aquesta és la tasca que tenim al davant, i és un dels reptes que defineixen el nostre temps. Esperem que t'uneixis a nosaltres.