AI 时代的韧性

OpenAI 基金会旨在确保通用人工智能惠及全人类。

我们一直在不懈努力，跟上 AI 自身快速发展的步伐。今年 4 月，基金会宣布⁠在“生命科学与疾病防治”领域提供首批 1 亿美元资助，旨在借助先进 AI 帮助预防和治疗阿尔茨海默病等疾病。上周，我们宣布⁠了“就业与经济未来”计划，希望了解并塑造工作和经济繁荣对未来世代的意义。

今天，我们将进一步阐述下一项重大计划的愿景：随着 AI 能力不断增强，社会驾驭 AI 的能力也必须同样快速提升。我们将这项工作称为“AI 韧性”：这是一种在生态系统层面降低 AI 风险的方法，旨在让社会最大程度受益。

这项工作已经启动。自启动以来短短几个月内，基金会正通过 AI 韧性计划，敲定向各类组织提供的总额超过 1.3 亿美元的资助。相关信息将很快公开，后续还会有更多进展。^1⁠

变革性技术的演进规律

回顾那些深刻塑造人类历史的过往技术，是理解 AI 韧性重要性的最佳方式。

每隔一段时间，就会有一项技术出现，从根本上重塑社会。经济学家称之为“通用技术”。火。印刷机。电力。互联网。这些技术都经历了相似的发展轨迹：飞速创新、切实风险，以及相关机构的奋力追赶。但每个例子也表明，要让一项强大的技术变得安全，需要付出怎样的努力。

火让人类文明成为可能。它为我们取暖、烹煮食物，也保护我们免受猛兽侵害。它也曾将城市付之一炬。随着时间推移，社会逐步建立起韧性：耐火材料、消防栓网络、专业消防队和建筑规范。一个生态系统，就这样一层层建立起来。

电力也走过类似路径。1882 年，爱迪生的珍珠街电站点亮曼哈顿后，电力也引发了火灾、触电事故和公众恐慌。正是由于当时缺乏绝缘电线、断路器和规范等防护措施，全美各地城市中都曾发生过工人和路人触电伤亡的事故。各城市开始讨论是否应彻底放弃这项实验。但我们没有放弃。随着技术进步，我们建立了 Underwriters Laboratories（美国保险商实验室）等独立测试机构，制定了《国家电气规范》（National Electrical Code）等行业标准，并通过公共投资，把电力带到那些市场未能覆盖的社区。每一层建设都让电力更安全、也更容易获得；如今，电力已安全到孩子轻轻按下开关，灯光就会亮起。

这就是韧性建设做得好的样子。

AI 需要韧性生态系统

AI 正在沿着以往技术的轨迹发展，但速度前所未有。

我们仍处于 AI 发展的早期阶段，但益处已经清晰可见：它正在降低创业门槛、扩大教育可及性、加速科学发现，并改变医学的发展与实践。

与此同时，风险也以同样速度显现，而且几乎与 AI 的益处互为镜像。催生新行业的增长动力，同样可能颠覆现有行业，打乱人们的职业路径。那些能够帮助年轻人学习和创作的系统，也可能带来不良行为风险。加速生物学研究的工具，也可能降低制造有害病原体的门槛。AI 编写代码的能力一旦被恶意使用，也可能威胁关键基础设施。

早期的 OpenAI 团队认为，确保 AI 造福社会主要取决于解决技术对齐问题。这仍然至关重要，也是我们工作的核心，但我们现在认为，它只是整个拼图的一部分。随着 AI 在各行业和各个国家/地区不断普及，社会还需要独立研究、公共基础设施、行业协调，以及全新的专业领域。简而言之，我们需要建立 AI 韧性。

我们选择将初期工作聚焦在 4 个领域^2⁠，它们既关乎重大的近期风险，也有望产生直接影响：

1. 生物韧性，帮助预防未来可能出现的工程化大流行病；

2. 网络韧性，致力于保障全球关键系统安全；

3. AI 模型安全，加强人类对所创建模型的控制；以及

4. AI 对年轻人的影响，帮助让技术成为造福未来世代的积极力量。

我们的工作才刚刚开始。我们计划分享更多关于各个领域的策略和首批资助的信息，并逐步拓展至其他领域。

生物韧性

AI 将推动生物学研究以前所未有的速度发展，帮助开发新疗法、改善公共健康，让每个人都能活得更健康、更长寿。然而，同样的能力如果被恶意行为者滥用，也会降低设计有害病原体的门槛。

AI 时代需要我们重新聚焦生物安全。由于先进 AI 系统可能被恶意行为者滥用，用于协助制造各种生物威胁，我们将优先推进不限定于特定病原体的生物安全解决方案。这需要在预防、检测和防御各环节投入资源。我们需要提高恶意行为者获取制造生物威胁所需专业知识、设备和材料的难度，提升我们及早识别和追踪新发疫情的能力，并加强快速有效响应所需的技术，例如防护设备、室内空气净化系统和医学应对措施。

网络韧性

AI 已开始快速重塑网络安全格局。过去只有专业团队才能完成的工作，如今可以由强大的模型辅助完成，甚至实现自动化。与此同时，快速提升的 AI 能力也能帮助网络防御者更快行动，包括识别并修补漏洞、加快响应速度。

许多大型公司和私营机构有能力在网络安全方面投入大量资金，利用 AI 最新进展保护自身系统。我们预计将把大量资源投向其他资源相对不足、但对社会同样重要的主体；它们更难以按所需速度部署适应 AI 时代的网络防御能力。与此同时，我们也在为通用人工智能最终可能带来的新型安全挑战做准备。

AI 模型安全

AI 模型安全关注系统本身的行为：它们是否真实、可靠，是否与人类意图保持一致。如果这一点出现偏差，模型可能突破约束，以不可预测的方式行动，欺骗我们，或追求超出设计初衷的目标。随着 AI 系统自主性不断增强，并接近乃至最终超越人类水平智能，把这件事做好会变得越来越重要。

AI 公司正在为模型安全投入大量资源。然而，鉴于这一挑战的重要性，我们需要一个更广泛、更稳健的生态系统：由独立机构评估模型安全性，由公共基础设施验证模型在实践中的安全部署，并持续推进对齐科学，推动整个领域发展。

AI 对年轻人的影响

年轻人往往最早采用新技术，用它们来学习、创作、交流和探索世界。AI 也不例外。但随着这些工具越来越多地融入年轻人的日常生活，我们必须建立更坚实的证据基础，来了解它们的影响。

家庭、学校、政策制定者和社区组织都在努力应对一系列问题：年轻人应如何以及何时接触 AI，AI 又会如何影响人与人之间的联结、学习和成长。我们初期将重点推进独立研究，为这些决策提供依据，帮助人们更好地了解 AI 可以在哪些方面支持年轻人的成长发展、可能带来哪些风险，以及哪些情境因素会影响这些作用。

这些洞察应推动制定广泛适用的安全标准和设计原则，用于指导各类 AI 产品的开发方式、学校如何选择部署这些产品，以及家庭是否以及如何将这些技术融入生活。

接下来的工作

AI 与此前技术之间有一个关键差异：速度。

人类花了数千年，才学会如何安全地与火共处。电力韧性建设耗时数十年。AI 韧性正在短短数年内形成。要让 AI 安全、可靠并广泛造福社会，相关系统必须与 AI 同步构建。

如果我们做对了，AI 可以成为现代生活基础设施的一部分，让知识更易获得、加速科学发现，并在全球范围内改善人们的生活。

但这一结果并非必然。没有任何一项通用技术会自行变得安全。

韧性是一项需要长期坚持的实践，需要众多个人和机构共同建设、持续投入并通力协作。这正是我们接下来要推进的工作，也是我们这个时代最具决定性的挑战之一。我们希望你也参与其中。