超级智能的治理

Abstract

OpenAI 的创始人认为，超级智能——能力远超通用人工智能（AGI）的 AI 系统——有可能在十年内出现，因此需要与当今模型不同的治理方式。他们提出了三个起点。第一，领先研发力量之间需要某种程度的协调，可以是由各主要政府支持的联合项目，也可以是共同约定，将前沿能力的年增长速度限制在一定范围之内。第二，最终可能需要一个类似国际原子能机构的国际机构，有权检查系统、要求审计、检验其是否符合安全标准，并对超过一定能力或算力门槛的项目限制其部署程度与安全等级；追踪算力与能耗可作为切实可行的抓手，而企业自愿采纳相关措施则可作为第一步。第三，需要具备使超级智能保持安全的技术能力，作者认为这仍是一个悬而未决的研究问题。低于显著能力门槛的模型被明确排除在该监管框架之外，因为其风险与其他互联网技术相当。不过，最强大系统的治理及其部署决策仍必须接受强有力的公众监督，其边界与默认设置应通过民主方式决定。作者最后从两方面为继续研发辩护：一是预期收益，二是他们认为，要阻止超级智能的诞生，恐怕需要类似全球监控体制的手段，而即便如此也未必奏效。——AI生成的摘要。