一封关于变革性人工智能的私人信件

Abstract

在算力和训练数据呈指数级增长的推动下，人工智能的迅猛发展表明，机器智能可能很快就会将几乎所有人类的认知劳动和体力劳动实现自动化。这一发展轨迹预示着科学和经济进步将加速，数个世纪的发展性突破可能在数年内实现，从而为物质丰裕和疾病根除带来前所未有的机遇。 然而，这一转型也带来了严峻且具有灾难性风险，包括这些系统被武器化以制造生物威胁、政治和经济权力的极端集中，以及人类可能丧失对自主实体的控制——而我们对这些实体的内部机制仍知之甚少。 尽管存在这些生存性风险以及知名研究人员的警告，全球竞争和商业压力仍在持续加速技术发展。要缓解这些风险，需要通过国际协调来管控发展速度，同时系统性地将人力资本重新分配至安全性研究、对齐协议和治理框架，以确保人类能够继续掌控其技术发展轨迹。——由人工智能生成的摘要。