ЧаВо по катастрофическим рискам ИИ

Abstract

Я слышал множество аргументов от разных людей по поводу риска катастрофы, связанного с ИИ. Мне хотелось бы разобраться в этих аргументах, в первую очередь для себя, потому что я действительно хотел бы убедиться в том, что нам не о чем беспокоиться. Проанализировав эти аргументы, можно выделить следующие основные моменты, свидетельствующие о том, что к этому риску следует относиться серьезно: (1) многие эксперты сходятся во мнении, что сверхчеловеческие способности могут появиться уже через несколько лет (но это может занять и десятилетия) (2) цифровые технологии имеют преимущества перед биологическими машинами (3) мы должны серьезно относиться даже к небольшой вероятности катастрофических последствий сверхопасного ИИ, из-за потенциально огромного масштаба импакта (4) более мощные ИИ-системы могут быть катастрофически опасными, даже если они не превосходят людей во всех отношениях и даже если им приходится обращаться к людям для осуществления невиртуальных действий, при условии, что они могут манипулировать людьми или платить им за выполнение задач (5) катастрофические последствия ИИ являются частью спектра вреда и рисков, которые следует смягчать с помощью соответствующих инвестиций и надзора в целях защиты прав человека и человечества, включая возможное использование безопасных ИИ-систем для нашей защиты.