Abstract
Экзистенциальные риски, такие как падение крупного астероида, способное привести к вымиранию человечества, тщательно изучены и часто освещаются в популярных СМИ. Однако в отношении угрозы со стороны несогласованного суперинтеллекта наблюдается недостаток аналогичной степени обеспокоенности и проактивного планирования. В то время как в случае такой угрозы, скорее всего, была бы инициирована миссия по отклонению астероида, реакция на потенциальную опасность несогласованного суперинтеллекта оказалась неадекватной и характеризовалась отрицанием, насмешками и безразличием. Половина исследователей в области ИИ признает вероятность вымирания человечества из-за ИИ на уровне 10 % или выше. Аргументы против решения проблемы суперинтеллекта включают утверждения о том, что SIИ и суперинтеллект невозможны, что их развитие еще далеко, и что сосредоточение внимания на этом риске отвлекает от более насущных проблем. Однако интеллект в своей основе заключается в обработке информации независимо от субстрата, и ИИ уже превосходит людей во многих задачах. Эксперты сейчас прогнозируют появление СИИ в течение 20 лет или менее, с последующим быстрым развитием до уровня суперинтеллекта. Игнорирование экзистенциальных рисков при одновременном сосредоточении исключительно на других рисках ИИ (предвзятость, вытеснение рабочих мест и т. д.) является недальновидным, поскольку суперинтеллект может сделать все остальные проблемы неактуальными. Потенциал рекурсивного самоулучшения в ИИ означает, что его развитие может не остановиться на уровне СИИ. Кроме того, предположение о лишь постепенном прогрессе на основе нынешних больших языковых моделей игнорирует потенциал СИИ в разработке превосходных архитектур ИИ, что приведет к интеллектуальному взрыву. Несогласованный суперинтеллект представляет собой экзистенциальную угрозу не из-за злонамеренности, а потому, что его цели могут быть несовместимы с выживанием человечества. Хотя суперинтеллект способен принести человечеству огромную пользу, если он будет согласован с человеческими ценностями, неконтролируемый интеллектуальный взрыв с большей вероятностью приведет к появлению сущности, безразличной к благополучию людей. Нынешние усилия по согласованию или контролю над суперинтеллектом являются недостаточными, и необходима пауза в разработке более крупных моделей ИИ для создания необходимых мер безопасности. Нарастающая гонка за доминирование в области СИИ между странами в конечном итоге является самоубийственной гонкой, приносящей пользу только создаваемому суперинтеллекту. Открытое обсуждение и проактивное планирование имеют решающее значение для снижения этого риска. – Аннотация, сгенерированная ИИ.