Размышления о Молохе

Abstract

В данной статье рассматривается концепция «многополярных ловушек» — ситуаций, в которых стремление к оптимизации одного параметра X создает возможность пожертвовать каким-либо другим ценностным показателем ради улучшения X, что в конечном итоге приводит к снижению ценности и потере всех связанных с этим ценностей. Этим ловушкам противодействуют такие факторы, как избыток ресурсов, физические ограничения и координация. Затем автор утверждает, что технологические изменения снизят эффективность всех этих факторов, что приведет к тому, что Элиезер Юдковский называет сценарием «кошмара», в котором суперинтеллект оптимизирует какую-то случайную или бессмысленную ценность в ущерб всему остальному, или к сценарию «кошмара» (термин, придуманный Робином Хансоном), в котором когнитивные архитектуры, подобные человеческим, становятся устаревшими в результате конкуренции. Автор кратко обсуждает авторитаризм как средство избежать этих исходов, но приходит к выводу, что такое общество, вероятно, не сможет конкурировать с неограниченными инопланетными цивилизациями. Заявленная цель автора — «убить Бога», или победить силы Молоха, Гнона и других инопланетных богов, угрожающих человечеству. Автор считает, что лучшая надежда человечества заключается в разработке «Садовника» — сущности, подвергнутой оптимизации под человеческие ценности, — и, в конечном итоге, в победе над Молохом. — Аннотация, сгенерированная ИИ.