Утопия в будущем: насколько она вероятна?

Abstract

В данной статье оценивается вероятность того, что человечество сможет обеспечить себе стабильное и благоприятное долгосрочное будущее, которое часто называют «утопией». В ней рассматриваются различные факторы, влияющие на этот исход, в том числе экзистенциальные риски, вероятность дрейфа человеческих или искусственных ценностей в течение огромных временных интервалов, а также влияние конкурентного давления — будь то между государствами, корпорациями или будущими системами искусственного интеллекта. Выявлены серьезные препятствия на пути к надёжному благоприятному будущему: конкурентная динамика часто ставит стремление к власти выше этических соображений, а сохранение благожелательных целей в масштабах космического времени представляется затруднительным. В качестве серьезной проблемы выделяется потенциал огромных страданий, особенно в случае появления цифрового сознания, даже если они исходят от субъектов, изначально имевших благие намерения. Хотя такие факторы, как усиление координации или моральный прогресс, могут улучшить перспективы, стандартная траектория развития вряд ли автоматически приведет к утопии. Напротив, без целенаправленных и сосредоточенных усилий по управлению рисками и направлению развития к надежным позитивным целям вероятными или даже более вероятными исходами представляются непрекращающаяся борьба, огромные страдания или вымирание. – Аннотация, сгенерированная генеративным ИИ.