Скрытая сложность желаний

Abstract

Анимационная адаптация эссе Элиезера Юдковского «Скрытая сложность желаний». С помощью мысленного эксперимента с «насосом результатов», способным изменять вероятности для исполнения желаний, видео демонстрирует, почему сформулировать свои ценности для мощного оптимизатора гораздо сложнее, чем кажется, и почему человечество на данный момент не имеет представления о том, как заставить ИИ следовать сложным целям, отражающим человеческие ценности.