works
Yoshua Bengio Разбор аргументов против того, чтобы принимать безопасность ИИ всёрьёз online Рассмотрены и опровергнуты несколько аргументов против приоритезации исследований в области безопасности ИИ. Среди них утверждения о том, что СИИ и суперинтеллект невозможны или находятся в далеком будущем, что СИИ/суперинтеллект будут по своей сути благожелательными, что корпоративного саморегулирования и существующих законов достаточно, что сосредоточение внимания на долгосрочных рисках отвлекает от текущих проблем в области прав человека, что геополитическое давление требует приоритезации исследований способностей, что международные договоры непрактичны, что открытый исходный код СИИ является решением, и что обеспокоенность экзистенциальным риском представляет собой ошибку «пари Паскаля». Каждому аргументу противопоставляются свидетельства быстрого прогресса в способностях ИИ, потенциал несогласованности целей в передовых ИИ-системах, ограничения корпоративного саморегулирования и существующих правовых рамок, комплементарность решения как краткосрочных, так и долгосрочных рисков, глобальный характер экзистенциальных угроз, возможность механизмов регуляции ИИ с помощью аппаратных средств, важность проактивного регулирования, опасности открытия исходного кода мощных технологий ИИ без достаточных мер безопасности, а также нетривиальные оценки вероятности катастрофических последствий ИИ. Рекомендуется осторожный подход к разработке СИИ с акцентом на необходимости увеличения инвестиций в исследования по безопасности ИИ и создание надежных нормативных рамок. – Аннотация, сгенерированная ИИ.

Abstract

Рассмотрены и опровергнуты несколько аргументов против приоритезации исследований в области безопасности ИИ. Среди них утверждения о том, что СИИ и суперинтеллект невозможны или находятся в далеком будущем, что СИИ/суперинтеллект будут по своей сути благожелательными, что корпоративного саморегулирования и существующих законов достаточно, что сосредоточение внимания на долгосрочных рисках отвлекает от текущих проблем в области прав человека, что геополитическое давление требует приоритезации исследований способностей, что международные договоры непрактичны, что открытый исходный код СИИ является решением, и что обеспокоенность экзистенциальным риском представляет собой ошибку «пари Паскаля». Каждому аргументу противопоставляются свидетельства быстрого прогресса в способностях ИИ, потенциал несогласованности целей в передовых ИИ-системах, ограничения корпоративного саморегулирования и существующих правовых рамок, комплементарность решения как краткосрочных, так и долгосрочных рисков, глобальный характер экзистенциальных угроз, возможность механизмов регуляции ИИ с помощью аппаратных средств, важность проактивного регулирования, опасности открытия исходного кода мощных технологий ИИ без достаточных мер безопасности, а также нетривиальные оценки вероятности катастрофических последствий ИИ. Рекомендуется осторожный подход к разработке СИИ с акцентом на необходимости увеличения инвестиций в исследования по безопасности ИИ и создание надежных нормативных рамок. – Аннотация, сгенерированная ИИ.