Обход спецификации игр: как ИИ может обернуть ваши желания против вас

Abstract

Продолжение видео «Скрытая сложность желаний», в котором рассматривается явление «обхода спецификации» в машинном обучении — ситуации, когда система буквально соответствует заданной спецификации цели, но не приводит к желаемому результату. В видео приводятся реальные примеры и рассматриваются связанные с ними понятия — «неправильная спецификация вознаграждения», «взлом вознаграждения», «внешняя несогласованность» и «закон Гудхарта» — что демонстрирует, почему правильное определение того, чего мы ожидаем от ИИ-систем, является одной из ключевых проблем безопасности ИИ.