Введение в контроль над ИИ

Abstract

Контроль над ИИ — это исследовательская программа, отличная от программы согласования (alignment) ИИ: согласованный ИИ — это тот, кто не хочет причинять вред людям, тогда как контролируемый ИИ — это тот, кто физически не может причинить вред независимо от своих намерений. В статье объясняется, почему меры контроля могут быть существенно проще в реализации, чем согласование, описываются конкретные технические подходы — например, мониторинг ненадёжной фронтирной модели с помощью меньшей доверенной модели — и признаются ограничения этой программы, в частности то, что контроль является временной мерой и что его эффективность зависит от повсеместного принятия отраслью.