Управление суперинтеллектом

Abstract

Основатели OpenAI утверждают, что суперинтеллект — системы ИИ, кардинально превосходящие по возможностям даже AGI, — вполне может появиться в ближайшие десять лет и требует иного управления, нежели сегодняшние модели. Они предлагают три отправные точки. Первая — определённая координация между ведущими разработчиками: либо совместный проект при поддержке крупнейших правительств, либо коллективное соглашение, ограничивающее ежегодные темпы роста передовых возможностей. Вторая — международный орган по образцу МАГАТЭ, наделённый полномочиями инспектировать системы, требовать аудитов, проверять соответствие стандартам безопасности и ограничивать степень развёртывания и уровни защиты для любого проекта, превышающего определённый порог возможностей или вычислительных ресурсов; практическим рычагом здесь может стать отслеживание вычислений и энергопотребления, а первым шагом — добровольное принятие этих мер компаниями. Третья — техническая способность сделать суперинтеллект безопасным, которую авторы считают открытой исследовательской задачей. Модели ниже значимого порога возможностей прямо выводятся из-под такого режима, поскольку связанные с ними риски сопоставимы с рисками других интернет-технологий. Тем не менее управление наиболее мощными системами и решения об их развёртывании должны быть предметом строгого общественного контроля, а их границы и настройки по умолчанию следует определять демократическим путём. В заключение авторы защищают продолжение разработки по двум причинам: ожидаемая польза и их убеждение, что остановить создание суперинтеллекта можно было бы лишь чем-то вроде режима глобальной слежки, да и это не гарантировало бы успеха. — Аннотация, сгенерированная генеративным ИИ.