Abstract
Разработка систем искусственного интеллекта, превосходящих человеческие способности, представляет собой серьезный экзистенциальный риск. Создание сверхчеловеческого ИИ в нынешних условиях, при отсутствии проверенных методов обеспечения согласованности и глубокого понимания внутреннего устройства этих систем, с высокой вероятностью приведет к вымиранию человечества и всей биологической жизни. Полагаться на то, что будущие системы ИИ решат проблемы согласования, — нереалистичный план. Прогресс в развитии способностей ИИ значительно опережает прогресс в исследованиях безопасности и согласования ИИ. Предлагаемые временные моратории, такие как шестимесячная пауза в обучении систем, более мощных, чем GPT-4, недостаточны для устранения угрозы такого масштаба. Требуется полная, бессрочная и всемирная остановка крупномасштабных циклов обучения ИИ. Это требует международных соглашений, вывода из эксплуатации крупных кластеров GPU, строгого контроля за распределением вычислительной мощности для обучения ИИ, отслеживания оборудования и готовности обеспечить соблюдение запрета на глобальном уровне, возможно с помощью военных средств, уделяя приоритетное внимание снижению рисков ИИ даже выше, чем предотвращению ядерного конфликта. – Аннотация, сгенерированная ИИ.