«3CB»: эталон катастрофических киберспособностей

Abstract

Представлен эталонный тест 3CB (Catastrophic Cyber Capabilities Benchmark) — методика оценки наступательных киберспособностей агентов на основе больших языковых моделей, организованная по таксономии MITRE ATT&CK. Он включает 15 оригинальных задач по 14 стратегиям атак и показывает, что передовые модели вроде GPT-4o и Claude 3.5 Sonnet уже способны выполнять разведку, эксплуатацию и горизонтальное перемещение, обнажая существенные пробелы в имеющихся оценках кибербезопасности для систем ИИ. – Реферат сгенерирован ИИ.