`3CB': el punto de referencia de capacidades cibernéticas catastróficas

Abstract

Presenta el punto de referencia 3CB (Catastrophic Cyber Capabilities Benchmark), un marco para evaluar las capacidades cibernéticas ofensivas de agentes basados en modelos de lenguaje, organizado según la taxonomía MITRE ATT&CK. Contiene 15 desafíos originales que abarcan 14 estrategias de ataque y muestra que modelos de frontera como GPT-4o y Claude 3.5 Sonnet ya pueden llevar a cabo tareas de reconocimiento, explotación y movimiento lateral, lo que expone lagunas importantes en las evaluaciones de ciberseguridad existentes para sistemas de IA. – Resumen generado por IA.