¿Qué es CWE-bench v2 y cómo evalúa a los modelos?
CWE-bench v2 es un banco de pruebas diseñado para evaluar los límites de las capacidades cibernéticas avanzadas en los modelos de lenguaje actuales. Creado por Collinear AI, este lanzamiento abre un conjunto público de 100 tareas que cualquier desarrollador o investigador puede ejecutar para evaluar sus modelos de IA.
La puntuación es completamente programática, lo que garantiza resultados deterministas y reproducibles sin costes adicionales. Todas las verificaciones han sido seleccionadas con la ayuda de paneles de jueces basados en LLM y revisadas de forma manual para asegurar la máxima calidad y equidad.
¿A qué modelos y tipos de vulnerabilidades afecta?
Estas 100 tareas cubren 91 clases diferentes de CWE (Common Weakness Enumeration), abarcando un amplio espectro de superficies de vulnerabilidad. Un modelo que aspire a destacar debe comprender múltiples vectores de explotación y no limitarse a reconocer un patrón superficial.
Los resultados actuales muestran que Gemini 4 Argon lidera la clasificación con un 67.8% de pass@1 y 81.0% de pass@4 ante la creciente demanda de infraestructura, seguido de cerca por Claude Opus 5.5 con un 67.3% de pass@1. A pesar de ello, el mejor modelo sigue fallando en un 19% de los intentos, lo que demuestra que queda un largo camino por recorrer en la optimización del rendimiento.
¿Cómo puedo instalar y ejecutar este banco de pruebas?
Cada tarea de CWE-bench v2 funciona como un entorno autónomo de Harbor (que incluye un entorno Dockerizado, instrucciones y un verificador determinista). El paquete incluye un registro y permite ejecutar todo el banco de pruebas directamente desde el repositorio de Hugging Face sin clonar nada manualmente.
Antes de comenzar, debes aceptar las condiciones de acceso en la página del conjunto de datos y seguir los siguientes pasos para ponerlo en marcha:
- Guarda tu token de Hugging Face en el gestor de credenciales de git ejecutando: hf auth login --token $HF_TOKEN --add-to-git-credential
- Ejecuta el comando de Harbor apuntando al repositorio oficial: harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 --agent <agent> --model <model> --env docker --allow-agent-host <model API host>
- Analiza las puntuaciones reportadas, las cuales calculan la recompensa media tras 400 pruebas totales (-k 4 ejecuta 4 intentos por cada tarea).