¿Qué es la mejora recursiva de la que advierte Anthropic?
La mejora recursiva (RSI) es el punto en el que una inteligencia artificial se vuelve tan eficaz entrenándose a sí misma que desencadena una aceleración drástica de sus capacidades. En la sección de factores de riesgo de su formulario S-1A, Anthropic indicó que el uso de IA para acelerar su propia investigación y desarrollo podría provocar avances más rápidos que la capacidad de implementar medidas de seguridad correspondientes.
Para los observadores de la industria, el RSI representa tanto una vía hacia avances científicos sin precedentes como un riesgo considerable si los modelos sobrepasan los mecanismos de control humano durante sus ciclos de entrenamiento.
¿Ha alcanzado Claude la capacidad de autoconstruirse?
Ninguno de los modelos actuales de Anthropic ha superado el umbral técnico de la mejora recursiva según la documentación oficial presentada ante los reguladores. La empresa aclaró que, aunque ha utilizado sistemas de IA para desarrollar modelos cuyas ganancias de capacidad no detectó de inmediato, ningún modelo vigente sobrepasa ese límite.
Asimismo, la compañía descartó permitir que Claude diseñe y construya de forma completamente autónoma las sucesivas generaciones de modelos frontera sin una supervisión humana significativa.
¿Cómo supervisa Anthropic los riesgos asociados al RSI?
Anthropic gestiona estos riesgos mediante su Política de Escalado Responsable (RSP), marco que define planes para mitigar amenazas a medida que los modelos se acercan a la mejora acelerada. Ante la proximidad de estos umbrales, los equipos de investigación adoptan medidas de contención para preservar el control humano en los procesos de desarrollo.
- Supervisar de forma continua las métricas de rendimiento en tareas de programación y matemáticas.
- Actualizar la Política de Escalado Responsable para incorporar salvaguardas antes de cada entrenamiento.
- Mantener revisión humana obligatoria sobre los cambios arquitectónicos generados con asistencia de IA.
- Evaluar retrospectivamente los saltos imprevistos de capacidad en entornos de investigación aislados.