Red teaming automatizado con agentes según Anthropic
Anthropic puso agentes Claude a engañar a su propio monitor de datos de entrenamiento. Qué hicieron, qué límites reconocen y qué me llevo para mis agentes.
agentes · harness · sdd
// 00manel.marcos
Soy Cofundador y Head of Agent Engineering de onext. Aquí dejo cómo diseño sistemas de agentes: harness, contexto y Spec-Driven Development (SDD).

Soy Manel Marcos, Cofundador y Head of Agent Engineering de onext (se abre en una pestaña nueva). Esta web es mi cuaderno de ese trabajo: sistemas de agentes en producción, harness, contexto y Spec-Driven Development (SDD).
Llevo más de veinte años construyendo software. Empecé como responsable de IT en el mundo de la logística, pasé a desarrollar web y a administrar sistemas, y durante más de una década he trabajado por mi cuenta creando aplicaciones web, móviles y de escritorio con React, React Native, Node.js y la nube de AWS. Por el camino me he enganchado al IoT, conectando dispositivos con MQTT y colas de mensajes, y nunca he dejado de cuidar el diseño y la experiencia de usuario, porque creo que la tecnología tiene que ser fácil de usar. Estos últimos años el foco está en los agentes de IA: diseño sistemas de agentes para producción, el harness, el diseño de contexto y Spec-Driven Development (SDD). Aquí voy dejando lo que aprendo.
Las tres últimas notas. Salen solas del cuaderno, según las voy publicando.
Anthropic puso agentes Claude a engañar a su propio monitor de datos de entrenamiento. Qué hicieron, qué límites reconocen y qué me llevo para mis agentes.
Droid 1.0 deja que el modelo escriba un script que encadena cientos de llamadas a herramientas en una sola petición. Qué dice Factory, qué no he probado.
En 2010, Google refactorizó C++ en cerca de 250 millones de líneas sin IA. Su receta, por qué un CI lento frena a los agentes y qué me llevo para SDD.