Durante los últimos dos años, buena parte de la industria de la IA ha apostado por arquitecturas cada vez más elaboradas para sus agentes: orquestadores que reparten tareas, subagentes dedicados a buscar información, árboles de búsqueda sobre soluciones candidatas y equipos de agentes que se critican entre sí. Un nuevo estudio difundido por Apple Machine Learning Research pone en duda que toda esa maquinaria aporte valor cuando el modelo de base ya es fuerte.
El artículo se titula «How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?» (¿Cuánto andamiaje necesita un agente fuerte para la ingeniería de aprendizaje automático autónoma?). Fue publicado en arXiv con fecha del 30 de septiembre de 2026 y llamó la atención a principios de octubre. Sus autores son Kirill Brilliantov y Alejandro Hernández-Cano, con contribución equivalente, y Emmanuel Abbé, todos vinculados a la EPFL; según el propio artículo, parte del trabajo se realizó durante unas prácticas en Apple.
En el lenguaje del sector, el «harness» o arnés es el software que envuelve a un modelo de lenguaje para que pueda actuar: herramientas, memoria, bucles de planificación y, en los casos más complejos, varios agentes coordinados. La pregunta del estudio es sencilla: si un modelo moderno ya sabe leer archivos, escribir código, ejecutarlo y depurar errores por sí mismo, ¿qué partes de ese andamiaje siguen siendo útiles?
Para responderla, los investigadores construyeron Malena, una línea base que describen como un agente «ingeniero de aprendizaje automático» (machine learning engineer agent). Es una única sesión de un agente de programación, construida sobre el entorno abierto OpenCode, con un conjunto mínimo de primitivas: leer, escribir y ejecutar comandos de terminal. A eso se añaden tres herramientas ligeras: una para registrar entregas, otra para consultar recursos y tiempo restante, y otra para lanzar trabajos en segundo plano.
La comparación se hizo en condiciones igualadas: mismo modelo de base, mismo hardware y mismo presupuesto de tiempo. Cada agente disponía de una GPU A100 de 80 GB, 12 núcleos de CPU y 144 GB de RAM. El banco de pruebas principal fue MLE-bench, que mide la capacidad de los agentes para resolver competiciones de aprendizaje automático derivadas de Kaggle, con un subconjunto de 30 tareas y un presupuesto de 24 horas. También se usó NatureBench, con 40 tareas de investigación científica y un presupuesto de ocho horas.
Malena se enfrentó a cuatro sistemas de código abierto diseñados específicamente para esta tarea: MLEvolve, AiScientist, Arbor y ScienceFlow. Con el modelo GLM 5.2 como base, Malena consiguió medalla en el 62,5% de las competiciones, frente al 47,1% del mejor sistema externo evaluado, AiScientist. Es una diferencia de 15,4 puntos porcentuales a favor de la opción con menos piezas móviles. En NatureBench, Malena y AiScientist quedaron prácticamente empatados con el modelo Kimi K3.
Según el artículo, en 17 combinaciones de sistema y modelo sobre MLE-bench y seis en NatureBench, Malena igualó o superó a todos los rivales con los modelos de frontera. La única excepción parcial apareció con el modelo más pequeño, Gemma 4 31B, donde MLEvolve quedó por delante en la estimación media, aunque con intervalos de confianza que se solapaban. Los autores interpretan que los modelos más débiles todavía se benefician de estructuras diseñadas a mano.
El estudio no se limita a la comparación final. Los investigadores reimplementaron en una misma base de código las intervenciones típicas de estos sistemas y las fueron añadiendo o quitando una a una. El hallazgo más contundente es que dar al modelo un entorno de programación real, en lugar de una simple interfaz de chat, es con diferencia el efecto más grande medido. Más allá de eso, ninguna estrategia de búsqueda, delegación en subagentes ni paralelismo produjo mejoras estadísticamente significativas.
En algunos casos, la complejidad incluso empeoró los resultados. En una de las ablaciones, añadir la delegación en subagentes redujo la tasa de medallas de Malena del 55,7% al 45,2%, y combinar tres agentes paralelos con una herramienta para enviarse mensajes la bajó al 33,3%. Los autores señalan que coordinar adecuadamente agentes fuertes hacia un objetivo común sigue siendo una pregunta abierta.
El análisis de las trazas ofrece una explicación. Un agente capaz realiza por sí mismo la búsqueda que otros sistemas codifican de forma rígida: construye un flujo de trabajo general, reutiliza puntos de control y código auxiliar, y va probando parches como si ajustara hiperparámetros. Según el artículo, Malena incluso redescubrió por su cuenta técnicas populares en la comunidad de Kaggle, como el pseudoetiquetado, con dos modelos de base distintos.
Hay matices importantes. El coste de inferencia de Malena fue mayor en algunos casos: con GLM 5.2, su coste modelado fue de unos 12,12 dólares por ejecución, aproximadamente 6,2 veces el de AiScientist, porque su sesión única reenvía todo el contexto en cada turno. Aun así, los autores recuerdan que el coste total está dominado por el hardware: 24 horas de una A100 pueden costar entre 24 y 85 dólares según el proveedor.
Los propios investigadores reconocen limitaciones. Los presupuestos de cómputo restringieron el número de repeticiones con semillas distintas, lo que deja algunos intervalos de confianza amplios. MLE-bench, al basarse en competiciones públicas de Kaggle, es un objetivo plausible de contaminación de datos, algo que intentaron mitigar corrigiendo tareas defectuosas y añadiendo NatureBench. También admiten una posible asimetría en el esfuerzo de ajuste entre Malena y los sistemas externos.
El trabajo se suma a otros indicios en la misma dirección. Cryptobriefing recordó que un estudio de julio de 2026 encontró que equipos multiagente autoorganizados rendían casi un 41,1% por debajo de su mejor agente experto individual en pruebas de aprendizaje automático. El propio artículo cita trabajos en ingeniería de software que no hallaron mejoras significativas en 35 versiones de arneses sobre un modelo fijo en SWE-bench.
Para quienes construyen productos con IA, la lectura práctica es clara: antes de invertir en arquitecturas multiagente complejas, conviene comparar contra una línea base sencilla con el mismo modelo. Para la investigación, el estudio levanta una bandera metodológica: si las mejoras se presentan sin igualar el modelo de base, lo que parece ingenio arquitectónico puede ser simplemente un modelo más potente. Como concluyen los autores, la palanca está en el modelo y en el entorno que se le da, no en el andamiaje que se construye alrededor.
