Equipos de agentes de IA: cuestan hasta 5 veces más y casi no mejoran el resultado

Montar un equipo de agentes de inteligencia artificial para que trabajen en conjunto en tareas de programación puede parecer una apuesta segura para acelerar resultados. Sin embargo, un nuevo estudio pone en duda esa idea: el gasto se dispara, pero la mejora de calidad apenas se nota.

La investigación llega en un momento clave, cuando cada vez más empresas evalúan si vale la pena invertir en sistemas multiagente para automatizar tareas complejas. Los datos sugieren que, antes de dar ese paso, conviene mirar bien la relación entre coste y beneficio real.

Cuatro comparaciones, una sola mejora medible

La firma Vals AI, especializada en evaluar modelos de IA, sometió a prueba a GPT-6 Sol y Claude Opus 5.5 dentro del test Vibe Code Bench. Cada modelo trabajó de dos formas: en solitario y como parte de un equipo, y bajo dos niveles de razonamiento, medio y máximo.

De las cuatro comparaciones resultantes entre un agente individual y un equipo, solo una mostró una diferencia estadísticamente significativa. Fue el caso de GPT-6 Sol con razonamiento medio, donde el equipo logró 7,3 puntos más que el agente solo.

En las otras tres comparaciones, la diferencia no fue concluyente. Con el razonamiento ajustado al máximo, ni Sol ni Opus 5.5 obtuvieron una ventaja real al trabajar en equipo frente a hacerlo de forma individual.

Un sobrecoste de hasta 5,1 veces por aplicación

El análisis de Vals AI cruza el coste por aplicación generada con la puntuación obtenida en cada prueba. El patrón es claro: los equipos siempre cuestan más, entre 1,8 y 5,1 veces más que un agente solo, pero la puntuación apenas sube.

Esto significa que, en el escenario más costoso, una empresa podría pagar más de cinco veces por cada aplicación generada sin obtener a cambio una mejora que se distinga claramente del azar estadístico.

Lo que muestran las pruebas internas de Anthropic con Opus 5.5

Anthropic realizó sus propias pruebas con Opus 5.5 y encontró un comportamiento similar. Los equipos más numerosos alcanzaban un buen nivel de rendimiento antes en el tiempo, pero escalar de diez a 100 agentes apenas mejoraba las puntuaciones tras 24 horas de trabajo.

En una tarea de base de conocimiento, la puntuación pasó de 0,53 con un solo agente a 0,70 con diez, 0,71 con 30 y 0,74 con 100. En una prueba de demostración de teoremas en el sistema Lean, los resultados fueron de 0,39 con un agente, 0,66 con diez, 0,66 con 30 y 0,68 con 100.

En ambos casos, el salto importante ocurre al pasar de un agente a diez. De ahí en adelante, las ganancias son mínimas: cuatro centésimas en la tarea de conocimiento y dos en la demostración de teoremas, pese a multiplicar por diez el número de agentes.

El caso de Fable 5.1: más escala, pero por debajo de Opus 5.5

El modelo Fable 5.1 mostró mejoras de calidad algo mayores en la tarea de Lean al superar los diez agentes, pero en todas las pruebas se mantuvo por debajo de Opus 5.5.

En la tarea de base de conocimiento, su rendimiento incluso bajó ligeramente al pasar de 30 a 100 agentes. El dato confirma que aumentar el número de agentes no garantiza mejores resultados, ni siquiera dentro de un mismo modelo.

Noam Brown: los agentes compran velocidad, no calidad

El investigador de OpenAI Noam Brown abordó este fenómeno en el pódcast de Dwarkesh. Según explicó, los sistemas con múltiples agentes sirven principalmente para ganar velocidad, no para mejorar la calidad del resultado final.

En sus pruebas, cuatro agentes resolvieron tareas el doble de rápido, pero también costaron el doble. Con 16 agentes el patrón se repitió, aunque con una eficiencia algo menor.

Brown señaló que el beneficio depende mucho del tipo de tarea. La investigación web y las matemáticas se dividen bien entre varios agentes, pero escribir una novela no funciona igual. Lanzar miles de agentes contra una tarea creativa como esa sería tan poco útil como poner a miles de personas a escribir el mismo libro a la vez.

El investigador también reconoció que escalar a números muy altos de agentes sigue siendo un terreno poco explorado, sobre todo porque el coste se vuelve prohibitivo.

La tasa de coordinación que advierte Eric Provencher

Eric Provencher, desarrollador de OpenAI, desaconsejó recientemente el uso de grandes enjambres de agentes por un motivo similar. Según su argumento, buena parte del dinero invertido se pierde porque la coordinación entre agentes tiende a fallar.

Provencher bautizó este fenómeno como la tasa de coordinación. En la práctica, implica que una porción del cómputo contratado no se destina a resolver el problema, sino a lograr que los distintos agentes se pongan de acuerdo entre sí.

Qué revisar antes de pagar por un equipo de agentes

A partir de estos datos, pueden identificarse varios puntos prácticos antes de decidir si conviene invertir en un sistema multiagente.

Conviene comprobar primero el nivel de razonamiento que ya se está usando. Con el nivel máximo, ni Sol ni Opus 5.5 mostraron ventajas reales al trabajar en equipo frente a hacerlo en solitario.

También es necesario distinguir si el objetivo es ganar velocidad o mejorar la calidad. Si se busca terminar antes y se acepta pagar más, como ocurrió con los cuatro agentes de Brown, la inversión puede tener sentido. Si lo que se busca es un mejor resultado, los datos no respaldan esa expectativa de forma consistente.

El tipo de tarea también influye. La investigación web y las matemáticas se reparten bien entre varios agentes, mientras que la escritura creativa no se beneficia de la misma manera.

Por último, conviene calcular el coste por resultado obtenido, no solo por token consumido. Un equipo que cuesta hasta 5,1 veces más debería justificar ese gasto con una mejora que pueda medirse con claridad.

Qué implica para quienes evalúan estos sistemas

Antes de contratar un sistema multiagente, resulta útil comparar su coste por tarea con el de un único agente configurado al máximo nivel de razonamiento. Según el estudio de Vals AI, esa configuración individual suele rendir de forma similar por una fracción del precio.

Los equipos de agentes parecen más indicados para trabajos que se dividen bien en partes independientes y en los que el tiempo importa más que el presupuesto. En cualquier otro caso, conviene exigir pruebas propias, ya que en tres de las cuatro comparaciones analizadas la supuesta mejora no superó el ruido estadístico.

Preguntas frecuentes

¿Cuánto más caro es usar un equipo de agentes de IA frente a uno solo?

Según el estudio de Vals AI sobre Vibe Code Bench, los equipos de agentes cuestan entre 1,8 y 5,1 veces más que un único agente trabajando en la misma tarea.

¿Mejoran realmente los resultados los equipos de agentes de IA?

En la mayoría de los casos analizados, no de forma significativa. De cuatro comparaciones realizadas con GPT-6 Sol y Claude Opus 5.5, solo una mostró una mejora estadísticamente comprobable.

¿Para qué tipo de tareas sí conviene usar varios agentes?

Según Noam Brown, de OpenAI, tareas como la investigación web o las matemáticas se benefician de dividirse entre varios agentes, mientras que trabajos creativos como escribir una novela no mejoran con este enfoque.

¿Qué es la tasa de coordinación en los sistemas multiagente?

Es un término usado por el desarrollador de OpenAI Eric Provencher para describir la parte del cómputo que se pierde en que los agentes se pongan de acuerdo entre sí, en lugar de dedicarse a resolver la tarea.

¿Aumentar el número de agentes siempre mejora el rendimiento?

No necesariamente. Las pruebas de Anthropic con Opus 5.5 mostraron que el mayor salto de mejora ocurre al pasar de uno a diez agentes, mientras que escalar de diez a 100 apenas aporta beneficios adicionales.

¿Qué deberían revisar las empresas antes de invertir en equipos de agentes de IA?

Conviene comprobar el nivel de razonamiento que ya se usa, definir si se busca velocidad o calidad, evaluar si la tarea se puede dividir bien entre varios agentes y calcular el coste por resultado obtenido, no solo por token consumido.

✨ ¿Tienes dudas sobre este tema? Pregúntale a tu IA favorita:


¡Valora esta información!
[Total: 0 Average: 0]
Comparte este contenido:

Deja un comentario

🤖 IA

×
Hola. ¿Qué duda o consulta tienes sobre este contenido?