En julio de 2026, Zapier y Artificial Analysis publicaron AutomationBench-AA, el primer benchmark independiente que mide si los agentes de IA completan tareas reales de negocio de punta a punta. El resultado: ninguno supera el 50%. Los mejores —Claude Fable 5 (48,6%) y Claude Opus 4.8 (48,5%)— dejan sin completar más de la mitad de las tareas; Gemini 3.5 Flash (42,6%) y GPT-5.5 (42,1%) quedan detrás. (Claude Opus 5, lanzado el 24/07/2026, es posterior a esta corrida y todavía no figura en el leaderboard.)
La conclusión práctica no es no usar agentes: es no usarlos sin supervisión en procesos que importan. La implementación que funciona hoy pone checkpoints humanos en los pasos críticos y deja al agente el trabajo repetitivo y reversible.
Hay un discurso de venta que circula fuerte: instalá un agente de IA y automatizá tu empresa. Suena bien y es peligroso, porque mezcla dos cosas distintas —que un modelo conteste bien en un chat y que ejecute bien un proceso completo con consecuencias—. Hasta ahora esa diferencia era difícil de discutir con datos. Ya no.
¿Qué es AutomationBench-AA y por qué importa?
Es el primer benchmark independiente que mide agentes de IA en tareas reales de negocio, no en preguntas de examen. Lo construyó Zapier —a partir de patrones reales de más de 2.000 millones de tareas mensuales de 3,7 millones de empresas— y lo evaluó Artificial Analysis, la casa de benchmarks de modelos.
La mecánica es lo que lo hace serio. Son 657 tareas repartidas en 6 funciones de negocio —ventas, marketing, operaciones, soporte, finanzas y RRHH— que el agente resuelve orquestando 40 entornos SaaS simulados (CRM, casillas de mail, calendarios) vía APIs. Y el puntaje no mira lo que el agente dice: mira el estado final de los sistemas. Si la tarea era mover un registro, agendar y responder un hilo, se verifica que eso haya pasado de verdad. Es lo más cerca del trabajo real que existe hoy en un benchmark.
¿Qué tan bien completan los agentes las tareas reales?
Peor de lo que sugiere el marketing. Ningún modelo llega al 50%. Estos son los resultados de referencia publicados:
| Modelo | Empresa | Tareas completadas |
|---|---|---|
| Claude Fable 5 | Anthropic | 48,6% |
| Claude Opus 4.8 | Anthropic | 48,5% |
| Gemini 3.5 Flash | 42,6% | |
| GPT-5.5 (xhigh) | OpenAI | 42,1% |
Fuente: AutomationBench-AA, Artificial Analysis + Zapier (julio de 2026). Los modelos de Anthropic lideran, pero la lectura clave no es quién gana: es que el mejor deja sin resolver 1 de cada 2 tareas.
¿Por qué fallan los agentes en procesos de negocio?
Porque el trabajo real no se parece a un chat. Una tarea de negocio real combina tres cosas que rompen a los agentes: ambigüedad (datos que faltan, instrucciones incompletas, hilos de mail contradictorios), varios pasos encadenados y orquestación entre varias apps. El benchmark, a propósito, mete al agente en esa incomodidad: registros de CRM incompletos, contexto disperso, la misma ambigüedad que enfrenta una persona.
Y hay un efecto multiplicador: en una cadena de ocho pasos, un error temprano arrastra todo el resultado. Un agente que acierta cada paso individual el 92% de las veces igual completa la cadena entera solo dos de cada tres veces. Por eso un modelo excelente en respuestas puntuales puede ser mediocre ejecutando procesos: el problema no es la inteligencia por token, es la acumulación de incertidumbre a lo largo del proceso.
¿Significa que no hay que usar agentes de IA?
No. Significa que hay que usarlos donde ya funcionan y con la supervisión correcta. Un 48% completado de punta a punta sin ninguna ayuda humana es, en la práctica, mucho más alto cuando el proceso está bien diseñado: si una persona resuelve las ambigüedades al inicio y revisa el paso crítico al final, el agente hace el 90% del trabajo pesado en el medio y el resultado es confiable.
La diferencia entre un proyecto de IA que funciona y uno que se cancela no es el modelo —Fable 5 y Opus 5 ya son excelentes—. Es el diseño. El error caro es tratar al agente como un piloto automático que se instala y se olvida. El benchmark es la evidencia dura de por qué eso todavía no existe.
¿Cómo implementar IA con checkpoints humanos?
Con un método, no con entusiasmo. En las implementaciones que hago con empresas, el criterio para decidir dónde el agente actúa solo y dónde revisa un humano es simple: separá los pasos por consecuencia y reversibilidad.
- 1Empezá por lo repetitivo y reversible. Clasificar mails, preparar borradores, resumir, precargar datos. Si se equivoca, se corrige sin costo. Ahí el agente va suelto.
- 2Poné el checkpoint humano en el paso con consecuencia. Enviar al cliente, mover plata, cerrar un ticket, modificar un registro maestro. Ahí una persona aprueba antes de ejecutar. Es un clic, no rehacer el trabajo.
- 3Medí y recién después ampliá el alcance. Cuando un paso demuestra tasa de acierto sostenida bajo supervisión, se le puede sacar el checkpoint. La autonomía se gana con datos, no se asume el día uno.
Este es el mismo principio que aplico en el proceso de implementación de Claude por fases: la IA entra por donde el riesgo es bajo, se mide, y se escala con criterio. Y requiere que el equipo sepa dónde mirar —por eso la capacitación del equipo no es un extra: es lo que hace que el checkpoint humano sea real y no un sello automático.
La industria lo confirma: el problema no es la demo, son los seis meses siguientes.
El benchmark mide una cosa —si el agente completa la tarea—. Pero hay un segundo motivo de fracaso que no aparece en ninguna tabla y que golpea justo cuando el proyecto pasa de la prueba a producción. El 28 de julio de 2026, Marcio Aguiar, Director de la División Enterprise de NVIDIA para América Latina, lo puso en palabras que conviene leer despacio:
“Una demostración convence a la junta directiva en veinte minutos, pero lo que realmente define el éxito del proyecto es lo que ocurre en los seis meses siguientes, cuando el agente debe funcionar todos los días, dentro de un costo que la empresa pueda sostener y con reglas claras sobre lo que puede o no puede hacer.”— Marcio Aguiar, NVIDIA (28 de julio de 2026)
Aguiar señala tres causas de fracaso que no son técnicas sino de gestión: subestimar el consumo de cómputo al escalar de la prueba al uso masivo, dejar la seguridad y la gobernanza para después del lanzamiento en vez de diseñarlas desde el inicio, y escalar sin un ROI definido. Es exactamente la otra mitad del problema: el benchmark explica por qué un agente falla la tarea; NVIDIA explica por qué un proyecto que ya funcionaba en la demo se cae en producción.
Las dos miradas apuntan al mismo lugar. La herramienta —el modelo— dejó de ser el cuello de botella; lo que decide el resultado es la gobernanza: costo sostenible, permisos claros y una persona que valida en el paso que importa. Eso no se compra con una licencia, se construye con método y con un equipo que sabe operarlo —la razón por la que la capacitación corporativa en IA pesa más, a la hora de la verdad, que la elección del proveedor.
Preguntas frecuentes sobre agentes de IA en empresas.
AutomationBench-AA es el primer benchmark independiente que mide si los agentes de IA completan tareas reales de negocio de punta a punta. Lo publicaron Zapier y Artificial Analysis en julio de 2026: 657 tareas construidas sobre patrones reales de más de 2.000 millones de tareas mensuales, en 40 entornos SaaS simulados (CRM, mail, calendario) y 6 funciones —ventas, marketing, operaciones, soporte, finanzas y RRHH—. Cada tarea se puntúa por el estado final de los sistemas, no por lo que el agente responde.
Según AutomationBench-AA (julio de 2026), los modelos de Anthropic lideran: Claude Fable 5 con 48,6% y Claude Opus 4.8 con 48,5%, seguidos por Gemini 3.5 Flash (42,6%) y GPT-5.5 en configuración xhigh (42,1%). Ningún modelo supera el 50%: incluso el mejor deja sin completar más de la mitad de las tareas reales. Claude Opus 5 (24/07/2026) es posterior a esta corrida y aún no figura en el leaderboard.
Todavía no para procesos de negocio completos. Con los mejores agentes resolviendo menos de la mitad de las tareas reales, un piloto automático sin supervisión implica que uno de cada dos procesos puede terminar mal. La implementación que funciona hoy pone checkpoints humanos en los pasos críticos —los que tienen consecuencias si se ejecutan mal— y deja al agente el trabajo repetitivo y reversible.
Porque las tareas de negocio reales combinan ambigüedad, varios pasos encadenados y orquestación entre varias apps. El benchmark deja al agente en entornos con la misma ambigüedad que el trabajo real: registros de CRM incompletos, hilos de mail contradictorios, datos que faltan. Un modelo que responde bien en un chat no necesariamente ejecuta bien una cadena de ocho pasos donde un error temprano arrastra todo el resultado.
Con una implementación por fases y checkpoints humanos: se empieza por procesos repetitivos y reversibles, se define en qué pasos una persona revisa antes de ejecutar, y se mide el resultado antes de ampliar el alcance del agente. No es instalar un agente y listo: es diseñar dónde la IA decide sola y dónde un humano aprueba.
No. Los agentes ya rinden en tareas acotadas y de bajo riesgo, y la ventaja de aprender a operarlos hoy es real. Esperar al agente perfecto es perder el tiempo de aprendizaje organizacional. Lo sensato es implementar ahora en el terreno donde ya funcionan —con supervisión— y escalar a medida que los modelos mejoran.
Última actualización: 1 de agosto de 2026 · Versión 1.1 (se sumó la validación de NVIDIA sobre el fracaso demo→producción) · Datos de AutomationBench-AA según Artificial Analysis y Zapier (julio de 2026); declaraciones de Marcio Aguiar (NVIDIA) vía Infobae (28 de julio de 2026). Análisis y opinión: Diego Ceredi, consultor certificado por Anthropic.
xAI lanzó Grok Bot: agentes que inician sesión con tus credenciales en cualquier sistema, sin API ni integración
8 min de lectura
Claude Sonnet 5: el modelo pensado para que los agentes de IA salgan más baratos a tu empresa
8 min de lectura