En julio de 2026, Zapier y Artificial Analysis publicaron AutomationBench-AA, el primer benchmark independiente que mide si los agentes de IA completan tareas reales de negocio de punta a punta. El resultado: ninguno supera el 50%. Los mejores —Claude Fable 5 (48,6%) y Claude Opus 4.8 (48,5%)— dejan sin completar más de la mitad de las tareas; Gemini 3.5 Flash (42,6%) y GPT-5.5 (42,1%) quedan detrás.
La conclusión práctica no es no usar agentes: es no usarlos sin supervisión en procesos que importan. La implementación que funciona hoy pone checkpoints humanos en los pasos críticos y deja al agente el trabajo repetitivo y reversible.
Hay un discurso de venta que circula fuerte: instalá un agente de IA y automatizá tu empresa. Suena bien y es peligroso, porque mezcla dos cosas distintas —que un modelo conteste bien en un chat y que ejecute bien un proceso completo con consecuencias—. Hasta ahora esa diferencia era difícil de discutir con datos. Ya no.
¿Qué es AutomationBench-AA y por qué importa?
Es el primer benchmark independiente que mide agentes de IA en tareas reales de negocio, no en preguntas de examen. Lo construyó Zapier —a partir de patrones reales de más de 2.000 millones de tareas mensuales de 3,7 millones de empresas— y lo evaluó Artificial Analysis, la casa de benchmarks de modelos.
La mecánica es lo que lo hace serio. Son 657 tareas repartidas en 6 funciones de negocio —ventas, marketing, operaciones, soporte, finanzas y RRHH— que el agente resuelve orquestando 40 entornos SaaS simulados (CRM, casillas de mail, calendarios) vía APIs. Y el puntaje no mira lo que el agente dice: mira el estado final de los sistemas. Si la tarea era mover un registro, agendar y responder un hilo, se verifica que eso haya pasado de verdad. Es lo más cerca del trabajo real que existe hoy en un benchmark.
¿Qué tan bien completan los agentes las tareas reales?
Peor de lo que sugiere el marketing. Ningún modelo llega al 50%. Estos son los resultados de referencia publicados:
| Modelo | Empresa | Tareas completadas |
|---|---|---|
| Claude Fable 5 | Anthropic | 48,6% |
| Claude Opus 4.8 | Anthropic | 48,5% |
| Gemini 3.5 Flash | 42,6% | |
| GPT-5.5 (xhigh) | OpenAI | 42,1% |
Fuente: AutomationBench-AA, Artificial Analysis + Zapier (julio de 2026). Los modelos de Anthropic lideran, pero la lectura clave no es quién gana: es que el mejor deja sin resolver 1 de cada 2 tareas.
¿Por qué fallan los agentes en procesos de negocio?
Porque el trabajo real no se parece a un chat. Una tarea de negocio real combina tres cosas que rompen a los agentes: ambigüedad (datos que faltan, instrucciones incompletas, hilos de mail contradictorios), varios pasos encadenados y orquestación entre varias apps. El benchmark, a propósito, mete al agente en esa incomodidad: registros de CRM incompletos, contexto disperso, la misma ambigüedad que enfrenta una persona.
Y hay un efecto multiplicador: en una cadena de ocho pasos, un error temprano arrastra todo el resultado. Un agente que acierta cada paso individual el 92% de las veces igual completa la cadena entera solo dos de cada tres veces. Por eso un modelo excelente en respuestas puntuales puede ser mediocre ejecutando procesos: el problema no es la inteligencia por token, es la acumulación de incertidumbre a lo largo del proceso.
¿Significa que no hay que usar agentes de IA?
No. Significa que hay que usarlos donde ya funcionan y con la supervisión correcta. Un 48% completado de punta a punta sin ninguna ayuda humana es, en la práctica, mucho más alto cuando el proceso está bien diseñado: si una persona resuelve las ambigüedades al inicio y revisa el paso crítico al final, el agente hace el 90% del trabajo pesado en el medio y el resultado es confiable.
La diferencia entre un proyecto de IA que funciona y uno que se cancela no es el modelo —Fable 5 y Opus 4.8 ya son excelentes—. Es el diseño. El error caro es tratar al agente como un piloto automático que se instala y se olvida. El benchmark es la evidencia dura de por qué eso todavía no existe.
¿Cómo implementar IA con checkpoints humanos?
Con un método, no con entusiasmo. En las implementaciones que hago con empresas, el criterio para decidir dónde el agente actúa solo y dónde revisa un humano es simple: separá los pasos por consecuencia y reversibilidad.
- 1Empezá por lo repetitivo y reversible. Clasificar mails, preparar borradores, resumir, precargar datos. Si se equivoca, se corrige sin costo. Ahí el agente va suelto.
- 2Poné el checkpoint humano en el paso con consecuencia. Enviar al cliente, mover plata, cerrar un ticket, modificar un registro maestro. Ahí una persona aprueba antes de ejecutar. Es un clic, no rehacer el trabajo.
- 3Medí y recién después ampliá el alcance. Cuando un paso demuestra tasa de acierto sostenida bajo supervisión, se le puede sacar el checkpoint. La autonomía se gana con datos, no se asume el día uno.
Este es el mismo principio que aplico en el proceso de implementación de Claude por fases: la IA entra por donde el riesgo es bajo, se mide, y se escala con criterio. Y requiere que el equipo sepa dónde mirar —por eso la capacitación del equipo no es un extra: es lo que hace que el checkpoint humano sea real y no un sello automático.
Preguntas frecuentes sobre agentes de IA en empresas.
AutomationBench-AA es el primer benchmark independiente que mide si los agentes de IA completan tareas reales de negocio de punta a punta. Lo publicaron Zapier y Artificial Analysis en julio de 2026: 657 tareas construidas sobre patrones reales de más de 2.000 millones de tareas mensuales, en 40 entornos SaaS simulados (CRM, mail, calendario) y 6 funciones —ventas, marketing, operaciones, soporte, finanzas y RRHH—. Cada tarea se puntúa por el estado final de los sistemas, no por lo que el agente responde.
Según AutomationBench-AA, los modelos de Anthropic lideran: Claude Fable 5 con 48,6% y Claude Opus 4.8 con 48,5%, seguidos por Gemini 3.5 Flash (42,6%) y GPT-5.5 en configuración xhigh (42,1%). Ningún modelo supera el 50%: incluso el mejor deja sin completar más de la mitad de las tareas reales.
Todavía no para procesos de negocio completos. Con los mejores agentes resolviendo menos de la mitad de las tareas reales, un piloto automático sin supervisión implica que uno de cada dos procesos puede terminar mal. La implementación que funciona hoy pone checkpoints humanos en los pasos críticos —los que tienen consecuencias si se ejecutan mal— y deja al agente el trabajo repetitivo y reversible.
Porque las tareas de negocio reales combinan ambigüedad, varios pasos encadenados y orquestación entre varias apps. El benchmark deja al agente en entornos con la misma ambigüedad que el trabajo real: registros de CRM incompletos, hilos de mail contradictorios, datos que faltan. Un modelo que responde bien en un chat no necesariamente ejecuta bien una cadena de ocho pasos donde un error temprano arrastra todo el resultado.
Con una implementación por fases y checkpoints humanos: se empieza por procesos repetitivos y reversibles, se define en qué pasos una persona revisa antes de ejecutar, y se mide el resultado antes de ampliar el alcance del agente. No es instalar un agente y listo: es diseñar dónde la IA decide sola y dónde un humano aprueba.
No. Los agentes ya rinden en tareas acotadas y de bajo riesgo, y la ventaja de aprender a operarlos hoy es real. Esperar al agente perfecto es perder el tiempo de aprendizaje organizacional. Lo sensato es implementar ahora en el terreno donde ya funcionan —con supervisión— y escalar a medida que los modelos mejoran.
Última actualización: 8 de julio de 2026 · Versión 1.0 · Datos de AutomationBench-AA según Artificial Analysis y Zapier (julio de 2026). Análisis y opinión: Diego Ceredi, consultor certificado por Anthropic.
Claude Sonnet 5: el modelo pensado para que los agentes de IA salgan más baratos a tu empresa
8 min de lectura
Claude + n8n y MCP: cómo conectar Claude a las herramientas de tu empresa
8 min de lectura