2026-09-05 · Hecho del 2026-09-02
El caso Playbook Review: el salto de calidad también está en el harness
Harvey describe un sistema de revisión con orquestador, trabajadores paralelos, contexto compartido y reconciliación de cambios. El ejemplo permite distinguir modelo, workflow, herramientas y evaluación.
Tecnología · Horizonte Operativo
Hecho observado
El 2 de septiembre de 2026 Harvey describió la reconstrucción de Playbook Review como sistema multiagente: un orquestador y trabajadores en paralelo, ramas de documento versionado con reconciliación posterior, contexto y estado compartidos, y políticas de reintento, concurrencia, caché y enrutado por tarea sobre un harness multimodelo. El comité de tres modelos que menciona el texto es un método de evaluación con rúbricas, no un concilio en tiempo de ejecución.
Las métricas que publica son propias, no un benchmark independiente: clasificación del 59 % al 77 % y redline del 53 % al 87 %, es decir, 18 y 34 puntos porcentuales, con la latencia pasando de 2,6 a 3,8 minutos.
Lectura del observatorio
Paralelizar una revisión no basta: hace falta decidir qué contexto comparte cada agente, cómo se controlan cambios incompatibles, cuándo se repite solo una subtarea y qué resultado exige intervención. Un voto de modelos no convierte una afirmación en evidencia. La redundancia debe aportar un error detectado adicional frente a su coste y frente a errores correlacionados. La unidad de evaluación útil es el producto completo en condiciones reales, no un prompt aislado.
Decisión
Definir un banco de pruebas del workflow que registre versión de modelo, harness, playbook, dataset y carga humana, y aplicar concilios de modelos de forma selectiva frente a una baseline independiente.
Qué no sabemos y límites
- Qué no sabemos
- El artículo describe parejas de contrato y playbook, pero no se dispone de un dataset público reproducible ni de réplica externa de estas métricas, ni de comportamiento por jurisdicción o por tipo de contrato.
- Límites
- Descripción de arquitectura y métricas publicadas por el proveedor. La mejora se expresa en puntos porcentuales sobre su propia medición y no es comparable con evaluaciones de terceros.
Fuentes
- How We Rebuilt Playbook Review as a Multi-Agent System (se abre en una pestaña nueva) · Harvey · 2026-09-02