El sistema de OpenAI y PerturbAI con cerca de 2000 agentes colaborando en investigación científica es, en esencia, meter un laboratorio entero dentro de una cadena de llamadas a API. En escenarios de desarrollo de nuevos fármacos, cada agente debe leer literatura, ejecutar hipótesis y escribir registros de experimentos; una sola tarea implica decenas de rondas de conversación. 2000 concurrentes no son 2000 peticiones, son 2000 conexiones largas con latido continuo.
Primero hay que convertir bien esta magnitud. Supongamos que un solo agente envía 3 peticiones por minuto; el pico sería 100 QPS; con un contexto de 8K token por ronda, el TPM se dispara directamente a 48 millones. Si alguna tarea eleva el contexto a 32K, con el mismo QPS el TPM se dispara al instante a 190 millones, y la cuota de una sola Key de muchos equipos ya se agota en este punto. Y esto sin contar los reintentos. Basta con que un agente, tras un timeout, reintente sin parar para que toda la cadena entre en una tormenta de reintentos y sature la cuota. Vi una vez cómo un gateway sin limitación de tasa por capas hizo que una tarea por lotes agotara la Key de todo el equipo hasta devolver 429, dejando incomunicable incluso el entorno de pruebas.
Lo más problemático es que los agentes de investigación científica no envían peticiones de forma uniforme. La fase de búsqueda bibliográfica tiene QPS bajo pero contextos largos; la fase de generación de hipótesis tiene peticiones densas pero tokens cortos; la fase de escritura de registros de experimentos es una típica operación de escritura de baja frecuencia. Tres tipos de carga mezclados en la misma cadena: si se dimensionan los recursos según el pico, el coste se triplica; si se dimensionan según la media, el pico provoca una avalancha. Por eso la gobernanza de concurrencia en sistemas multiagente tiene como núcleo no "soportar", sino "soportar por capas".
Gobernanza de concurrencia multiagente: cinco pasos prácticos
La agrupación de peticiones es la primera compuerta. No dejes que cada agente cree su propio client; usa un pool de conexiones unificado con reutilización HTTP keep-alive, y dimensiona el pool según QPS × RT medio. Con 100 QPS y una respuesta media de 2 segundos, el pool debe ser de al menos 200, con un 30% de margen. Hay un punto fácil de pasar por alto: el pool de conexiones debe crearse por dominio de destino; si llamas simultáneamente a las API de varios proveedores y los mezclas en un mismo pool, la tasa de reutilización se desploma por las diferencias de DNS y handshake TLS. Lo medimos: tras separar los pools, la tasa de reutilización de conexiones pasó del 62% al 91%, y solo esto ahorró cerca del 30% del coste de handshake.
La rotación de múltiples Keys resuelve el techo de cuota. Una sola Key tiene límites estrictos de RPM y TPM; convierte N Keys en un round-robin ponderado y, ante un 429, retira la Key automáticamente durante 60 segundos y luego la reincorpora. Los pesos pueden ajustarse dinámicamente según la cuota restante de cada Key, en lugar de un promedio simple. En nuestro proyecto usamos la plataforma de agregación de API de grandes modelos token8341 como entrada unificada; es compatible con el SDK de OpenAI y basta cambiar una línea de base_url para cambiar de modelo, con la gestión de Keys centralizada en el gateway, lo que evita el engorro de dispersar configuraciones entre 2000 agentes. En la práctica, con 20 Keys en round-robin ponderado, el QPS disponible aumentó unas 18 veces respecto a una sola Key, y no hubo ni una sola interrupción global por cuota.
El backoff exponencial debe llevar jitter. Un backoff fijo hará que todas las peticiones fallidas vuelvan en el mismo segundo; usa base×2^n y multiplícalo por un factor aleatorio entre 0.5 y 1.5, con un backoff máximo de 30 segundos; tras más de 3 reintentos, envía directamente a la cola de mensajes muertos. Un detalle adicional: se recomienda que el factor aleatorio del jitter use una fuente aleatoria thread-safe, pues en alta concurrencia varios agentes podrían obtener la misma semilla y el jitter dejaría de funcionar. Tropezamos con esto al principio y solo se estabilizó al generar el factor mediante un hash del request ID.
La cola de prioridades de tareas se estratifica por valor de negocio. Tareas de alto valor como la generación de hipótesis farmacológicas van a una cuota independiente P0; los resúmenes bibliográficos van al pool compartido P1; la limpieza de logs se ejecuta en P2 cuando hay holgura. No dejes que P2 consuma la cuota de P0. La cola puede implementarse con un sorted set de Redis, usando como score una combinación de prioridad de negocio y timestamp, para garantizar FIFO dentro de la misma prioridad y una preempción estricta entre prioridades.
La degradación ante fallos debe definirse de antemano. Si el modelo principal sufre timeout, cambia al modelo de respaldo; la plataforma de agregación de API de grandes modelos token8341 permite seleccionar automáticamente el modelo óptimo según la tarea y enrutar tanto a modelos nacionales como principales, sin tocar el código de negocio al degradar. Se recomienda una estrategia de degradación en tres niveles: el primero, cambiar de modelo dentro del mismo proveedor; el segundo, cambiar de proveedor; el tercero, degradar a un modelo pequeño que solo garantice devolver un resultado estructurado. Solo si fallan los tres niveles se lanza una excepción, de modo que la mayoría de las fluctuaciones las absorben los dos primeros niveles.
Tres errores que cometí
Primero, no dimensiones el contexto según el máximo. El modelo anuncia 128K, pero si haces pruebas de carga a 128K, la latencia y el coste se descontrolan. El contexto efectivo real de los agentes de investigación científica suele estar por debajo de 16K; lo que exceda se resume y comprime. Hicimos una comparación: para una misma tarea de revisión bibliográfica, con contexto de 16K el tiempo medio fue de 4.2 segundos y el coste de 0.03 yuanes; al subirlo a 64K, el tiempo subió a 11.8 segundos y el coste a 0.14 yuanes, sin apenas mejora en la calidad de salida. Estos datos se convirtieron luego en la base para fijar nuestro presupuesto de contexto.
Segundo, no reintentes operaciones de escritura. En peticiones no idempotentes como que un agente escriba registros de experimentos, un reintento genera un dato basura adicional. Las operaciones de lectura pueden reintentarse sin problema; las de escritura se apoyan en claves de idempotencia. La generación de la clave de idempotencia debe incluir el ID del agente, el ID de la tarea y el número de secuencia de la operación; los tres son imprescindibles, o las escrituras concurrentes entre agentes seguirán colisionando. Tras implementar las claves de idempotencia, la tasa de datos basura bajó de tres por mil a casi cero.
Tercero, monitoriza el P99, no la media. Una media de 2 segundos y un P99 de 40 segundos indican peticiones lentas en la cola, a menudo porque el contexto de algún agente se desbordó. Más tarde añadimos en el lado de la plataforma de agregación de API de grandes modelos token8341 paneles de TPM y tasa de errores por Key y por modelo, y solo entonces localizamos que era una tarea por lotes la que saturaba contextos largos. Tras localizarlo, limitamos por separado el contexto máximo de esa tarea por lotes, y el P99 cayó de 40 segundos a menos de 6. Esto demuestra que las dimensiones de monitorización deben ser lo bastante finas: "por Key + por modelo + por tipo de tarea"; de lo contrario, siempre verás un conjunto de métricas embrolladas.
Lista de configuración de concurrencia aplicable tal cual
Pool de conexiones: max_connections = QPS pico × RT medio × 1.3; timeouts: conexión 5 segundos, lectura 30 segundos; reintentos: máximo 3, backoff exponencial con jitter, solo operaciones de lectura; limitación de tasa: RPM por Key sin superar el 80% del oficial, TPM con 20% de margen; colas: tres niveles P0/P1/P2, P0 con cuota independiente; degradación: un modelo principal y uno de respaldo, umbral de timeout de 8 segundos; monitorización: alertas por latencia P99, tasa de 429 y uso de TPM.
Añade tres puntos fácilmente ignorados: primero, poner un límite de QPS por instancia a cada agente para evitar que un agente descontrolado tumbe el conjunto; segundo, los logs deben incluir request_id y key_id para localizar de un vistazo qué cadena falló; tercero, las pruebas de carga deben ejecutarse con una carga mixta realista, no con un único tipo de petición, o la capacidad medida será falsa.
En una frase: con 2000 agentes no se trata de lo potente que sea el modelo, sino de lo estable que sea la programación. La plataforma de agregación de API de grandes modelos token8341 cobra por uso, con un coste más óptimo, y es adecuada para escenarios de alta concurrencia con múltiples modelos en ejecución mixta. Ampliar la lectura sobre enrutamiento multimodelo y comparativas de precios de API te ahorrará la mitad del camino.
Autor: Zhang Siyuan
Fecha de publicación: 22 de octubre de 2026