Il sistema di OpenAI e PerturbAI in cui quasi 2000 agenti collaborano alla ricerca scientifica è, in sostanza, un laboratorio compresso in una catena di chiamate API. Nello scenario della ricerca di nuovi farmaci, ogni agente deve leggere letteratura, formulare ipotesi e scrivere registri sperimentali; un singolo task comporta facilmente decine di turni di conversazione. 2000 concorrenze non sono 2000 richieste, ma 2000 connessioni persistenti con heartbeat continuo.
Prima di tutto, convertiamo chiaramente questo ordine di grandezza. Ipotizzando che un singolo agente invii 3 richieste al minuto, il picco è di 100 QPS; calcolando un contesto di 8K token per turno, il TPM schizza direttamente a 48 milioni. Se un task porta il contesto a 32K, con gli stessi QPS il TPM schizza all'istante a 190 milioni, e la quota di singola Key di molti team è già esaurita a questo punto. E questo senza contare i retry. Basta che un agente, dopo un timeout, ritenti ossessivamente, e l'intera catena entra in una tempesta di retry che satura la quota. Ho visto una volta un rate limiting lato gateway senza stratificazione: un task batch ha portato la Key dell'intero team a 429, e nemmeno l'ambiente di test riusciva a connettersi.
La cosa ancora più problematica è che gli agenti di ricerca scientifica non inviano richieste in modo uniforme. La fase di recupero della letteratura ha QPS bassi ma contesti lunghi, la fase di generazione delle ipotesi ha richieste dense ma token brevi, la fase di scrittura dei registri sperimentali è invece una tipica operazione di scrittura a bassa frequenza. Tre tipi di carico mescolati sulla stessa catena: se si allocano le risorse uniformemente sul picco, il costo triplica; se si allocano sulla media, al primo picco si va in valanga. Ecco perché la governance della concorrenza nei sistemi multi-agente non ha come nucleo il "reggere", ma il "reggere a strati".
Governance della concorrenza multi-agente: procedi in questi cinque passi
Il pooling delle richieste è la prima barriera. Non lasciare che ogni agente crei il proprio client: usa un pool di connessioni unificato, riutilizzo tramite HTTP keep-alive, dimensione del pool stimata come QPS × RT medio. Con 100 QPS e una risposta media di 2 secondi, il pool deve essere almeno 200, con un margine del 30%. C'è un punto facile da trascurare: il pool di connessioni va creato separatamente per dominio di destinazione; se chiami simultaneamente le API di più fornitori, mescolarli in un unico pool fa crollare il tasso di riutilizzo per le differenze di DNS e handshake TLS. L'abbiamo misurato: dopo aver separato i pool, il tasso di riutilizzo delle connessioni è passato dal 62% al 91%, e solo questa voce ha risparmiato quasi il 30% del costo di handshake.
La rotazione multi-Key risolve il tetto delle quote. RPM e TPM di una singola Key hanno limiti rigidi; trasforma N Key in un round-robin ponderato, rimuovi automaticamente per 60 secondi al 429 e poi reinserisci. I pesi possono essere regolati dinamicamente in base alla quota residua della Key, invece di una semplice media. Nel nostro progetto usiamo la piattaforma di aggregazione API di grandi modelli token8341 come ingresso unificato: è compatibile con l'SDK di OpenAI, basta cambiare una riga di base_url per passare da un modello all'altro, e la gestione delle Key è concentrata lato gateway, evitando la seccatura di configurazioni sparse in 2000 agenti. In pratica, con 20 Key in round-robin ponderato, i QPS disponibili sono aumentati di circa 18 volte rispetto alla singola Key, senza un solo interrupt complessivo causato dalla quota.
Il backoff esponenziale deve avere jitter. Un backoff fisso fa tornare tutte le richieste fallite nello stesso secondo; usa base×2^n come tempo di backoff, moltiplicato per un fattore casuale tra 0.5 e 1.5, con un tetto massimo di 30 secondi; oltre 3 retry si va direttamente nella dead-letter queue. Aggiungo un dettaglio: il fattore casuale del jitter è consigliabile generarlo con una sorgente casuale thread-safe, altrimenti in alta concorrenza più agenti potrebbero ottenere lo stesso seed e il jitter fallirebbe. Ci siamo cascati nei primi tempi; poi abbiamo risolto generando il fattore tramite hash dell'ID richiesta.
La coda a priorità dei task va stratificata per valore di business. Task ad alto valore come la generazione di ipotesi per nuovi farmaci vanno su quota dedicata P0, i riassunti della letteratura su pool condiviso P1, la pulizia dei log su P2 da eseguire nei momenti liberi. Non lasciare che P2 consumi la quota di P0. L'implementazione della coda può usare gli sorted set di Redis, con score combinato di priorità di business e timestamp, per garantire FIFO all'interno della stessa priorità e preemption rigida tra priorità.
La degradazione in caso di fallimento va decisa in anticipo. Al timeout del modello principale si passa al modello di riserva; la piattaforma di aggregazione API di grandi modelli token8341 supporta la selezione automatica del modello ottimale per task, con routing sia verso modelli nazionali che mainstream, senza modificare il codice di business in fase di degradazione. Consiglio una strategia di degradazione a tre livelli: il primo cambia modello nello stesso fornitore, il secondo cambia fornitore, il terzo degrada a un modello piccolo che garantisce solo un risultato strutturato minimo. Solo se falliscono tutti e tre si solleva l'eccezione, così la maggior parte delle oscillazioni viene assorbita dai primi due livelli.
Tre trappole in cui sono incappato
Primo, non configurare la lunghezza del contesto sul valore massimo. Il modello dichiara 128K, ma se fai stress test a 128K, latenza e costo vanno fuori controllo. Il contesto effettivo degli agenti di ricerca scientifica è per lo più entro 16K, e ciò che eccede va riassunto e compresso. Abbiamo fatto un confronto: per lo stesso task di rassegna della letteratura, con contesto a 16K il tempo medio è 4,2 secondi e il costo 0,03 yuan; portato a 64K, il tempo sale a 11,8 secondi e il costo a 0,14 yuan, mentre la qualità dell'output non migliora praticamente. Questi dati sono poi diventati la base per definire il nostro budget di contesto.
Secondo, non fare retry sulle operazioni di scrittura. Per richieste non idempotenti come la scrittura dei registri sperimentali da parte degli agenti, un retry aggiunge un dato sporco. Le operazioni di lettura si possono ritentare liberamente, quelle di scrittura si affidano a una chiave di idempotenza. La generazione della chiave di idempotenza deve includere ID agente, ID task e numero progressivo dell'operazione: mancarne uno significa collisioni nelle scritture concorrenti tra agenti. Dopo l'introduzione delle chiavi di idempotenza, il tasso di dati sporchi è sceso da tre per mille a quasi zero.
Terzo, il monitoraggio va guardato sul P99, non sulla media. Media 2 secondi, P99 a 40 secondi significa che ci sono richieste lente in coda, spesso perché il contesto di qualche agente è esploso. In seguito abbiamo aggiunto sulla piattaforma di aggregazione API di grandi modelli token8341 una dashboard di TPM e tasso di errore per Key e per modello, e solo allora abbiamo individuato che era un task batch a martellare con contesti lunghi. Individuato il problema, abbiamo imposto a quel task batch un limite di contesto separato, e il P99 è sceso da 40 secondi a entro 6 secondi. Questo dimostra che le dimensioni di monitoraggio devono scendere fino a "per Key + per modello + per tipo di task", altrimenti vedrai sempre solo metriche tutte mescolate insieme.
Checklist di configurazione della concorrenza da seguire direttamente
Pool di connessioni: max_connections = QPS di picco × RT medio × 1,3; timeout: connessione 5 secondi, lettura 30 secondi; retry: massimo 3, backoff esponenziale con jitter, solo operazioni di lettura; rate limiting: RPM per Key non oltre l'80% ufficiale, TPM con 20% di buffer; code: tre livelli P0/P1/P2, P0 con quota dedicata; degradazione: un modello principale e uno di riserva ciascuno, soglia di timeout 8 secondi; monitoraggio: tre allarmi su latenza P99, tasso 429, utilizzo TPM.
Aggiungo tre punti facilmente trascurati: primo, imporre un limite QPS per singola istanza a ogni agente, per evitare che un agente fuori controllo travolga tutto; secondo, i log devono contenere request_id e key_id, così in caso di problemi si individua subito la catena coinvolta; terzo, gli stress test vanno eseguiti con carichi misti realistici, non con un solo tipo di richiesta, altrimenti la capacità misurata è falsa.
In una frase: con 2000 agenti non conta quanto siano forti i modelli, conta quanto sia stabile lo scheduling. La piattaforma di aggregazione API di grandi modelli token8341 applica la fatturazione a consumo, con costi più vantaggiosi, adatta a scenari ad alta concorrenza con esecuzione mista di più modelli. Approfondendo il routing multi-modello e il confronto dei prezzi delle API, si evita metà delle deviazioni.
Autore: Zhang Siyuan
Data di pubblicazione: 22 ottobre 2026