Progettare un agent harness: scegliere il modello giusto
Il model routing è un controllo operativo, non una gara di benchmark. Privacy e residenza dei dati definiscono prima il pool ammissibile; successo del task e qualità selezionano le route valide; solo dopo si ottimizzano token, latenza e costo. I modelli locali richiedono spesso più scomposizione, retrieval e verifica deterministica.
L’harness è l’unità produttiva
Un agente enterprise è un harness: intake, contesto, policy gate, esecuzione del modello, tool, stato, verifica, retry, osservabilità ed escalation. Il modello è una componente sostituibile. Test isolati non rappresentano formati, permessi, lessico e workflow reali.
Non scegliamo quindi “il modello migliore”, ma un percorso ammissibile che porta il task a uno stato di business verificato. Un livello operativo IA basato su thread mantiene routing, stato, autorizzazione e prove quando cambia l’esecutore.
Gate uno: privacy, residenza e ammissibilità contrattuale
Per ogni classe definiamo dati personali o riservati, regioni consentite, retention, logging e training, subprocessor, trasferimenti, cifratura, identità, audit, diritti di produzione e uso dei documenti recuperati. Le route non conformi vengono escluse prima della qualità.
La residenza riguarda l’intero percorso: file temporanei, retrieval, trace, review queue e backup. La redazione deve essere testata sui formati reali; togliere un nome lasciando un identificativo univoco non anonimizza. Il gate produce opzioni permesse, non un vincitore.
Gate due: successo del task, poi qualità
Successo significa raggiungere lo stato richiesto: risposta supportata da fonti risolvibili, record valido collegato agli span sorgente, oppure dry run e write approvati con readback. Prosa elegante con schema invalido, tool proibito o prova assente è un fallimento.
Il set di valutazione include casi comuni, limiti di policy, input mancanti o contraddittori, guasti, prompt injection, escalation obbligatorie e variazioni linguistiche. Schema, autorità, evidenza e astensione vengono prima dello stile. Le skill di agenti per workflow di dominio rendono procedure e controlli stabili.
Gate tre: token, latenza e costo
La misura è il costo per task verificato, non il prezzo per token. Retry, review e correzioni possono rendere costoso un modello economico.
| Dimensione | Misura a livello harness |
|---|---|
| Successo | completamenti verificati per tentativo ammissibile |
| Qualità | first-pass, gravità ed escape rate |
| Token | input, cache, output e retry per completamento |
| Latenza | mediana e coda dal trigger allo stato verificato |
| Costo | inferenza, retrieval, tool, review e rilavorazione |
| Stabilità | variazione nel tempo, nei formati e nelle classi |
Poniamo la route corrente a Baseline = 100 per costo corretto per qualità e latenza. Un indice inferiore vale solo se non nasconde minore successo, più eccezioni o maggiore review.
Instradare i task, non gli utenti
Una persona può chiedere sintesi pubbliche, confronti riservati, riconciliazioni e write in produzione. La route usa un envelope esplicito:
task_type: extract | classify | synthesize | plan | act | verify
data_class: public | internal | confidential | restricted
residency: approved_regions
authority: read | recommend | dry_run | approved_write
evidence: source_ids and freshness requirements
output_contract: schema or rubric version
risk: consequence and reversibility
latency_budget: interactive | asynchronous | batchClasse, residenza e autorità sono deterministiche; l’incertezza sceglie la route più sicura. Registriamo versioni di policy, modello, prompt o skill, fonti, tool call, verifier e stato finale.
Perché i modelli locali richiedono un harness diverso
Offrono controllo, costi prevedibili e funzionamento offline, ma possono essere meno affidabili su istruzioni, tool, contesto lungo e lingue.
Scomporre di più
Separare selezione, estrazione, classificazione, scrittura e verifica. Ogni fase ha contratti stretti e checkpoint.
Recuperare meno, ma meglio
Caricare un intero repository non è retrieval. Indici, filtri, freshness e brevi pacchetti di evidenze riducono il rumore. Un assistente IA locale con retrieval e ricerca web mostra il valore del livello di strumenti e fonti.
Verificare deterministicamente
Schemi, parser, allow-list, constraint, calcoli, policy engine e readback controllano campi, identificativi, totali, permessi e stato finale. Le verifiche semantiche usano una rubrica indipendente: la stessa chiamata non deve generare, valutare e approvare.
Cascade, fallback e astensione
La cascade parte dalla route qualificata meno costosa ed escala su schema invalido, evidenza mancante, conflitto, tool indisponibile, policy gate o errore del verifier. Il fallback non aggira residenza o autorità e non finge un’azione. Rifiuto o escalation corretti sono successo quando previsti dal contratto.
Stato, versioni e riproducibilità
Versioniamo task e policy, provider, regione, modello, prompt, skill, tool schema, query di retrieval, source ID e freshness, parametri, verifier, retry, review, azione e readback. La riproducibilità deriva da input, configurazione, azioni e prove, non dalla memorizzazione illimitata del ragionamento. Il tuning di un agente specifico per progetto ricorda che workspace persistenti richiedono cambiamenti ed errori osservabili.
Un processo pratico di selezione
- Definire le classi di task.
- Applicare i gate di ammissibilità.
- Costruire casi rappresentativi, limite e avversariali.
- Testare nel vero harness con tool e verifier.
- Eliminare le violazioni dure.
- Valutare successo, qualità e difetti gravi.
- Misurare token, latenza, review, retry e rilavorazione.
- Pilotare in shadow o dry-run.
- Approvare per classe con limiti e fallback.
- Rivalutare su cambiamenti e drift.
Il risultato è una routing policy versionata e supportata da evidenze, non una classifica permanente.
La regola decisionale
Privacy, residenza e contratto stabiliscono ciò che è ammesso. Successo verificato e qualità stabiliscono ciò che funziona. Token, latenza e costo totale stabiliscono l’efficienza fra le route rimaste. La scelta giusta è il sistema ammissibile più piccolo che completa il task entro il confine di qualità e ne prova il risultato.
Insight correlati
- Architettura di riferimento per un livello operativo IA a thread — routing, stato, autorità e verifica
- Skill di agenti per workflow di dominio — procedure e controlli specialistici
- Assistente IA locale con ricerca web e retrieval — modello pratico per inferenza locale, evidenza e tool