metodo · criteri di progetto
Sei decisioni da chiarire prima di affidare un compito a un sistema AI.
Nei miei progetti separo tre domande: quale parte del lavoro affidare al modello, come misurare il risultato e dove serve una decisione umana. I casi di τ²-bench e dell’interfaccia per preventivi mostrano due applicazioni di questi criteri.
Prima di scegliere un modello occorre descrivere l’ingresso, il risultato atteso e le eccezioni. Alcuni passaggi possono essere deterministici; altri richiedono interpretazione del linguaggio o conferma umana.
Un confronto utile parte da esempi reali e da un criterio di successo verificabile. In τ²-bench, per esempio, il punteggio finale da solo non spiegava se l’agente avesse comunicato male o modificato male la prenotazione.
Una regola o una chiamata a un servizio possono essere sufficienti per un passaggio prevedibile. Un modello è utile quando bisogna interpretare testo libero o scegliere fra casi difficili da descrivere con regole.
Se la sequenza è nota, il codice può governarla e usare il modello solo nei punti necessari. Una ricerca agentica è più adatta quando il passo successivo dipende dalle informazioni appena trovate.
per ogni passo: codice, modello o persona — e quando il modello lavora dentro un flusso fisso invece di deciderlo da sé
In una catena di passaggi, anche errori rari possono accumularsi. L’esempio nel grafico assume passaggi indipendenti e riuscita del 98% per ciascuno: dopo dieci passi la probabilità di riuscita completa è circa l’82%. Un controllo intermedio può recuperare parte degli errori, se è efficace.
un esempio teorico: l'effetto dei controlli dipende da quanti errori riescono a intercettare
Gli strumenti vanno scelti anche per gli effetti che producono: leggere una fonte è diverso dal modificare dati o inviare un messaggio. Il prototipo per preventivi mostra un punto in cui la persona può controllare l’output prima dell’invio.
Le tracce in Langfuse collegano chiamate, risultati e giudizi. In τ²-bench le ho usate per analizzare gli errori; nel prototipo di revisione per affiancare valutazione automatica e umana.
Un test utile deve dire prima quali risultati contano: completamento del compito, errori, tempo e costo. Anche il comportamento su casi senza risposta va osservato.
Ripetere gli stessi casi aiuta a vedere quanto varia il risultato. Su τ²-bench quattro esecuzioni della stessa versione hanno dato punteggi dal 74% all’86%: una sola misura avrebbe nascosto questa differenza.
Un giudice automatico può controllare regole, dati o qualità del testo; una persona può intervenire dove serve interpretare il contesto o autorizzare l’uscita. La scelta dipende dal risultato prodotto e dal costo di un errore.
Nel prototipo per preventivi il giudice automatico valuta contenuto e messaggio; una persona vede lo stesso caso e decide se approvarlo o correggerlo prima dell’invio.
I due giudizi sono associati alla stessa traccia in Langfuse. Un disaccordo indica un caso da rivedere, senza confondere l’errore dell’agente con quello della valutazione automatica.
Quando esiste una verifica oggettiva, si può controllare lo stato finale: per esempio, se un record contiene i valori attesi o se un test sul codice passa. La verifica deve essere separata dall’azione che valuta.
Se il criterio dipende dal contesto o da una responsabilità personale, il modello può preparare una proposta ma la decisione resta a chi la usa. Le correzioni spiegano quali aspetti meritano attenzione nei test successivi.
Per compiti a basso impatto può bastare un controllo a campione, se gli errori sono facili da individuare e correggere. La frequenza del controllo è una scelta da misurare sul caso concreto.
Le tracce in Langfuse aiutano a capire che cosa ha fatto il sistema. Per valutare l’output, invece, serve vedere il contesto e il risultato senza attraversare tutte le chiamate tecniche.
Nel prototipo di revisione umana mostro un caso per volta: messaggio originale, proposta corretta e spazio per il giudizio. L’eventuale correzione diventa un dato utile per analizzare i disaccordi con il giudice automatico.
lo stesso caso può essere letto dal giudice automatico, dal revisore e da chi analizza le tracce
Nel prototipo i giudizi umani vengono collegati alle valutazioni automatiche in Langfuse. I disaccordi aiutano a scegliere nuovi casi di test; ogni modifica al giudice richiede poi una verifica separata.