Migliorare un agente AI cambiando solo il prompt.

Nel benchmark l’agente assiste un cliente simulato, usa strumenti che modificano prenotazioni e segue un regolamento. Un task riesce se comunica le informazioni richieste e lascia il database nello stato atteso.

Ho mantenuto fissi modello e strumenti per isolare l’effetto delle modifiche al prompt.

L’agente di default risolve 34 task su 50. Il punteggio binario, però, non distingue una risposta corretta senza azione da un’azione eseguita male.

Ho quindi letto le tracce in Langfuse e separato comunicazione, stato finale del database e azioni degli strumenti. Ogni tipo di errore suggerisce una correzione diversa.

Le tracce mostrano tre famiglie: l’agente descrive un’azione senza eseguirla, esegue un’azione non autorizzata oppure sceglie la prima opzione valida senza confrontarla con le altre.

Queste distinzioni hanno guidato le modifiche al prompt. Le figure mostrano un esempio di traccia e come ho classificato gli errori.

In tre versioni ho aggiunto istruzioni per i casi osservati. Il punteggio non è migliorato: il grafico mostra perché ho cambiato approccio.

Nel prompt finale ho cercato istruzioni più selettive e rimosso un esempio che spingeva l’agente ad aggiungere un servizio non richiesto. Il risultato riguarda questo modello e questi task, non ogni agente.

Ho tolto un esempio che confondeva un diritto del cliente con una richiesta effettiva. Ho poi reso espliciti due passaggi: confrontare le opzioni quando il cliente chiede «la più economica» e comunicare che una modifica non è ancora stata eseguita prima di chiedere conferma.

Serve what they asked for, and ONLY that: something the <policy> permits, or that they are entitled to - a free checked bag, a compensation, an upgrade they qualify for - is not something they asked for. An entitlement is not an instruction. If they did not ask for it, do not add it and do not offer it.

When the customer DESCRIBES what they want instead of naming it - "the cheapest", "anywhere on the west coast", "either airport" - that description is a search, not an instruction to take the first thing that fits. Search every combination the description allows, list the candidates you found with the number that decides between them, and choose by comparing those numbers. Write the list out before you choose.

Open that message with exactly this line, on its own:
I have not made any of these changes yet - I need your go-ahead first.
It matters because this message reads like a receipt, and a customer who thinks the work is already done will end the call before you can do it. Nothing is done until you call the tools.

Prima di ogni prova ho annotato quali task mi aspettavo cambiassero. Le esecuzioni successive hanno permesso di confrontare la previsione con il comportamento osservato.

La versione finale ha risolto in media l’80,5% dei task su quattro esecuzioni complete. L’agente di default ha ottenuto il 68% in una sola esecuzione: il numero è un riferimento, non una stima altrettanto stabile.

I quattro punteggi della versione finale vanno dal 74% all’86%. Ripetere la prova rende visibile una variabilità che una sola esecuzione nasconderebbe.