Progetto completato · demo online
Interfaccia per preventivi collegata a Langfuse
Interfaccia con cui una persona senza formazione tecnica rivede preventivi e messaggi preparati da un agente prima che escano dall’azienda. I suoi giudizi finiscono su Langfuse accanto a quelli del giudice automatico che ha già valutato gli stessi output.
Che problema risolve
Un’automazione che genera contenuto rivolto a un cliente deve poter essere fermata o corretta da qualcuno in azienda prima dell’invio. Chi fa questo controllo di solito non l’ha costruita e non usa tracce e punteggi; chi la mantiene, l’ingegnere AI, ha bisogno proprio dei suoi giudizi per capire dove l’agente sbaglia.
L'interfaccia presenta un preventivo alla volta a chi deve approvarlo, senza richiedere la lettura delle tracce tecniche.
Come funziona
richiesta del cliente → agente esecutore → giudice automatico → coda su Langfuse → revisore → punteggi su Langfuse
L'agente prepara preventivo, PDF e messaggio dal catalogo prezzi. Un giudice automatico valuta preventivo e messaggio separatamente; una persona decide se approvarli o correggerli.
Per chi revisiona
- Vede richiesta, preventivo, messaggio e valutazione automatica nello stesso punto.
- Valuta separatamente preventivo e messaggio e può correggere quest'ultimo prima dell'invio.
- Può rinviare un caso oppure fermarlo; l'invio mostrato nella demo è simulato.
Per l’ingegnere AI
- Langfuse associa alla stessa traccia l'output dell'agente, il verdetto automatico e il giudizio umano: i disaccordi diventano casi da esaminare.
- Catalogo e dati dell'azienda restano separati dalla logica di revisione.
Una traccia, due giudizi
Il revisore valuta il risultato e indica se concorda con il giudice automatico. Questa distinzione permette di vedere se un problema riguarda l'output dell'agente, la sua valutazione automatica o entrambi.
Stato del prototipo
La demo usa richieste di prova e mostra il flusso di revisione. I giudizi inseriti nella demo online non vengono salvati; quelli presenti su Langfuse mostrano il collegamento, senza misurare l'accordo fra revisori indipendenti.
Codice
Il repository contiene la pipeline Python, l'interfaccia Next.js/React e i test. La demo si può provare online; il codice documenta anche come collegarla a un progetto Langfuse.