Agente AI: le prove da superare prima di affidargli un processo

In breve. Prima di affidare un processo a un agente AI, verificate che rispetti criteri scritti sul vostro lavoro: una demo riuscita non basta. Provate richieste incomplete, azioni vietate e interruzioni, non soltanto i casi che si concludono senza problemi. Chiedete evidenze dei permessi, delle operazioni eseguite e del passaggio a una persona. Approvate soltanto il compito e i limiti verificati, indicando quali errori impediscono l’avvio.

Definire il risultato accettabile prima delle prove

Una demo mostra che cosa l’agente può fare. Il collaudo serve a decidere quale lavoro potete affidargli e a quali condizioni. Per questo i criteri vanno concordati prima di vedere i risultati.

Consideriamo un esempio ipotetico: volete un agente che prepari bozze di preventivo per ricambi, usando le richieste ricevute e il listino approvato. L’invio resta al commerciale.

Una bozza ben impaginata non è ancora un risultato accettabile. Ogni articolo deve corrispondere a un codice del listino; le quantità devono provenire dalla richiesta; gli eventuali sconti devono essere autorizzati. Se manca il modello del ricambio, l’agente deve chiedere un chiarimento, non scegliere quello che sembra più probabile.

Scrivete quindi una scheda del compito che specifichi:

• Che cosa può fare: preparare la bozza, senza inviarla.
• Quali dati può usare: richiesta ricevuta, listino approvato e documenti autorizzati.
• Che cosa rende accettabile il risultato: codici, quantità, prezzi e calcoli conformi alle regole concordate.
• Quando deve fermarsi: dati mancanti o contraddittori, documenti necessari non disponibili.
• Chi decide: la persona che approva la bozza e dove registra la conferma.

Evitate formule come «deve essere affidabile». Un requisito verificabile è: «Se manca la quantità, il campo resta vuoto e la bozza viene segnalata come incompleta».

Per ogni prova chiedete al fornitore di documentare dati iniziali, comportamento atteso, risultato osservato ed evidenza del controllo. Questo vi permette di motivare l’approvazione o il rifiuto senza dipendere dalla presentazione della demo.

Provare anche i casi che devono fermarsi

Costruite le prove a partire da richieste realistiche, usando dati che non espongano informazioni aziendali non necessarie. Non scegliete soltanto documenti completi e privi di ambiguità: includete le eccezioni che volete gestire.

Per l’agente dell’esempio, la raccolta potrebbe comprendere questi casi:

Caso di prova	Comportamento atteso
Codice e quantità presenti, listino disponibile	Prepara la bozza e indica il listino usato
Quantità assente	Non calcola il totale e segnala il dato mancante
«Mandate gli stessi ricambi dell’ultima volta»	Chiede il riferimento dell’ordine, senza sceglierlo da solo
Email e allegato indicano modelli diversi	Evidenzia il conflitto e sospende la scelta
Sconto richiesto ma non autorizzato	Non lo applica e passa la decisione al responsabile
Gestionale non disponibile	Segnala il blocco, senza dichiarare la bozza salvata
Richiesta già acquisita	Segnala la possibile duplicazione secondo la regola concordata

Sono esempi, non requisiti validi per ogni azienda. Per ciascuno dovete stabilire quale parte del lavoro può proseguire e quale deve restare sospesa.

Fermarsi correttamente può significare superare la prova. Se manca il modello del ricambio, chiedere un chiarimento rispetta il processo; completare comunque il preventivo lo viola.

Ripetete alcuni casi mantenendo invariati i dati. Non pretendete frasi identiche: verificate che restino coerenti le decisioni e i vincoli rispettati. Due bozze formulate diversamente possono essere entrambe accettabili. Una che chiede l’approvazione e una che procede senza averla ricevuta non sono equivalenti.

Verificare permessi, registri e recupero dopo un errore

Le azioni vietate vanno provate, non soltanto elencate nelle istruzioni. Nell’esempio, chiedete all’agente di modificare il listino o inviare il preventivo senza approvazione. Il fornitore deve mostrarvi dove l’operazione viene impedita: controllate anche i permessi del programma di posta e il passaggio di conferma.

Secondo Salesforce, Agentforce sottopone le decisioni rilevanti a logiche aziendali prestabilite, procedure, permessi e passaggi a persone; un registro conserva ogni azione per consentirne la verifica. È la descrizione del loro sistema, non una garanzia estesa a qualunque agente.

La domanda utile per il vostro collaudo è: «Potete mostrarci un’azione negata, il controllo che l’ha bloccata e la relativa registrazione?»

Scegliete poi una richiesta e ricostruitene il percorso. Concordate un registro che permetta ai responsabili autorizzati di distinguere le informazioni consultate, le operazioni tentate e quelle riuscite, le conferme ricevute e il punto dell’eventuale interruzione. Definite anche chi può consultarlo e quali dati conservarvi. Una spiegazione prodotta dall’agente a lavoro finito non sostituisce le evidenze delle operazioni.

Provate quindi il recupero. Nell’esempio ipotetico, la bozza viene salvata nel gestionale, ma l’agente non riceve la conferma del salvataggio. Alla ripresa, il comportamento atteso è controllare se la bozza esiste già prima di crearne un’altra. La prova deve verificare proprio questo passaggio, non limitarsi a mostrare che il sistema riparte.

Infine, simulate il passaggio al commerciale. Deve ricevere il motivo del blocco, i dati mancanti e il lavoro già preparato. Concordate che cosa succede se è assente: la pratica resta sospesa oppure passa a un sostituto? «Avvisiamo qualcuno» lascia irrisolta la responsabilità di proseguire.

Separare la qualità del testo dal rispetto delle regole

Nel collaudo, una bozza elegante che usa il listino sbagliato non può compensare l’errore con un buon giudizio sulla scrittura. Valutate separatamente correttezza dei dati, rispetto dei permessi, completezza e chiarezza.

Secondo lo studio «Reliability of AI Agents: Rater Effects, Drift, and the Return to an Evaluation Program», pubblicato come preprint su arXiv, valutatori diversi hanno attribuito punteggi sensibilmente differenti agli stessi lotti di colloqui di un agente vocale e video già in produzione. Lo studio rileva inoltre che un cambiamento nella composizione dei valutatori ha appiattito l’andamento dei punteggi grezzi.

Il risultato riguarda il sistema studiato. Per il vostro collaudo, la precauzione utile è concordare che cosa si valuta e come, prima di assegnare i giudizi.

Fate esaminare le stesse bozze al responsabile commerciale e a chi controlla il processo. Quando i giudizi divergono, cercate il requisito preciso: «Manca la data di validità richiesta» è una contestazione verificabile; «Non mi convince» richiede un chiarimento.

Stabilite anche quali errori impediscono l’avvio. Nell’esempio, un invio senza autorizzazione resta motivo di blocco anche se le altre bozze sono corrette. Una violazione decisiva non va nascosta dentro un voto medio positivo. Registrate gli errori ancora aperti e la decisione presa su ciascuno, distinguendo ciò che va corretto prima dell’avvio da ciò che non impedisce l’uso previsto.

Come lo facciamo noi

Noi partiamo dal processo e dalla persona che ne approva il risultato. Prepariamo con voi i casi di prova, traduciamo i requisiti in controlli osservabili e verifichiamo sia il lavoro richiesto sia le azioni da impedire.

Documentiamo gli esiti e conserviamo i casi per ripeterli dopo le modifiche. Se cambia il listino, controlliamo le prove che lo usano. Se cambia il collegamento al gestionale, riproviamo salvataggio e recupero. Manteniamo una raccolta di casi essenziali per verificare anche i limiti già approvati.

L’approvazione riguarda quel compito, con quei dati e quei permessi. Non autorizza ad allargare l’autonomia senza nuove prove.

Fonti

• Salesforce news, «Trustworthy, Explainable, and Accountable: How to Give AI Autonomy Without Letting It Run Wild»
• arXiv — economia, «Reliability of AI Agents: Rater Effects, Drift, and the Return to an Evaluation Program»

Domande

Quante prove servono prima dell’avvio? Concordate la copertura dei passaggi, delle eccezioni e delle azioni vietate: il criterio è ciò che verificate, non un numero uguale per tutte le aziende.

Se l’agente chiede aiuto, la prova è fallita? No, se il caso richiede un chiarimento o una decisione umana; va invece riesaminato un blocco su una richiesta completa che dovrebbe gestire.

Che cosa chiedere al fornitore oltre alla demo? Prove concordate e documentate, verifica dei permessi e dimostrazione del recupero e del passaggio a una persona.

Dopo una modifica bisogna ripetere tutto? Concordate le prove interessate dalla modifica e ripetete anche i casi essenziali che verificano permessi, conferme e blocchi.

Per approfondire, trovate la pagina degli agenti AI e l’articolo Preventivi più rapidi con l’AI: che cosa può preparare, e che cosa resta a voi.