Test di agenti di intelligenza artificiale (AI) con utenti reali
Hai già un agente di intelligenza artificiale (AI), in pilota o in produzione? Lo proviamo con persone vere, sul canale che useranno, prima di allargarne l'uso. Ne esce una decisione motivata: rilasciare, restringere il perimetro o tornare a progettare.
Progettiamo e testiamo con utenti reali agenti AI affidabili. Questa pagina è per chi l'agente ce l'ha già: si parte dal test e, se serve, si continua con la riprogettazione. Una prova nell'ambiente del fornitore, su dialoghi puliti preparati dal team, dice se un flusso parte. Non dice che cosa succede quando una persona scrive con le sue parole, fa una richiesta incompleta o arriva mentre gli operatori sono occupati.
Per chi è
- Il Chief Information Officer (CIO), responsabile dei sistemi informativi, che deve dire sì o no al passaggio in produzione.
- Chi guida il servizio clienti e la Customer Experience (CX), l'esperienza del cliente, e vede l'agente rispondere ai propri clienti.
- I responsabili di prodotto che hanno un agente in pilota e devono decidere se estenderlo ad altri utenti o canali.
- Chi ha fatto realizzare l'agente da un partner tecnologico e vuole una verifica dalla propria parte. Lavoriamo accanto a chi l'ha costruito, non al suo posto.
Se l'agente è ancora un'idea, il punto di partenza è l'Assessment di maturità agentica.
Che cosa guardiamo e come lavoriamo
Guardiamo il comportamento dell'agente dentro il servizio, attività per attività. La qualità del modello in astratto resta fuori.
- La richiesta. La persona capisce che cosa può chiedere? L'agente capisce la richiesta anche quando è incompleta o formulata male?
- Il compito. Il compito si chiude davvero per la persona, e non solo nella risposta dell'agente.
- Errori e recupero. Come si comporta l'agente nei casi di confine, con dati mancanti o con richieste fuori perimetro, e se riesce a rimettere la persona sulla strada giusta.
- Il perimetro. Le azioni vietate non vengono tentate, oppure vengono fermate in modo visibile.
- Il passaggio all'operatore umano. Scatta quando deve, arriva alla persona giusta con un contesto sufficiente, l'agente smette di agire dopo il passaggio. Proviamo anche che cosa succede quando nessuno può prendere il caso.
- I casi dati per risolti. Ne esaminiamo un campione: i fallimenti silenziosi non compaiono tra quelli evidenti.
- L'accessibilità del percorso. Capire, correggere, chiedere aiuto, anche con le tecnologie assistive pertinenti. Questa verifica non sostituisce un audit di accessibilità.
Come lavoriamo. Costruiamo gli scenari a partire dal servizio reale. Coinvolgiamo persone con un profilo dichiarato rispetto a chi userà il servizio, e non solo il team di progetto; se nel servizio ci sono operatori, partecipano anche loro. Proviamo sul canale reale o sul più vicino possibile, e scriviamo le differenze rispetto alla produzione. Le sessioni sono osservate; quando il piano lo prevede, il crowd testing allarga dispositivi e contesti. Non fissiamo un numero di partecipanti «sufficiente» valido per tutti: contano la copertura delle attività e dei casi di confine e la chiarezza dei limiti. Provenienza dei partecipanti, numero di persone e di sessioni, durata, formato delle consegne, tempi e prezzo si definiscono nel preventivo, su richiesta. In pagina non indichiamo numeri.
Che cosa ricevi
- L'esito di ogni attività provata, con tre risposte possibili: passa, non passa, non provato. Ogni esito è accompagnato da ciò che abbiamo osservato.
- Le condizioni e i limiti della prova: chi ha partecipato, su quale canale, che cosa non è stato provato.
- Una raccomandazione motivata: rilasciare, restringere il perimetro, correggere e riprovare, oppure tornare alla progettazione. La decisione di rilascio resta a te e ai responsabili del servizio.
- Le priorità di riprogettazione, in ordine di danno per le persone e per il servizio.
Formato delle consegne, tempi e prezzo si definiscono nel preventivo, su richiesta. Non indichiamo un prezzo in pagina.
Il test documenta che cosa è stato verificato entro un perimetro dichiarato. Non è una certificazione e non garantisce l'assenza di errori.
Come continua
Per noi progettare e testare sono un unico ciclo, e il test apre la riprogettazione. Se i problemi riguardano regole, deleghe o passaggio all'operatore, li riportiamo nel progetto del servizio insieme al tuo team e a chi realizza l'agente, poi si riprova. Se il perimetro dell'agente non è mai stato messo per iscritto, si parte da un workshop sull'Agentic Design Canvas, ideato da Luigi Greco. Se invece emerge che la domanda vera è più a monte, cioè dove usare un agente, il passo successivo è l'Assessment di maturità agentica.
Domande frequenti
Basta provare l'agente nell'ambiente del fornitore?
No. Quell'ambiente serve a vedere se un flusso parte. Non dice come si comporta l'agente sul canale reale, con una richiesta incompleta, con un operatore occupato o con un caso già aperto da un contatto precedente.
Quante persone servono per decidere il rilascio?
Non esiste un numero valido per ogni agente. Il numero per il tuo caso si concorda nel piano, in base alle attività e ai casi di confine da coprire. I dettagli e il preventivo si definiscono su richiesta.
Potete testare un agente realizzato da un altro fornitore?
Sì. Lavoriamo accanto a chi ha realizzato l'agente, con responsabilità concordate fra te, il partner tecnologico e noi.
Il test certifica la conformità al regolamento europeo sull'intelligenza artificiale (AI Act)?
No. Documenta il comportamento osservato e i limiti della prova; la valutazione giuridica resta alle funzioni competenti.
Per approfondire
- Intelligenza artificiale nel servizio clienti (articolo)
- Testare un agente con utenti reali (articolo)
- Perché gli agenti falliscono con gli utenti (articolo)
- Passaggio all'operatore umano (articolo)
- Rendere affidabile un agente in produzione (soluzione)
- Test con utenti (servizio)
- Crowd testing (servizio)
- Agentic Design Canvas, ideato da Luigi Greco (articolo)
- Assessment di maturità agentica (soluzione)
- Workshop di progettazione agentica (pagina)
Un lavoro pubblicato su questo tema
Wide Group: ricerca con utenti e test di usabilità sui gestionali dei broker
Raccontaci quali attività deve svolgere il tuo agente e su quale canale. Nel primo messaggio non inserire credenziali o dati personali non necessari. Ti rispondiamo dalle sedi di Roma e Milano.
