L’assistente AI cita i documenti: ma la risposta è davvero corretta?

Una fonte da verificare

Un assistente AI risponde a una domanda sul regolamento aziendale e aggiunge il collegamento al documento. Per chi legge, la presenza della fonte è rassicurante. Il controllo successivo potrebbe però mostrare che il documento riguarda un’altra categoria di utenti, contiene una versione precedente della regola oppure non supporta una parte della risposta. La citazione permette una verifica; il suo semplice inserimento non la sostituisce.

Questo problema riguarda anche i sistemi basati su Retrieval-Augmented Generation, o RAG: prima vengono recuperati contenuti da un archivio, poi il modello li utilizza per comporre la risposta. Una revisione scientifica pubblicata il 16 giugno 2026 propone di valutare separatamente dimensioni come pertinenza del contesto, fedeltà alle fonti, correttezza, rilevanza della risposta e qualità delle citazioni. È un quadro di valutazione, non una garanzia universale sulle prestazioni. [1]

Partire dal processo aziendale

La nostra proposta operativa è iniziare il collaudo dal processo che l’azienda vuole migliorare. Un assistente che aiuta a trovare procedure interne richiede prove diverse da uno che prepara risposte commerciali. Il gruppo di lavoro dovrebbe specificare utenti, domande ammesse, documenti utilizzabili e conseguenze degli errori. Questo permette di scegliere controlli proporzionati, senza affidarsi soltanto all’impressione prodotta da una dimostrazione.

Consideriamo uno scenario ipotetico: il personale usa l’assistente per consultare le regole sulle trasferte. Nell’archivio sono presenti un regolamento corrente, una versione precedente e una comunicazione dedicata a una sola sede. La domanda “posso ottenere questo rimborso?” sembra semplice, ma richiede di riconoscere data, destinatari ed eventuali condizioni. Una risposta scorrevole può nascondere proprio queste distinzioni.

Tre controlli distinti

Il primo controllo riguarda la ricerca. L’assistente ha recuperato il passaggio pertinente della versione corretta? Se la risposta è negativa, conviene esaminare l’archivio prima di modificare il modello: titoli ambigui, metadati incompleti, documenti duplicati o sezioni separate dal loro contesto possono rendere difficile trovare l’informazione. La soluzione potrebbe essere una migliore gestione documentale.

Il secondo controllo riguarda l’interpretazione. Anche avendo a disposizione il testo corretto, il sistema potrebbe omettere un’eccezione, combinare regole incompatibili o aggiungere una spiegazione non documentata. Per ogni risposta, il collaudatore dovrebbe identificare le affermazioni decisive e controllare quali passaggi le sostengono. Una risposta lunga non dovrebbe ricevere un giudizio favorevole soltanto perché contiene molte informazioni.

Il terzo controllo riguarda la citazione. Il collegamento deve portare al documento utilizzato e, quando possibile, al punto rilevante. Occorre poi verificare che quella fonte sostenga davvero l’affermazione associata. Una citazione può essere formalmente valida e sostanzialmente inadeguata: per esempio, rimandare al regolamento corretto senza supportare l’importo dichiarato nella risposta.

Domande, indicatori e rilascio

Per avviare il progetto proponiamo un insieme di domande preparato dagli esperti del processo, con risposte attese e fonti di riferimento. Dovrebbe comprendere casi ordinari, eccezioni, domande ambigue e informazioni assenti. Alcune prove devono verificare la capacità di chiedere un chiarimento o dichiarare che i documenti disponibili non consentono una risposta. Il numero iniziale va scelto in funzione del rischio e delle risorse disponibili.

Gli indicatori dovrebbero rimanere distinti. Possiamo misurare quante domande ricevono una risposta corretta, quante citazioni sostengono effettivamente il contenuto e quante domande senza soluzione ottengono un’appropriata astensione. Tempo di risposta e costo sono altre dimensioni utili. Ridurre tutto a una percentuale unica renderebbe difficile capire se il problema si trova nella ricerca, nella generazione o nell’archivio.

Anche gli strumenti automatici di valutazione richiedono controllo. Se un modello giudica le risposte di un altro, il risultato è un supporto al lavoro, da confrontare con esempi revisionati da persone competenti. Le decisioni sui casi più delicati dovrebbero basarsi su evidenze comprensibili al responsabile del processo.

Prima del rilascio, l’azienda dovrebbe approvare criteri di accettazione e gestione delle anomalie. Dopo modifiche a modello, documenti o configurazione, va ripetuto un insieme stabile di prove. Il risultato atteso è un servizio di cui siano conosciuti comportamento e limiti: abbastanza affidabile per l’uso definito, verificabile quando risponde e capace di fermarsi quando manca una base documentale adeguata.