Che cos’è un’allucinazione di un sistema AI?
Anche: AI hallucination · Allucinazione dei modelli linguistici
Definizione
Si chiama allucinazione la risposta di un modello di intelligenza artificiale che sembra corretta e sicura ma è falsa o non supportata dai dati: un numero inventato, una citazione inesistente, un campo letto male da un documento. È una conseguenza del modo in cui funzionano i modelli linguistici, non un guasto occasionale.
Redazione Enterprise Srl · Aggiornato il
Perché succede
Un LLM genera il testo più plausibile dato il contesto, non verifica i fatti. Quando l’informazione manca, è ambigua o la domanda spinge verso una risposta, il modello tende comunque a produrne una. Contesti lunghi, documenti scansionati male e domande su dati che il modello non ha ricevuto aumentano il rischio.
Come si riduce il rischio
- Dare al modello i dati di partenza (documenti, record del gestionale) invece di affidarsi alla sua memoria.
- Chiedere risposte strutturate e verificarle con controlli automatici: per esempio confrontare i totali estratti da un documento con quelli dichiarati.
- Segnalare alla persona solo le voci con anomalie, così la revisione è mirata.
- Far confermare a una persona tutto ciò che modifica dati o esce verso l’esterno (human-in-the-loop).
- Misurare il fenomeno con eval sui casi reali.
Un esempio reale
Nel gestionale di un’impresa termoidraulica, l’AI estrae le voci dei computi metrici in PDF. Il sistema confronta capitolo per capitolo i totali estratti con quelli del documento e isola in un filtro «da verificare» solo le voci con anomalie aritmetiche; le voci entrano nel preventivo dopo la revisione dell’operatore.