Controllo output AI: gli errori silenziosi nello studio

Perché l'AI sbaglia in silenzio — e perché non te ne accorgi

Un errore umano, di solito, lascia tracce: un'esitazione, una correzione a penna, un file aperto a lungo. Un errore di un sistema AI no. L'output arriva completo, ben scritto, coerente nel tono. Può contenere un numero sbagliato, un riferimento normativo impreciso o una conclusione non supportata dai dati di input — e nessuno dei segnali visivi che usiamo per identificare gli errori umani è presente.

Il fenomeno è stato misurato con precisione dal benchmark ThinkingBox di Microsoft, che ha testato agenti AI su 507 flussi di lavoro reali, ciascuno ripetuto 20 volte. Il risultato è istruttivo: una quota rilevante dei tentativi falliti si è conclusa senza alcun errore visibile. L'agente ha completato le operazioni, ha risposto all'utente, ha usato gli strumenti in modo apparentemente corretto. Eppure lo stato finale nel database era sbagliato — campi errati, effetti mancanti, azioni non eseguite.

Per uno studio professionale questo significa che un agente AI può sembrare di aver redatto un documento, inviato una risposta o aggiornato una scadenza — e invece non averlo fatto, o averlo fatto in modo errato. La differenza tra «l'agente dice di aver finito» e «il lavoro è effettivamente concluso correttamente» è esattamente il gap che nessun sistema di controllo improvvisato riesce a colmare.

Chi è responsabile se un documento AI contiene un errore?

La risposta breve: il professionista che lo ha firmato, inviato o su cui ha fatto affidamento. L'AI non è una persona giuridica, non ha responsabilità professionale, non è iscritta a un albo. Il Codice civile, le norme deontologiche e — per i contesti fiscali — il rischio di sanzioni ricadono interamente su chi ha usato lo strumento.

Il tema è emerso con forza nel dibattito sulle sentenze tributarie redatte con il supporto dell'AI: un errore in quel contesto non è solo un refuso, è un atto pubblico con effetti legali. Lo stesso principio si applica a qualsiasi documento che uno studio professionale produce per un cliente: la perizia, la dichiarazione, il parere, la bozza contrattuale. Se l'AI ha contribuito alla redazione, la responsabilità non si trasferisce — si moltiplica, perché il professionista deve rispondere sia del contenuto sia della scelta dello strumento.

Questo non significa che l'AI non vada usata: significa che usarla senza un processo di revisione tracciato è un rischio professionale concreto, non solo una questione di qualità. Ne abbiamo parlato in dettaglio in «Verificare l'output AI nello studio professionale: chi firma?».

Attenzione: Usare l'AI per produrre un documento non trasferisce la responsabilità professionale allo strumento. Se l'output contiene un errore e il professionista lo ha inviato senza verificarlo, la responsabilità è sua — sia verso il cliente sia verso l'ordinamento professionale. Il processo di revisione non è un optional: è parte integrante dell'uso corretto dell'AI in uno studio.

Quante risorse servono per controllare l'AI senza annullare i risparmi?

Questa è la domanda che ogni titolare di studio si pone, e la risposta onesta è: dipende da cosa hai deciso di controllare. Il problema non è il tempo totale di revisione, ma la mancanza di un criterio per decidere quali output meritano controllo approfondito e quali possono essere approvati rapidamente.

Senza un criterio esplicito, il controllo diventa casuale: si controlla ciò che si vede per primo, o ciò che sembra più importante, o — peggio — ci si fida dell'output perché è ben scritto. Il risultato è che si spende tempo su output a basso rischio e si lascia passare qualcosa di critico.

Il punto di partenza è una classificazione delle attività per livello di rischio: non tutte le attività che l'AI svolge hanno lo stesso impatto se l'output è sbagliato. Una bozza di email di cortesia ha un rischio diverso da un calcolo di ravvedimento operoso o da una risposta a un'istanza di interpello. Una volta classificate le attività, si può definire quale tipo di controllo applicare a ciascuna — e questa è una decisione strategica, non tecnica. Leggi anche «ROI dell'intelligenza artificiale: come misurarlo davvero» per capire come misurare il reale guadagno netto dell'automazione.

Quali attività dello studio sono più esposte agli errori non rilevati?

Non tutti gli output AI hanno la stessa probabilità di contenere errori silenziosi, e non tutti hanno lo stesso impatto se l'errore passa inosservato. Mappare le attività ad alto rischio è il primo passo per costruire un processo di controllo sostenibile.

Le attività più esposte sono quelle in cui l'AI deve combinare dati numerici con normativa aggiornata: calcoli fiscali, ravvedimenti, liquidazioni IVA, proiezioni previdenziali. Qui un errore di un decimale o un riferimento a una norma abrogata può avere conseguenze economiche dirette sul cliente. Seguono le attività in cui l'AI deve interpretare un documento di input per produrre un output — per esempio estrarre dati da una fattura per compilare una dichiarazione: se l'estrazione è sbagliata, l'errore si propaga a valle senza che nessuno lo noti.

Il terzo gruppo è quello degli agenti AI che operano su più passaggi in sequenza: come mostrano i dati di ThinkingBox, il punto di rottura non è di solito nel ragionamento ma nella gestione degli strumenti intermedi. Un agente che deve raccogliere un documento, estrarne i dati, aggiornarli nel gestionale e inviare una risposta al cliente può fallire silenziosamente in qualsiasi passaggio — e il risultato finale apparirà comunque completato.

Attività dello studio ad alto rischio di errori non rilevati dall'AI

• ✕
  Calcoli fiscali e previdenzialiL'AI combina normativa e dati numerici: un errore in input o un riferimento normativo obsoleto si trasferisce direttamente sull'output.
• ✕
  Estrazione dati da documenti (OCR + interpretazione)Se l'estrazione è parziale o errata, l'errore si propaga a tutti i passaggi successivi senza segnalazioni.
• ✕
  Risposte automatiche a clienti su questioni tecnicheL'AI può rispondere con sicurezza su argomenti in cui la normativa è cambiata o il contesto specifico del cliente non è stato compreso.
• ✕
  Workflow multi-step con agenti AIOgni passaggio aggiunge un punto di possibile rottura silenziosa: l'agente può sembrare di aver completato il flusso senza averlo fatto correttamente.
• ✕
  Aggiornamenti automatici di scadenze e CRMUn dato scritto nel posto sbagliato o non scritto affatto non si vede finché la scadenza non viene mancata.
• ✕
  Sintesi di chiamate e riunioni convertite in azioniSe la trascrizione è imprecisa o l'AI interpreta male un'istruzione verbale, l'azione che ne deriva può essere errata dalla radice.

Come strutturare un processo di verifica misurabile senza bloccare lo studio

Un processo di verifica non deve essere sinonimo di rallentamento: deve essere sinonimo di prevedibilità. La differenza tra uno studio che si paralizza a controllare tutto e uno che lavora bene è nel disegno del processo, non nella quantità di ore dedicate.

Il principio fondamentale è separare il momento in cui l'AI produce dall'momento in cui un umano approva. Questi due momenti non devono coincidere, ma devono essere entrambi tracciati: chi ha approvato, quando, su quale versione dell'output. Senza tracciamento, la revisione esiste ma non è dimostrabile — e in caso di contestazione, non dimostrabile equivale a non avvenuta.

Un altro principio chiave, emerso anche dai dati di ThinkingBox, è che verificare lo stato finale è più affidabile che verificare il processo. Un agente AI può fare tutte le chiamate giuste agli strumenti e arrivare comunque a un risultato sbagliato. Il controllo deve cadere sull'output concreto — il documento, il dato nel gestionale, la risposta inviata — non sulla sequenza di operazioni che l'AI dichiara di aver eseguito.

Il problema non è l'AI: è la saturazione cognitiva di chi dovrebbe controllare

C'è un paradosso al centro di questo tema: l'AI viene adottata per ridurre il carico di lavoro, ma il volume di output che genera rischia di aumentare il carico cognitivo di chi deve verificarlo. Se un collaboratore deve revisionare cinquanta documenti al giorno invece di venti, l'attenzione media per documento cala — e gli errori che sfuggono aumentano.

Questo fenomeno — che potremmo chiamare saturazione da revisione — è il lato nascosto dell'adozione massiva dell'AI senza un processo di controllo progettato. Non è un problema tecnologico: è un problema organizzativo. E si risolve solo decidendo deliberatamente cosa l'AI può fare in autonomia, cosa richiede approvazione rapida e cosa deve essere letto con attenzione.

La ricerca dell'Osservatorio Purpose in Action mostra che molte imprese italiane usano l'AI principalmente per ridurre i costi. È un obiettivo legittimo, ma perseguirlo senza misurare la qualità degli output è come tagliare i costi di produzione senza controllare i resi: il risparmio apparente si trasforma in costo reale più avanti. La gestione delle email con bozze di risposta pronte da approvare — come fa Ovia Inbox — è un esempio concreto di come si può ridurre il lavoro mantenendo un punto di approvazione umana prima dell'invio.

Attenzione: Se nel tuo studio l'AI produce output che vengono inviati o archiviati senza che nessuno li abbia letti per intero almeno una volta, hai già un problema di controllo — anche se finora non è emerso nulla. Gli errori silenziosi non spariscono da soli: si accumulano finché qualcuno non li trova, e spesso quel qualcuno è il cliente.