Calvi & Partners
Quaderno di ricerca 04
04
Governare l’intelligenza artificiale.
Il problema dell’AI governance non è controllare un modello. È governare il sistema di decisioni nel quale il modello opera.
Un modello non agisce mai nel vuoto. Opera dentro obiettivi, dati, procedure, responsabilità, incentivi e limiti istituzionali.Governare l’intelligenza artificiale significa quindi progettare anche l’architettura che decide come, dove e perché utilizzarla.
01
Il problema
di governance
Trattare l’AI come una tecnologia separata dall’organizzazione significa governare soltanto una parte del problema.
Un sistema di intelligenza artificiale riceve dati che qualcuno ha selezionato, utilizza obiettivi che qualcuno ha definito, entra in processi che qualcuno ha progettato e produce effetti che ricadono su persone e strutture organizzative. Il modello è quindi una componente dell’architettura decisionale, non l’architettura stessa. La distinzione è sviluppata più estesamente nei livelli dell’architettura decisionale.
Concentrare la governance esclusivamente sulla qualità tecnica del modello rischia di lasciare fuori proprio le variabili che ne determinano l’impatto reale: autorità, incentivi, responsabilità, supervisione, dipendenze e capacità dell’organizzazione di intervenire quando il sistema produce un esito inatteso.
02
Mappa della
responsabilità
Un output algoritmico attraversa una catena di scelte prima di diventare decisione.
La responsabilità non compare soltanto alla fine del processo.È distribuita nelle scelte che definiscono il modello, il processo nel quale opera, l’autorità attribuita al suo output e le conseguenze che tale output può produrre.
Modello
Quale sistema viene scelto, quali capacità possiede, quali limiti presenta e quali dati utilizza.
Processo
Dove il modello entra nel flusso, quale funzione svolge e quali passaggi modifica o automatizza.
Decisione
Quanto peso viene attribuito all’output, chi può accettarlo, modificarlo o respingerlo.
Responsabilità
Chi deve ricostruire, spiegare e rispondere delle conseguenze della decisione finale.
principle
La responsabilità non può essere attribuita al modello come espediente per rendere più opaca la struttura che lo utilizza.
03
Human
oversight
Avere una persona nel processo non significa automaticamente avere controllo umano.
La supervisione esiste soltanto se la persona incaricata può realmente comprendere ciò che sta osservando e possiede tempo, informazioni, competenze e autorità sufficienti per modificare il risultato.Non è un problema soltanto teorico: il Regolamento europeo sull’intelligenza artificiale attribuisce alla supervisione umana un ruolo specifico nella gestione di determinati sistemi ad alto rischio.
La supervisione umana senza capacità di intervento è una forma di automazione travestita da controllo.
Essere presenti nel processo non significa governarlo. Governare significa poter intervenire.
04
Condizioni
del controllo
Il controllo reale richiede quattro capacità simultaneamente presenti.
La governance non dipende dalla presenza di un singolo presidio, ma dalla capacità dell’organizzazione di vedere, comprendere, modificare e, quando necessario, interrompere il comportamento del sistema.Una logica coerente con il NIST AI Risk Management Framework, che tratta il rischio AI come problema organizzativo e di governance, non soltanto tecnico.
Visibilità
Sapere dove il sistema opera, quali dati utilizza, quali output produce e quali processi influenza.
Comprensibilità
Disporre delle informazioni necessarie per interpretare il comportamento del sistema, i suoi limiti e il significato operativo dei suoi risultati.
Autorità
Attribuire a soggetti identificabili il potere effettivo di modificare, respingere, correggere o sospendere una decisione.
Reversibilità
Conservare la capacità di interrompere il sistema, ripristinare condizioni precedenti o utilizzare modalità alternative quando il contesto lo richiede.La reversibilità diventa decisiva soprattutto quando la velocità, l’autorità e la scala possono trasformare un errore in un rischio architetturale e sistemico.
Se una di queste capacità manca, il controllo può esistere formalmente senza esistere operativamente.
05
Dal modello
all’architettura
La capacità algoritmica deve crescere insieme alla capacità istituzionale.
Un sistema intelligente non è governato quando possiamo osservarlo. È governato quando possiamo comprenderlo, contestarlo e fermarlo.
L’AI governance non consiste quindi nell’aggiungere un controllo dopo aver adottato una tecnologia. Consiste nel progettare fin dall’inizio l’architettura dentro cui quella tecnologia può acquisire capacità senza sottrarre all’organizzazione la capacità di governarla.