Calvi & Partners
Quaderno di ricerca 09
09
Il punto di rottura.
Un sistema può essere accurato, efficiente e perfettamente coerente con i propri obiettivi e contribuire comunque a produrre un disastro.
Il rischio più semplice è che un modello sbagli.Quello più difficile da governare emerge quando errore, automazione, velocità, scala, dipendenze e irreversibilità si combinano.In quel momento il problema non appartiene più al modello. Appartiene all’architettura.
01
Rischio di modello
e rischio architetturale
La domanda non è soltanto se il modello possa sbagliare. È che cosa succede all’organizzazione quando sbaglia.
Un errore di classificazione può essere irrilevante se produce soltanto una raccomandazione sottoposta a revisione umana.Lo stesso errore può diventare economicamente materiale quando produce automaticamente migliaia di decisioni.
Il rischio non è quindi una proprietà isolata del modello. Dipende dall’autorità attribuita all’output, dalla velocità di esecuzione, dalla scala dell’intervento, dalle dipendenze del sistema e dalla possibilità di annullarne gli effetti.
02
Meccanismi
del danno
Un disastro sistemico raramente dipende da una sola cosa andata storta.
Gli incidenti più gravi emergono quando più vulnerabilità, singolarmente gestibili, si combinano all’interno dello stesso processo.L’automazione può rendere queste combinazioni più rapide, più estese e più difficili da interrompere.
03
Danno
composto
L’errore è spesso soltanto il primo anello.
Ciò che trasforma una previsione imperfetta in una crisi non è necessariamente la gravità dell’errore iniziale.È il numero di meccanismi che gli permettono di propagarsi senza essere riconosciuto e fermato.
Errore
Un dato, una previsione o una classificazione devia dalla realtà.
Automazione
L’errore viene trasformato direttamente in azione.
Scala
L’azione viene replicata su un numero elevato di soggetti o operazioni.
Feedback
Gli effetti prodotti entrano nei nuovi dati e rafforzano il processo.
Ritardo
Il danno procede più rapidamente della capacità di riconoscerlo.
Perdita
Il problema diventa economico, operativo, reputazionale o patrimoniale.
Il disastro non comincia necessariamente quando il sistema smette di funzionare. Può cominciare quando funziona troppo bene in condizioni che non dureranno.
04
Potenziale
catastrofico
Il danno cresce quando più proprietà diventano elevate nello stesso momento.
Il potenziale catastrofico non è una formula matematica, ma può essere letto attraverso cinque variabili architetturali.Più esse crescono insieme, più diminuisce il margine disponibile per riconoscere, contenere e correggere un errore.
Autorità
Quanto il sistema può trasformare un output in azione senza nuova autorizzazione.
Scala
Quante persone, operazioni, risorse o asset possono essere coinvolti simultaneamente.
Velocità
Quanto rapidamente il sistema può produrre effetti prima dell’intervento umano.
Accoppiamento
Quanto altri processi, sistemi o organizzazioni dipendono direttamente dal suo output.
Irreversibilità
Quanto è difficile riportare il sistema alla condizione precedente dopo che l’azione è stata eseguita.
Il rischio più importante non è quindi soltanto la probabilità dell’errore. È la distanza tra l’errore e il momento in cui non è più possibile correggerne le conseguenze.
05
Successo
e fragilità
L’ottimizzazione può eliminare gli sprechi. E insieme agli sprechi eliminare i margini che assorbivano gli shock.
06
Insolvenza
cognitiva
Un’organizzazione può perdere la capacità di comprendere prima di perdere la capacità di pagare.
L’insolvenza cognitiva compare quando l’organizzazione continua formalmente a prendere decisioni, ma non possiede più una rappresentazione sufficientemente affidabile delle strutture che stanno producendo i propri risultati.
Prima che un’organizzazione diventi insolvente economicamente, può diventarlo cognitivamente.
07
Progettare
per il fallimento
Un sistema robusto non è quello che presume di non sbagliare. È quello progettato perché l’errore non possa diventare distruzione.
La domanda decisiva non è quanto sia intelligente un sistema quando ha ragione. È quanto danno può produrre prima che qualcuno riesca a fermarlo quando ha torto.
Un’architettura intelligente non dovrebbe essere giudicata soltanto per la qualità dei risultati che produce nelle condizioni normali.Dovrebbe essere giudicata anche per il modo in cui fallisce. La maturità di un sistema non si misura soltanto nella sua capacità di generare valore, ma nella capacità dell’organizzazione di impedire che un errore diventi irreversibile.
Riferimenti
essenziali
Il Quaderno utilizza il concetto di rischio sistemico in senso architetturale e organizzativo.Per il quadro generale sulla gestione del rischio AI e per il significato regolatorio attribuito al rischio sistemico nell’AI Act europeo, si vedano inoltre le seguenti fonti istituzionali.
Framework del National Institute of Standards and Technology per identificare, valutare e governare i rischi associati ai sistemi di intelligenza artificiale.
Quadro istituzionale europeo sugli obblighi applicabili ai modelli di intelligenza artificiale per finalità generali, inclusi quelli classificati come portatori di rischio sistemico.