Calvi & Partners
Quaderno di ricerca 05
05
La costituzione latente.
Quando un modello apprende dalla storia di un’organizzazione, il passato può diventare una regola che nessuno ha scritto.
Dati storici, decisioni precedenti, eccezioni operative, abitudini, gerarchie e compromessi possono essere incorporati nei sistemi intelligenti.Quando quei sistemi vengono utilizzati per orientare nuove decisioni, ciò che era storia può tornare nel presente sotto forma di probabilità.
01
Il passato come
infrastruttura
Le organizzazioni credono di utilizzare dati storici. In realtà possono utilizzare decisioni storiche.
Un dato organizzativo raramente è neutro.Può essere il residuo di una decisione precedente, di un criterio commerciale, di una politica del rischio, di una gerarchia interna o di una convenzione che nel tempo ha acquisito l’apparenza di un fatto naturale.
Quando questi dati vengono utilizzati per addestrare o alimentare sistemi predittivi, classificatori o modelli generativi, la storia dell’organizzazione può essere trasformata in una struttura capace di influenzarne il futuro. Il dato entra così nell’architettura decisionale non come semplice memoria, ma come condizione delle decisioni successive.
02
Dal precedente
alla predizione
Il modello non ricorda il passato come un archivio. Lo comprime in una probabilità.
L’organizzazione conserva normalmente il proprio passato attraverso documenti, persone, procedure e memoria istituzionale.Un modello opera diversamente: individua regolarità e le incorpora nella propria capacità di produrre classificazioni, previsioni o raccomandazioni.
Storia
Decisioni, eccezioni, comportamenti e risultati vengono registrati nel tempo.
Dati
La storia viene trasformata in variabili, categorie, relazioni e dataset utilizzabili.
Modello
Le regolarità del passato diventano struttura statistica capace di orientare nuovi output.
Futuro
Le nuove decisioni vengono influenzate da una rappresentazione del passato incorporata nel sistema.
03
La costituzione
latente
Una regola scritta può essere discussa.Una regolarità statistica può governare senza essere visibile.
È qui che compare una nuova forma di governance: norme operative che non sono state deliberatamente formulate come norme, ma emergono dal modo in cui un sistema interpreta il passato.
La costituzione latente è l’insieme delle regole implicite che un’organizzazione continua ad applicare senza averle necessariamente scelte.
Il rischio non è soltanto che l’intelligenza artificiale prenda decisioni sbagliate. È che renda permanenti decisioni che nessuno prenderebbe più.
04
Il problema
del tempo
Le organizzazioni cambiano. I modelli possono continuare a rappresentare ciò che erano.
Strategie, mercati, normative, persone e priorità evolvono.Se il sistema decisionale conserva una rappresentazione del passato più stabile dell’organizzazione stessa, può emergere una forma di disallineamento temporale.
Congelamento
Un modello può trasformare una configurazione storica in una regolarità operativa che continua a produrre effetti.
Divergenza
L’organizzazione evolve, ma il sistema continua a utilizzare criteri costruiti su un contesto che progressivamente scompare.
Retroazione
Gli output del modello possono produrre nuove decisioni che diventano nuovi dati, rafforzando la struttura che li aveva generati.Il meccanismo diventa ancora più importante quando si trasforma in una retroazione tra modello e realtà osservata.
05
Governare
la memoria
Non basta governare ciò che il modello produce. Bisogna governare ciò che il modello conserva.
Per secoli le istituzioni hanno dovuto imparare a ricordare. Con l’intelligenza artificiale dovranno imparare anche quando dimenticare.
La memoria istituzionale è preziosa quando permette di comprendere il passato.Diventa un vincolo quando il passato continua a governare il presente senza poter essere riconosciuto, discusso o modificato. Governare sistemi intelligenti significa quindi decidere non soltanto che cosa essi debbano imparare, ma anche quale parte della storia non debba diventare futuro.