Calvi & Partners
Quaderno di ricerca 07
07
La realtà riflessiva.
Quando un’organizzazione modifica il proprio comportamento in funzione della rappresentazione prodotta dall’AI, il modello non descrive più soltanto la realtà. Comincia a partecipare alla sua costruzione.
Previsioni, classificazioni, ranking e raccomandazioni modificano le decisioni.Le decisioni modificano il comportamento.Il comportamento modifica il mondo che verrà successivamente osservato e utilizzato come nuovo dato.A quel punto osservazione e intervento non sono più separabili.
01
Mappa e
territorio
Una rappresentazione è innocua finché il mondo non comincia ad adattarsi alla rappresentazione.
Tradizionalmente un modello viene immaginato come una rappresentazione semplificata di una realtà esterna: osserva il mondo, identifica relazioni e restituisce una descrizione, una previsione o una classificazione.
Ma quando quella rappresentazione entra nei processi decisionali, modifica il comportamento degli attori che sta osservando. Da quel momento il modello non misura più soltanto il mondo: misura anche gli effetti che le sue precedenti rappresentazioni hanno contribuito a produrre.
Mondo
Esistono comportamenti, eventi, condizioni e relazioni indipendenti dal modello.
Modello
Il sistema costruisce una rappresentazione parziale della realtà.
Rappresentazione
La realtà viene trasformata in ranking, probabilità, categorie o raccomandazioni.
Decisione
L’organizzazione utilizza quella rappresentazione per scegliere e allocare risorse.
Comportamento
Persone e strutture reagiscono alle nuove decisioni e priorità.
Nuovo mondo
Il comportamento prodotto diventa parte della realtà che il modello osserverà dopo.
02
Dalla descrizione
all’intervento
Un modello cambia natura quando gli attori iniziano a comportarsi in funzione delle sue previsioni.
La stessa tecnologia può occupare posizioni molto diverse nell’architettura decisionale.Può limitarsi a osservare, può orientare l’attenzione, può modificare gli incentivi oppure diventare direttamente una forza capace di trasformare il contesto che analizza.
Descrivere
Il sistema rappresenta una condizione esistente senza modificare direttamente gli incentivi degli attori.
Prevedere
Il sistema attribuisce probabilità agli eventi futuri e influenza le aspettative dell’organizzazione.
Orientare
Ranking e raccomandazioni modificano risorse, priorità e comportamenti degli attori osservati.
Produrre
La previsione contribuisce a generare proprio la configurazione del mondo che successivamente confermerà.
03
Il proprio
riflesso
Il sistema può finire per imparare non dal mondo, ma dalle conseguenze delle proprie precedenti previsioni.
Più una rappresentazione viene utilizzata per modificare il comportamento, più i dati successivi incorporano gli effetti di quella rappresentazione.Il confine tra osservazione e produzione della realtà diventa progressivamente più sottile.
Un modello che modifica il comportamento del sistema osservato può cominciare a trovare nel mondo le prove delle proprie precedenti ipotesi.
Quando una previsione modifica il comportamento, la realtà successiva non è più indipendente dalla previsione precedente.
04
La profezia
algoritmica
Il rischio più difficile da riconoscere non è una previsione sbagliata. È una previsione che diventa vera perché è stata creduta.
In un sistema riflessivo accuratezza e causalità possono essere confuse.Una previsione può apparire confermata dai dati successivi senza avere semplicemente anticipato un fenomeno: potrebbe aver contribuito a produrlo.
Aspettativa
Il modello suggerisce che un evento, un soggetto o un mercato abbia una determinata probabilità di successo.
Reazione
L’organizzazione modifica investimenti, condizioni, attenzione o comportamento in funzione della previsione.
Conferma
Gli effetti della reazione entrano nei nuovi dati e possono apparire come conferma indipendente della previsione iniziale.
In un sistema riflessivo la domanda non è soltanto:“Il modello aveva ragione?” Ma anche: “Quanto del risultato è stato prodotto dal fatto che gli abbiamo creduto?”
05
Governare
la riflessività
Non basta verificare se il modello descrive bene il mondo. Bisogna osservare come il mondo reagisce al modello.
Il rischio non è soltanto costruire modelli che rappresentano male il mondo. È costruire mondi che finiscono per assomigliare troppo ai nostri modelli.
Un sistema intelligente può iniziare come osservatore, diventare criterio di valutazione, trasformarsi in incentivo e infine contribuire a produrre la realtà che successivamente analizzerà. Quando questo circuito si chiude, la governance non può più limitarsi alla qualità della previsione.Deve comprendere anche la realtà che quella previsione contribuisce a rendere rappresentabile e quindi possibile.