L’intelligenza artificiale ha un problema di stabilità

Non basta rendere sicuri i singoli sistemi di intelligenza artificiale, bisogna guardare alle loro interazioni. È una lezione lasciata dalla crisi finanziaria: comportamenti individualmente razionali possono produrre risultati collettivamente disastrosi.

Dove nasce il problema

Quest’estate, durante alcuni test di cybersicurezza condotti da OpenAI, è successo qualcosa di inaspettato. Agenti di intelligenza artificiale che avrebbero dovuto lavorare in modo indipendente hanno trovato il modo di comunicare. Hanno trasformato un’infrastruttura condivisa in una bacheca informale, si sono scambiati informazioni, hanno ripreso il lavoro lasciato da altri agenti e, alla fine, sono riusciti a sfruttare vulnerabilità di cui nessuno di loro avrebbe potuto approfittare da solo.

Nessun agente si è ribellato. Il problema è spuntato dall’interazione. Il comportamento del sistema non poteva più essere compreso guardando i singoli componenti. C’era qualcosa di nuovo.

Qualcuno, provocatoriamente, ha evocato persino una civiltà degli agenti. Ma non serve arrivare così lontano: basta che molti agenti interagiscano perché emergano comportamenti che nessuno di loro ha scelto individualmente. È un problema che gli economisti conoscono bene.

Il dibattito sulla sicurezza dell’IA si concentra sull’allineamento – come fare in modo che un sistema faccia ciò che vogliamo evitando scorciatoie che soddisfano solo formalmente la funzione che gli è stata assegnata – e sugli incentivi delle imprese che li sviluppano, spesso sotto pressione competitiva e geopolitica. Ma immaginiamo di risolvere entrambi i problemi: agenti perfettamente allineati, imprese ben regolamentate. Avremmo necessariamente un sistema sicuro? Non è affatto detto.

Agenti buoni possono costruire sistemi instabili

Il motivo è lo stesso che abbiamo imparato, a caro prezzo, con la crisi finanziaria. Prima del 2008, la regolamentazione si concentrava sulla solidità delle singole banche. L’intuizione sembrava ragionevole: se ciascuna gestisce prudentemente i propri rischi, il sistema dovrebbe essere stabile.

La crisi ha mostrato il limite di quel ragionamento. Quando il prezzo di un’attività scende, per una banca è razionale ridurne l’esposizione. Ma se molte banche lo fanno contemporaneamente, le vendite fanno scendere ulteriormente i prezzi, costringendo altre a vendere. Un comportamento prudente a livello individuale diventa destabilizzante a livello collettivo. Non serve una banca cattiva. L’instabilità nasce dall’interazione.

Da quella consapevolezza è nata la regolamentazione macroprudenziale: alla supervisione delle singole istituzioni si è affiancata l’attenzione alle correlazioni, alle esposizioni comuni, ai meccanismi di amplificazione e alla resilienza del sistema nel suo insieme.

L’intelligenza artificiale potrebbe trovarsi di fronte a una soglia simile. Pensiamo ad agenti finanziari programmati per ridurre il rischio quando aumenta la volatilità. Ciascuno esegue perfettamente il proprio mandato. Ma se migliaia di agenti osservano gli stessi segnali e reagiscono allo stesso modo, alla velocità delle macchine, possono amplificare proprio la volatilità dalla quale cercano di proteggersi. La Bis (Bank for International Settlements) ha avvertito che l’uso diffuso degli stessi algoritmi e degli stessi dati può aumentare il comportamento gregario e accelerare la propagazione degli shock. Nel 2024, i tre maggiori provider concentravano il 44 per cento delle forniture esterne di modelli IA indicate dalle imprese finanziarie britanniche, contro appena il 18 per cento nel 2022.

Il problema va però ben oltre la finanza. Agenti incaricati degli acquisti potrebbero individuare contemporaneamente lo stesso fornitore più conveniente, creando strozzature. Agenti che ottimizzano i prezzi potrebbero imparare a reagire l’uno all’altro producendo qualcosa che somiglia alla collusione, senza che nessuno l’abbia programmata. Nella logistica, migliaia di agenti che cercano razionalmente di aggirare una strozzatura potrebbero scegliere gli stessi corridoi alternativi, trasformando un problema locale in uno sistemico. Il punto comune è semplice: il rischio non risiede necessariamente dentro l’agente. Può nascere tra gli agenti.

Dall’allineamento alla stabilità

Gran parte della governance dell’IA rimane implicitamente microprudenziale. Testiamo i singoli modelli, verifichiamo che rispettino le istruzioni, imponiamo obblighi ai produttori, cerchiamo di stabilire responsabilità quando qualcosa va storto. Tutto necessario. Ma potrebbe non essere sufficiente quando passiamo da modelli che producono risposte ad agenti che compiono azioni, e dai singoli agenti a popolazioni che interagiscono nell’economia.

Cosa significherebbe applicare all’IA la lezione del 2008? Non si tratta di copiare le regole delle banche, ma di importarne l’intuizione fondamentale: le proprietà di un sistema non si deducono dalle proprietà delle sue parti. Una prima conseguenza riguarda gli stress test: invece di testare un modello alla volta, si potrebbero mettere alla prova popolazioni di agenti per osservare correlazioni e comportamenti emergenti.

Una seconda conseguenza riguarda le dipendenze comuni: se migliaia di agenti dipendono dallo stesso foundation model o dalla stessa infrastruttura cloud, quella dipendenza diventa un canale potenziale di propagazione sistemica.

Nei settori più sensibili potrebbero infine servire veri e propri circuit breaker: meccanismi capaci di rallentare o interrompere un processo quando l’interazione tra agenti inizia a produrre dinamiche potenzialmente destabilizzanti. L’obiettivo non è prevedere ogni incidente: in un sistema complesso è probabilmente impossibile. È identificare i canali attraverso cui uno shock può propagarsi e amplificarsi.

La governance dell’IA si è concentrata comprensibilmente sul rendere più sicuri i singoli sistemi e sugli incentivi delle imprese che li sviluppano. Dovremo continuare a farlo. Ma si sta affacciando un terzo problema: governare non soltanto gli agenti e chi li costruisce, ma i sistemi prodotti dalle loro interazioni. Il rischio più difficile da affrontare potrebbe non essere quello di costruire un agente cattivo. Potrebbe essere quello di avere milioni di agenti perfettamente ragionevoli, ciascuno dei quali fa esattamente ciò che gli abbiamo chiesto, e che insieme producono qualcosa che nessuno voleva.

La finanza ci ha insegnato che comportamenti individualmente razionali non garantiscono la stabilità collettiva. Sarebbe meglio non aspettare una crisi dell’IA per imparare la stessa lezione.