Nota dell’editore: Invoice Hilf è l’ex CEO di Vulcan/Vale Group, attuale presidente del consiglio di amministrazione di Ai2 e American Prairie, e autore del nuovo romanzo di fantascienza “The Disruption”, che esplora i temi dell’intelligenza artificiale e degli ecosistemi naturali. Ha parlato del libro sul podcast GeekWire e approfondisce i temi in questo saggio complementare.
Stiamo costruendo l’intelligenza artificiale su scala di civiltà, pur continuando a parlarne come se si trattasse di una versione software program.
Quale modello supera quale benchmark. Quale chatbot sembra più umano. Queste domande contano, ma sono all’altitudine sbagliata. I sistemi di intelligenza artificiale non si limitano più a rispondere alle domande. Mediano le assunzioni, la diagnostica, la logistica, la finanza e gli aspetti crescenti del processo decisionale pubblico. Non spediamo più prodotti. Stiamo rimodellando gli ambienti.
Su questa scala, l’intelligenza artificiale è fortemente interconnessa. Ha collegato modalità di fallimento. Comportamento emergente. Specie invasive. Punti critici.
Trattare un ambiente come un prodotto è un errore di categoria e la situazione si sta già aggravando.
Ho trascorso tre decenni a costruire i sistemi ora al centro di questa conversazione, dall’informatica scientifica presso IBM ai primi sistemi aziendali di Azure e su larga scala presso HP. Il modello di lavoro period deterministico: specificare il sistema, costruirlo, metterlo a punto, controllarlo. Se qualcosa si rompe, diagnostica e ripara. Quel modello funziona fino a quando non funziona più.
Su scala sufficiente, i sistemi distribuiti smettono di comportarsi come macchine e iniziano a comportarsi più come ecosistemi. Si adattano. Girano attorno al fallimento. Sviluppano dipendenze che nessuno ha progettato e interazioni che nessuno comprende completamente. Puoi ancora progettarli e ingegnerizzarli. Ma una volta incorporati ovunque, connessi a tutto e ottimizzati su troppi livelli perché chiunque possa tenerli a mente, non sono più solo strumenti.
E la curva si sta inasprendo. L’ultima di McKinsey Stato dell’intelligenza artificiale afferma che l’88% delle organizzazioni intervistate ora utilizza l’intelligenza artificiale in almeno una funzione aziendale, rispetto al 55% di due anni prima. Gartner prevede una spesa software program mondiale superiore a 1,4 trilioni di dollari nel 2026. Nei commenti degli investitori diffusi quest’anno, Tommaso Bravo sostiene che l’intelligenza artificiale degli agenti potrebbe creare un’opportunità di entrate incrementali di circa 3 trilioni di dollari dalle applicazioni convertendo la spesa per manodopera in spesa per software program. Questo non è un aggiornamento delle funzionalità. È il sistema che si ricabla da solo durante il volo, più velocemente di quanto la maggior parte delle aziende possa governare, verificare o persino classificare ciò che ha già costruito.
Questa consapevolezza non è venuta solo dalla tecnologia. Veniva anche dalla conservazione.
L’ecologia ha un nome per ciò che accade quando si rimuove uno strato portante troppo velocemente: cascata trofica. Il commercio di pellicce delle Aleutine quasi spazzò through le lontre marine nel XVIII secolo. Le lontre mangiano i ricci. I ricci mangiano le alghe. Rimuovi le lontre e non otterrai un buco a forma di lontra. Si ottiene un’esplosione di ricci, foreste di alghe crollate e la perdita di ogni vivaio di pesci che le alghe stavano tranquillamente sostenendo.
Questo è lo schema che dovremmo osservare nelle infrastrutture dipendenti dall’intelligenza artificiale. L’intelligenza artificiale sarà probabilmente migliore dei tuoi dipendenti nello screening, nel punteggio e nelle previsioni. Il vero problema è la velocità. Stiamo sostituendo le persone che fornivano giudizio, correzione e moderazione, il tessuto connettivo che non è mai apparso in un diagramma del flusso di lavoro. La voce nelle zone grigie, le decisioni non computabili. Rimuovi quel livello più velocemente di quanto l’organizzazione possa scoprire cosa stava trattenendo e otterrai la stessa cascata.
Se vogliamo seriamente costruire un’infrastruttura IA durevole, vale la pena studiare questi modelli e alcune lezioni sono scomode.
L’efficienza è sopravvalutata. Nella tecnologia, come nell’ecologia, un sistema troppo ottimizzato diventa fragile. Il rallentamento e la ridondanza contano. Lo stesso vale per le fasce tagliafuoco e anche per l’autonomia locale.
Nel luglio 2024, un singolo aggiornamento della configurazione di CrowdStrike ha causato il crash di 8,5 milioni di macchine in tutto il mondo. Compagnie aeree, ospedali, centri di emergenza, banche. Perdite per 5,4 miliardi di dollari. Hanno annullato l’aggiornamento errato in 78 minuti. Il recupero ha richiesto giorni. Southwest Airways è rimasta in gran parte inalterata. Semplicemente non eseguiva il software program CrowdStrike. A volte l’assenza di una dipendenza è di per sé un ostacolo. Se ogni funzione importante nel tuo stack dipende da un modello, un fornitore o una pipeline di formazione, non hai creato una meraviglia intelligente. Hai creato un’interruzione futura.
Gli ecosistemi non falliscono solo a cascata. Inoltre falliscono per accrescimento. L’intelligenza artificiale sta entrando nei flussi di lavoro nello stesso modo in cui le specie invasive entrano negli ecosistemi: attraverso vettori a bassa visibilità, un’implementazione alla volta. Un copilota qui, un livello di riepilogo là, uno scheduler autonomo da qualche parte che nessuno sta monitorando. Ogni schieramento è difendibile da solo. L’effetto cumulativo è qualcosa che nessuno ha scelto. La revisione e gli attriti che hanno mantenuto onesti i processi precedenti sono stati costruiti per la velocità umana. Niente li ha sostituiti alla velocità della macchina.
Un modello non rimane quello che period in laboratorio una volta che inizia a modellare l’ambiente che successivamente lo modellerà. I sistemi di intelligenza artificiale fanno lo stesso quando vengono utilizzati nei mercati, nei media, nelle istituzioni e nel comportamento umano. Non si regola un ecosistema ispezionando i singoli organismi. Tu regoli le condizioni che determinano se l’intero sistema si riprende o crolla. Tali condizioni includono l’osservabilità.
I sistemi che non possono essere ispezionati, studiati o valutati in modo indipendente sono sistemi che nessuno può veramente comprendere o governare bene. Qui l’apertura conta, non come uno slogan, ma come un requisito per l’analisi e la conquista della fiducia. La stessa logica si applica alla tolleranza agli errori. Prima che un modello sia consentito all’interno di sistemi critici, il suo operatore dovrebbe dimostrare che l’intero ambiente può ancora funzionare senza di esso. Ciò significa take a look at obbligatori sul degrado, il modo in cui sottoponiamo a stress take a look at banche e ponti.
I costruttori non devono aspettare i regolatori. Se un livello di intelligenza artificiale sta entrando in un flusso di lavoro di produzione, i costruttori devono sapere cosa succede quando il modello è sbagliato, il fornitore è inattivo o il comportamento cambia dopo la distribuzione. Se la risposta onesta è “non lo sappiamo”, lo strato non è pronto per essere portante. Questo è vero per un sistema di triage ospedaliero e per un bot di assistenza clienti. Ciò è particolarmente vero per gli agenti con un ambito di applicazione illimitato: software program in grado di pianificare, richiamare strumenti e agire all’interno di ambienti che nessuno controlla completamente. Per questi sistemi, la qualità del modello è una domanda facile. La cosa difficile è chi è responsabile quando fallisce.
Le architetture multi-agente e gli approcci d’insieme possono migliorare la resilienza, ma solo quando la diversità è reale. Tre agenti indirizzati allo stesso modello di base possono migliorare il ragionamento, ma non sono tre garanzie indipendenti. Sono una dipendenza che indossa tre cappelli.
C’è una conseguenza strategica più ampia qui. Negli ecosistemi stabili, le specie dominanti aumentano lentamente il loro vantaggio. Se si accorcia il ciclo di disturbo, molti di questi vantaggi si esauriranno prima di maturare. Questo sta accadendo ai fossati aziendali adesso. Quando la rivoluzione diventa radicalmente più economica, la domanda vincente smette di essere ciò che stai costruendo e diventa ciò che ancora si compone quando nulla intorno a te dura. Nelle implementazioni nel mondo reale, il modello “migliore” perde rispetto al sistema più adattivo.
Il recupero conta tanto quanto la prevenzione. Nel lavoro di conservazione che svolgo, la questione non è mai come fermare il cambiamento. Il disturbo è inevitabile. La domanda è cosa sopravvive, quanto velocemente un sistema si riprende e quali capacità nascoste rimangono dopo lo shock. Dovremmo chiedere lo stesso alle infrastrutture dipendenti dall’intelligenza artificiale. Non solo “È sicuro?” ma “Come fallisce? Chi può prevalere su di esso? Fino a che punto si estende il fallimento? Cosa ricresce dopo l’errore?”
La cosa che rompe, secondo la mia esperienza, è l’assunzione del controllo. I sistemi reali non collassano in modo pulito e non si riprendono in modo pulito. Alcune parti falliscono. Alcuni si adattano. Alcuni si trasformano in cose che nessuno intendeva.
La natura ha utilizzato il rilevamento distribuito, la risposta locale e il recupero per centinaia di milioni di anni. Ha gestito il tipo di rete che continuiamo a cercare di inventare. Non perché le foreste siano coscienti o perché il pianeta sia un’intelligenza artificiale, ma perché i problemi ingegneristici sono strutturalmente simili: come fa un sistema senza controllo centrale a mantenere la coerenza, advert adattarsi ai danni e a persistere nel tempo?
La domanda non è più solo cosa possono fare i sistemi di intelligenza artificiale. Dipende dal tipo di mondo che creano attorno a sé, dal tipo di mondo che ereditano da noi e dal fatto che siamo abbastanza saggi da costruire sistemi che possiamo ancora governare.
Se lo prendiamo sul serio, seguono alcuni principi. Progettare per la diversità prima che per l’efficienza. Costruisci per il recupero prima della efficiency. Mantenere gli esseri umani coinvolti, non come misura di conformità ma come amministratori del sistema, come fonte di giudizio e come memoria del motivo per cui esiste. Insistere sull’apertura, a tutti i livelli, come precondizione per la fiducia su larga scala. Niente di tutto ciò rallenta l’IA. È ciò che fa funzionare l’intelligenza artificiale il giorno in cui qualcosa fallisce.
Puoi spegnere una macchina.
Devi vivere all’interno di un ecosistema.
