Man mano che gli agenti AI aziendali entrano in produzione, le organizzazioni si trovano advert affrontare un crescente problema di affidabilità. Molti staff stanno scoprendo che le prestazioni LLM da sole non determinano il successo degli agenti nella produzione. I flussi di lavoro IA di lunga durata devono sopravvivere agli arresti anomali, preservare lo stato, riprendersi dagli errori, gestire i costi di inferenza e coordinarsi tra API, strumenti e sistemi aziendali.
Dopo una prima ondata incentrata sull’implementazione rapida, le organizzazioni ora devono rivisitare quelle implementazioni di prima generazione e riprogettare le prime architetture degli agenti in base all’orchestrazione del flusso di lavoro, all’osservabilità, alla governance e al ripristino, ha affermato Preeti Somal, Senior VP Engineering presso Temporal Applied sciences, durante l’ultimo evento AI Affect Collection a New York.
“Molti clienti si rivolgono a noi per realizzare la versione 2.0 dello stesso agente”, ha affermato Somal. “Hanno dovuto muoversi molto velocemente, ma non si sono occupati dell’impianto idraulico. Le cose si schiantano e bruciano, e poi tornano a ricostruire con fondamenta affidabili.”
Per la società di orchestrazione dei flussi di lavoro Temporal, la cui infrastruttura è antecedente all’attuale ondata di IA agentica, il cambiamento riflette una realizzazione aziendale più ampia: i sistemi di IA di produzione richiedono esecuzione duratura, gestione dello stato, visibilità nei flussi di lavoro e meccanismi di ripristino quando i modelli o i sistemi a valle falliscono.
L’intelligenza artificiale di Agentic ha potenziato i problemi ingegneristici familiari
“Questi modelli non sono necessariamente nuovi”, ha detto Somal. “L’intelligenza artificiale li potenzia semplicemente.”
I sistemi agenti introducono ulteriore complessità perché spesso implicano processi a più fasi e di lunga durata che abbracciano più servizi, modelli, API e strumenti. Un singolo flusso di lavoro potrebbe richiamare diversi modelli linguistici di grandi dimensioni, accedere a sistemi di recupero, attivare applicazioni esterne e gestire lo stato per ore o giorni. Le questioni ingegneristiche, ha detto Somal, spesso emergono solo dopo il dispiegamento.
“Le persone scrivono agenti ma non pensano a cosa succede se l’agente si blocca”, ha detto. “Dovrò eseguire nuovamente l’intero flusso dell’agente?”
Per le imprese che operano con vincoli di costo, la risposta è importante. Il riavvio dei flussi di lavoro dopo un errore può moltiplicare le spese di inferenza, aumentare la latenza e creare esperienze cliente insoddisfacenti.
Somal ha paragonato il momento attuale a un periodo precedente nell’adozione del cloud aziendale, quando le organizzazioni passavano direttamente alla migrazione dei carichi di lavoro prima di considerare che avevano bisogno di riprogettare le architetture sottostanti se volevano che questi carichi di lavoro resistessero a lungo termine.
“Questa fretta di realizzare l’intelligenza artificiale in un mondo in cui non hai nemmeno modernizzato le tue applicazioni mi ricorda un po’ quel lift-and-shift avvenuto nel cloud”, ha affermato. “Tutti si sono resi conto che stai spendendo più soldi per il cloud e che non abbiamo ottenuto alcun valore.”
Perché gli agenti a lunga esecuzione impongono una nuova architettura
I flussi di lavoro aziendali coinvolgono sempre più agenti che eseguono operazioni su finestre lunghe, a volte impiegando molte ore mentre interagiscono con strumenti e sistemi. Le sfide legate all’affidabilità si aggravano quando i flussi di lavoro persistono nel tempo e influiscono sia sullo stato che sulla memoria, due idee che vengono spesso trattate in modo intercambiabile nelle conversazioni sull’intelligenza artificiale.
Lo stato riguarda l’esecuzione del flusso di lavoro. Embrace il punto in cui si trova un agente in un processo, quali azioni sono già state completate e il punto in cui il ripristino dovrebbe riprendere dopo un errore. La memoria o il contesto catturano le informazioni che un agente trasporta attraverso le interazioni o le attività.
“Lo stato dell’agente dipende da quali passaggi e quali azioni sono state eseguite e, se qualcosa si blocca, da dove vuoi eseguire il ripristino, rispetto al contesto e al pezzo di memoria”, ha spiegato Somal.
Questa distinzione diventa sempre più importante quando le aziende iniziano advert andare oltre le semplici interazioni chatbot verso processi aziendali a più lungo termine. Somal ha indicato un esempio sanitario che coinvolge il cliente Abridge, in cui i flussi di lavoro elaborano le visite mediche attraverso più fasi, tra cui l’elaborazione audio, il riepilogo, le chiamate modello e la generazione post-visita.
“Non c’è solo un pezzo in quel flusso”, ha detto Somal. “Prendere video e suddividerli, fare riassunti, chiamare gli LLM, generare il riepilogo post-visita, tutto ciò viene orchestrato.”
Per le imprese ciò implica che gli agenti di successo dipendono sempre più da sistemi in grado di sopravvivere alle interruzioni, coordinarsi tra i servizi e mantenere la continuità nel tempo.
L’ascesa della spina dorsale deterministica
Un quadro utile per la progettazione dell’intelligenza artificiale aziendale è la spina dorsale deterministica, ha affermato Somal, che è il modo in cui pensano al ruolo di Temporal.
“Denota il percorso che vuoi intraprendere”, ha detto. “Sta chiamando il cervello, ma se il cervello non risponde, lo chiamerà di nuovo. Se il cervello risponde ma il passo successivo fallirà, riprenderà da dove si è verificato il fallimento.”
In questo contesto, il modello linguistico agisce come un sistema probabilistico che produce output variabili, mentre il software program di orchestrazione mantiene l’affidabilità dell’esecuzione attorno advert esso. E il concetto è importante perché i sistemi aziendali richiedono sempre più coerenza anche quando i modelli rimangono non deterministici. Un flusso di lavoro di approvvigionamento, un riepilogo sanitario, un’escalation dell’assistenza clienti o un processo di conformità non possono semplicemente fallire silenziosamente perché una chiamata modello è scaduta o una dipendenza esterna si è bloccata.
“Ciò che ti interessa di più è assicurarti di poter recuperare e di non pagare la tassa simbolica se qualcosa va storto”, ha detto Somal.
Affidabilità, visibilità ed aspetti economici della spesa in token
Mentre i chief aziendali valutano il ROI dell’intelligenza artificiale, la visibilità dei costi è diventata una preoccupazione crescente. Gli agenti di lunga knowledge effettuano spesso più chiamate modello attraverso flussi di lavoro complessi, il che può creare modelli di spesa opachi. Somal ha descritto uno dei vantaggi operativi dell’orchestrazione come la visibilità su dove si accumulano i costi. Poiché i flussi di lavoro sono osservabili passo dopo passo, i staff possono vedere dove i token vengono consumati nel processo dell’agente.
“Hai visibilità dell’intero flusso in un unico pannello di vetro”, ha affermato. “Ora puoi vedere dove stai spendendo i token in un agente che prevede più passaggi e chiama più sistemi diversi.”
Il recupero del flusso di lavoro determina anche l’efficienza dei costi. Senza un’orchestrazione duratura, un errore in fase avanzata può costringere le organizzazioni a rieseguire un intero processo dall’inizio, comprese tutte le chiamate ai modelli precedenti. Somal ha affermato che i sistemi progettati attorno al ripristino possono riprendere l’esecuzione dal punto di interruzione.
“Riprendi da dove è avvenuto l’incidente”, ha detto. “Ti risparmiamo il costo di eseguire nuovamente l’agente dal primo passaggio.”
Le imprese devono costruire percorsi lastricati e avvalersi delle competenze dei accomplice
Le preoccupazioni in materia di governance sono un altro modello emergente man mano che l’intelligenza artificiale degli agenti prende piede. Piuttosto che adottare all’ingrosso sistemi di agenti completamente gestiti, Somal ha affermato che le aziende desiderano sempre più strutture interne standardizzate che forniscano protezioni preservando la flessibilità e implementando funzionalità necessarie come controlli di governance, politiche di selezione dei modelli, sistemi di identità, gestione dei costi e osservabilità.
“Le imprese stanno cercando di costruire questi percorsi asfaltati”, ha detto. “Prendere qualcosa dallo scaffale forse non funzionerà perché ci sono tutti questi altri requisiti.”
Man mano che le organizzazioni rivisitano le implementazioni di prima generazione, sfide come questa sembrano sempre meno un problema modello e sempre più un problema di ingegneria dei sistemi, e Temporal è nella posizione di aiutare le aziende a compiere questo passo successivo, in parte perché per molte organizzazioni esisteva già come parte di programmi di modernizzazione più ampi prima che l’intelligenza artificiale diventasse una priorità strategica.
“Temporal è già nell’impresa”, ha detto Somal. “Prenderlo ed estenderlo all’intelligenza artificiale e alle piattaforme di agenti sembra molto naturale.”
