Il livello di impalcatura di cui una volta gli sviluppatori avevano bisogno per fornire applicazioni LLM (livelli di indicizzazione, motori di question, pipeline di recupero, loop di agenti attentamente orchestrati) sta crollando. E secondo Jerry Liu, co-fondatore e CEO di LlamaIndex, questo non è un problema. È questo il punto.
“Di conseguenza, c’è meno bisogno di framework che aiutino effettivamente gli utenti a comporre questi flussi di lavoro deterministici in modo leggero e superficiale”, spiega Jerry Liu, co-fondatore e CEO di LlamaIndex, in un nuovo Podcast VentureBeat oltre il pilota.
Il contesto sta diventando il fossato
LlamaIndex di Liu è uno dei principali framework RAG (retrieval-augmented era) che collega dati privati, personalizzati e specifici del dominio ai LLM. Ma anche lui riconosce che questi tipi di strutture stanno diventando meno rilevanti.
Con ogni nuova versione, i modelli dimostrano capacità incrementali di ragionare su “enormi quantità” di dati non strutturati, e stanno diventando più bravi degli umani, osserva. Ci si può fidare che ragionino ampiamente, si autocorreggano ed eseguano una pianificazione in più fasi; I plug-in Trendy Context Protocol (MCP) e Claude Agent Expertise consentono ai modelli di scoprire e utilizzare gli strumenti senza richiedere integrazioni per ognuno in modo indipendente.
I modelli degli agenti si sono consolidati verso ciò che Liu chiama a “diagramma dell’agente gestito” — un livello di cablaggio combinato con strumenti, connettori MCP e plug-in di competenze, anziché un’orchestrazione personalizzata per ogni flusso di lavoro.
Inoltre, gli agenti di codifica eccellono nella scrittura del codice, il che significa che gli sviluppatori non hanno bisogno di fare affidamento su librerie estese. Infatti, circa il 95% del codice LlamaIndex è generato dall’intelligenza artificiale. “Gli ingegneri in realtà non stanno scrivendo un vero codice”, ha detto Liu. “Scrivono tutti in linguaggio naturale.” Ciò significa che gli strati tra programmatori e non programmatori stanno crollando, perché “il nuovo linguaggio di programmazione è essenzialmente l’inglese”.
Invece di codificare manualmente o faticare a comprendere l’integrazione di API e documenti, gli sviluppatori possono semplicemente indicarlo a Claude Code. “Questo tipo di cose erano estremamente inefficienti o semplicemente avrebbero distrutto l’agente tre anni fa”, ha detto Liu. “È semplicemente molto più semplice per le persone costruire un recupero anche relativamente avanzato con primitive estremamente semplici.”
Allora qual è il principale elemento di differenziazione quando lo stack crolla?
Contesto, cube Liu. Gli agenti devono essere in grado di decifrare i formati dei file per estrarre le informazioni giuste. Fornire una maggiore precisione e un’analisi più economica diventa fondamentale, e LlamaIndex è ben posizionato qui, sostiene, a causa dei suoi sviluppi con l’elaborazione dei documenti mediante agenti tramite il riconoscimento ottico dei caratteri (OCR).
“Abbiamo effettivamente identificato che esiste un insieme fondamentale di dati che è stato rinchiuso in tutti questi contenitori di formati di file”, ha affermato. In definitiva, “non importa se usi OpenAI Codex o Claude Code. Ciò di cui tutti hanno bisogno è il contesto.”
Mantenere gli stack modulari
C’è una crescente preoccupazione per costruttori come il blocco Anthropic nei dati di sessione; alla luce di ciò, Liu sottolinea l’importanza della modularità e dell’agnosticismo. I costruttori non dovrebbero scommettere su nessun modello di frontiera o costruire in modo eccessivo in modo da complicare eccessivamente i componenti dello stack.
Il recupero si è evoluto in “agente più sandbox”, come lo descrive, e le aziende devono garantire che le loro basi di codice siano esenti da debiti tecnologici e adattabili ai modelli in evoluzione. Devono anche riconoscere che, ovviamente, alcune parti della pila alla effective dovranno essere gettate through.
“Perché con ogni nuovo modello rilasciato, c’è sempre un modello diverso che è in qualche modo il vincitore”, ha detto Liu. “Vuoi assicurarti di avere effettivamente una certa flessibilità per trarne vantaggio.”
Ascolta il podcast per saperne di più su:
-
Gli inizi di LlamaIndex come un “progetto giocattolo” con una precisione iniziale solo del 40% circa;
-
In che modo le aziende SaaS possono attingere a flussi di lavoro complicati che devono essere standardizzati e ripetibili per i lavoratori della conoscenza medi;
-
Perché le aziende verticali basate sull’intelligenza artificiale stanno decollando e perché “costruire anziché acquistare” è ancora una questione molto valida nell’period degli agenti.
Puoi anche ascoltare e iscriverti Oltre il pilota SU Spotify, Mela o ovunque trovi i tuoi podcast.
