Per la maggior parte dei staff di ingegneria dei dati, gestire l’affidabilità della pipeline spesso significa attendere un avviso, tracciare manualmente i guasti nei processi e nei cluster distribuiti e risolvere i problemi quando hanno già colpito l’azienda. L’intelligenza artificiale ha bisogno che i dati siano disponibili, puliti e puntuali. Una pipeline che fallisce silenziosamente o fornisce dati obsoleti non si limita a danneggiare un dashboard, ma danneggia anche il sistema di intelligenza artificiale che dipende da esso.
Questo divario è cosa Definizioneuna startup operativa di pipeline di dati con sede a Chicago, sta incorporando agenti direttamente all’interno del driver Spark o DBT per agire durante l’esecuzione della pipeline, non dopo. Secondo Definity, un cliente aziendale ha identificato il 33% delle sue opportunità di ottimizzazione nella prima settimana di implementazione e ha ridotto del 70% gli sforzi di risoluzione dei problemi e di ottimizzazione. L’azienda afferma inoltre che i clienti stanno risolvendo i problemi complessi di Spark fino a ten volte più velocemente.
“Sono necessarie tre cose importanti per le operazioni sui dati agentici: un contesto full stack che sia in tempo reale e consapevole della produzione. Il controllo della pipeline. E la capacità di convalidare in un ciclo di suggestions. Senza di ciò, puoi essere fuori a guardare e leggere solo”, ha detto Roy Daniel, CEO e co-fondatore di Definity a VentureBeat in un’intervista esclusiva.
Mercoledì la società ha annunciato di aver raccolto 12 milioni di dollari in finanziamenti di serie A guidati da GreatPoint Ventures, con la partecipazione di Dynatrace e degli investitori esistenti StageOne Ventures e Hyde Park Enterprise Companions.
Perché il monitoraggio delle condotte esistenti fallisce su larga scala
Gli strumenti esistenti affrontano il problema dall’esterno del livello di esecuzione: Datadog, che ha acquisito lo scorso anno il monitor della qualità dei dati Metaplane, le tabelle di sistema Databricks e piattaforme come Unravel Knowledge e Acceldata leggono tutte le metriche dopo il completamento di un lavoro. Dynatrace ha funzionalità di monitoraggio; ha anche partecipato alla serie A di Definity.
L’approccio Definity si differenzia dalle altre opzioni per il modo in cui è architettata la soluzione. Secondo Daniel, ciò significa che nel momento in cui uno strumento di monitoraggio della piattaforma fa emergere un problema, la pipeline è già in funzione e il guasto, lo spreco di calcolo o i dati errati sono già a valle.
“E’ sempre a posteriori,” ha detto Daniel. “Quando sai che è successo qualcosa, è già successo.”
Come funzionano gli agenti in esecuzione di Definity
La differenza architetturale principale è la posizione in cui si trova l’agente: all’interno della pipeline anziché osservarla dall’esterno.
Strumentazione in linea. Il sistema Definity installa un agente JVM direttamente all’interno del livello di esecuzione della pipeline tramite una singola riga di codice, che viene eseguito sotto il livello della piattaforma ed estrae i dati di esecuzione direttamente da Spark.
Contesto di esecuzione durante la corsa. L’agente acquisisce il comportamento di esecuzione delle question, il carico di memoria, la distorsione dei dati, i modelli di mescolamento e l’utilizzo dell’infrastruttura durante l’esecuzione della pipeline. Inoltre deduce dinamicamente la derivazione tra pipeline e tabelle: non è richiesto alcun catalogo dati predefinito.
Intervento, non solo osservazione. L’agente può modificare l’allocazione delle risorse durante l’esecuzione, interrompere un processo prima che si propaghino dati errati o bloccare una pipeline in base alle condizioni dei dati upstream. Daniel ha descritto un’implementazione di produzione in cui l’agente ha rilevato che un lavoro upstream period stato anticipato e la tabella di enter che avrebbe dovuto scrivere period obsoleta e ha interrotto la pipeline downstream prima che iniziasse, prima che i dati errati raggiungessero qualsiasi sistema dipendente.
Cos’è e cosa non è il tempo reale. Il rilevamento e la prevenzione avvengono in tempo reale. L’analisi delle trigger principali e i suggerimenti per l’ottimizzazione vengono eseguiti su richiesta quando un tecnico interroga l’assistente, con il contesto di esecuzione completo già assemblato.
Overhead e residenza dei dati. L’agente aggiunge circa un secondo di calcolo su un’esecuzione di un’ora. Solo i metadati vengono trasmessi all’esterno; la distribuzione completa in locale è disponibile per gli ambienti in cui nessun metadato può lasciare il perimetro.
Come si presenta l’intelligenza in esecuzione in un ambiente di produzione
Uno dei primi utenti della piattaforma Definity è Nexxen, una piattaforma di tecnologia pubblicitaria che esegue pipeline Spark su larga scala per carichi di lavoro pubblicitari mission-critical, in esecuzione on-premise.
Dennis Meyer, direttore dell’ingegneria dei dati presso Nexxen, ha dichiarato a VentureBeat che il problema principale che stava affrontando non erano i guasti alle condutture, ma il costo accumulato dell’inefficienza in un ambiente privo della capacità elastica del cloud di assorbire i rifiuti.
“La sfida principale non riguardava la rottura delle condutture, ma la gestione di un ambiente sempre più complesso e su larga scala”, ha affermato Meyer. “Poiché operiamo on-premise, non abbiamo la flessibilità dell’elasticità istantanea, quindi le inefficienze hanno un impatto diretto sui costi.”
Gli strumenti di monitoraggio esistenti hanno dato a Nexxen una visibilità parziale ma non sufficiente per agire in modo sistematico. “Disponevamo di strumenti di monitoraggio esistenti, ma avevamo bisogno di visibilità completa per comprendere il comportamento del carico di lavoro in modo olistico e per dare sistematicamente priorità alle ottimizzazioni”, ha affermato Meyer.
Nexxen ha implementato Definity senza modifiche al codice della pipeline. Secondo Meyer, il staff ha identificato il 33% delle opportunità di ottimizzazione entro la prima settimana e gli sforzi tecnici per la risoluzione dei problemi e l’ottimizzazione sono diminuiti del 70%. La piattaforma ha liberato capacità dell’infrastruttura, consentendo al staff di supportare la crescita del carico di lavoro senza ulteriori investimenti {hardware}.
“Il passaggio fondamentale è stato il passaggio dalla risoluzione reattiva dei problemi all’ottimizzazione proattiva e continua”, ha affermato Meyer. “Su larga scala, la lacuna più grande spesso non è rappresentata dagli strumenti, ma dalla visibilità fruibile.”
Cosa significa questo per i staff dati aziendali
Per i staff di ingegneria dei dati che gestiscono ambienti Spark di produzione, il passaggio dal monitoraggio reattivo all’intelligence in esecuzione ha implicazioni architetturali e organizzative su cui vale la pena riflettere.
Le operazioni sulla pipeline stanno diventando un problema di infrastruttura AI. Le pipeline di dati che in precedenza supportavano l’analisi ora trasportano carichi di lavoro AI con dipendenze aziendali dirette. I guasti che una volta rappresentavano un inconveniente ora bloccano la distribuzione dell’IA in produzione.
Il tempo necessario per risolvere il problema è un costo recuperabile. Secondo Meyer, Nexxen ha ridotto del 70% gli sforzi tecnici per la risoluzione dei problemi e l’ottimizzazione dopo l’implementazione di Definity. Per i staff che operano in modo snello, il tempo necessario per tornare alla tabella di marcia è il caso più diretto a breve termine per valutare questa categoria.
