Home Tecnologia La startup Gimlet Labs sta risolvendo il collo di bottiglia dell’inferenza dell’intelligenza...

La startup Gimlet Labs sta risolvendo il collo di bottiglia dell’inferenza dell’intelligenza artificiale in un modo sorprendentemente elegante

11
0

Zain Asgar, professore a contratto di Stanford e fondatore uscito con successo, ha appena raccolto una serie A di 80 milioni di dollari per una startup che risolve il problema del collo di bottiglia dell’inferenza dell’intelligenza artificiale in modo astuto. Il spherical è stato guidato da Menlo Ventures.

L’azienda, Laboratori di Gimletha creato quello che sostiene essere il primo e unico “cloud di inferenza multi-silicio”, ovvero un software program che consente di eseguire simultaneamente un carico di lavoro AI su diversi tipi di {hardware}. Può suddividere il lavoro di un’app AI sia tra CPU tradizionali che GPU ottimizzate per l’intelligenza artificiale, nonché su sistemi con memoria elevata.

“Fondamentalmente utilizziamo qualsiasi {hardware} diverso disponibile”, ha dichiarato Asgar a TechCrunch.

Un singolo agente può concatenare più passaggi e ciascuno “richiede {hardware} diverso: l’inferenza è legata al calcolo; la decodifica è legata alla memoria; e le chiamate agli strumenti sono legate alla rete”, scrive l’investitore principale, Tim Tully di Menlo, in un put up sul weblog sul finanziamento.

Nessun chip ancora fa tutto, ma con il lancio del nuovo {hardware} e la ridistribuzione delle GPU out of date, “la flotta multi-silicio è pronta: manca solo il livello software program per farlo funzionare”. Questo è ciò che Tully crede offra Gimlet Labs.

Se l’attuale tendenza all’implementazione di più calcolo continua, Stime McKinsey La spesa per i knowledge heart ammonterà a quasi 7 trilioni di dollari entro il 2030. Asgar afferma che le app utilizzano solo l'{hardware} esistente già distribuito “tra il 15 e il 30%” delle volte.

“Un altro modo di pensare a questo: stai sprecando centinaia di miliardi di dollari perché stai semplicemente lasciando risorse inattive”, ha detto. “Il nostro obiettivo period fondamentalmente quello di cercare di capire come rendere i carichi di lavoro IA 10 volte più efficienti che mai, oggi.”

Evento Techcrunch

San Francisco, California
|
13-15 ottobre 2026

Così lui e i suoi cofondatori, Michelle Nguyen, Omid Azizi e Natalie Serrino, hanno iniziato a creare un software program di orchestrazione che suddivida i carichi di lavoro degli agenti in modo che possano essere distribuiti simultaneamente su tutti i tipi di {hardware}.

Gimlet Labs afferma che accelera in modo affidabile l’inferenza dell’intelligenza artificiale da 3 a ten volte allo stesso costo e potenza. Gimlet afferma di poter persino suddividere il modello sottostante in modo che funzioni su architetture numerous, utilizzando il chip migliore per ciascuna porzione del modello.

L’azienda ha già collaborato con i produttori di chip NVIDIA, AMD, Intel, ARM, Cerebras e d-Matrix.

Il prodotto Gimlet, fornito come software program o tramite un’API al proprio Gimlet Cloud, non è destinato agli sviluppatori di app AI di tipo ranking-and-file. È destinato ai knowledge heart e ai laboratori di modelli IA più grandi.

La società è stata lanciata pubblicamente nel mese di ottobre con, si cube, ricavi a otto cifre (quindi almeno 10 milioni di dollari). Asgar ha affermato che la sua base di clienti è più che raddoppiata negli ultimi quattro mesi e ora comprende un importante produttore di modelli e un’azienda di cloud computing estremamente grande, anche se ha rifiutato di nominarli.

I cofondatori avevano precedentemente lavorato insieme presso Pixie, una startup che ha creato uno strumento di osservabilità open supply per Kubernetes. Pixie è stata acquisita da New Relic nel 2020, appena due mesi dopo il suo lancio con una serie A da 9 milioni di dollari guidata da Benchmark. (La tecnologia di Pixie fa ora parte dell’organizzazione open supply che supervisiona Kubernetes.)

Dopo che Asgar si è imbattuto casualmente in Tully circa un anno fa e ha ricevuto anche investimenti angelici da professori di Stanford, i VC hanno iniziato a chiamare. Dopo il lancio, un foglio di termini è arrivato sulla scrivania di Asgar. Quando i VC hanno sentito che Asgar stava esaminando le offerte, “abbiamo ricevuto uno sciame di finanziamenti piuttosto grande” e il spherical è stato rapidamente sottoscritto in eccesso, ha detto.

Con il seed precedente, la startup ha ora raccolto un totale di 92 milioni di dollari, anche da una serie di angeli come Invoice Coughran di Sequoia, il professore di Stanford Nick McKeown, ex CEO di VMware Raghu Raghuram e CEO di Intel Lip-Bu Tan. Attualmente l’azienda impiega 30 persone.

Altri investitori includono Manufacturing unit, che ha guidato il seed, Eclipse Ventures, Prosperity7 e Triatomic.

fonte

LEAVE A REPLY

Please enter your comment!
Please enter your name here