Questo post é stato letto 120 volte!
Etched ha ufficialmente svelato la sua piattaforma intelligenza artificiale inferenza, denominata Frontier Inference Clusters, un sistema integrato di chip, rack e software progettato per accelerare l’inferenza AI.
La startup ha già raccolto impressionanti 800 milioni di dollari e vanta oltre un miliardo di dollari in contratti acquisiti, avviando la produzione delle prime soluzioni dedicate ai datacenter.
La strategia di etched per l’inferenza AI
Un approccio integrato per prestazioni superiori
Etched, fondata nel 2022, è uscita dalla fase di “stealth” presentando una piattaforma hardware completa specificamente ideata per l’inferenza dei modelli di intelligenza artificiale.
L’azienda ha annunciato di aver già ottenuto oltre 800 milioni di dollari di finanziamenti e più di 1 miliardo di dollari in contratti per i suoi sistemi, sebbene il primo prodotto sia ancora in fase di validazione presso i clienti.
L’obiettivo dichiarato della società non si limita alla creazione di un semplice acceleratore AI, ma mira allo sviluppo di un’infrastruttura completa che include processori, rack, software e tecnologie produttive progettate in sinergia.
Secondo Etched, questo approccio olistico permette di raggiungere prestazioni superiori in termini di throughput, latenza, consumi energetici e costo operativo durante l’esecuzione dei grandi modelli linguistici, una fase cruciale nota come inferenza.
Tecnologie innovative: LVI e CSM
La società ha comunicato che il suo primo chip, identificato come A0 silicon, è stato prodotto con successo da TSMC utilizzando il processo produttivo N4P.
Attualmente, questo componente è impiegato nella validazione dei primi sistemi rack destinati ai clienti, con consegne commerciali previste per l’estate.
La nuova piattaforma, Frontier Inference Clusters, è stata concepita per gestire modelli AI di grandi dimensioni, inclusi quelli basati su architetture Mixture of Experts (MoE) con migliaia di miliardi di parametri, applicazioni con contesti molto estesi e carichi di lavoro legati agli agenti AI.
Per raggiungere questi ambiziosi obiettivi, Etched ha sviluppato due tecnologie proprietarie: 1.
Low Voltage Inference (LVI): Questa tecnologia è focalizzata sull’aumento del throughput.
Etched sostiene che gli acceleratori AI tradizionali riducono la frequenza operativa in presenza di aumenti di consumi e temperature, limitando l’utilizzo sostenuto delle capacità di calcolo a meno del 50% del picco teorico.
L’architettura di Etched, invece, prevede unità matematiche che operano con meno della metà della tensione normalmente impiegata dai chip AI attuali.
Ciò consente una densità di calcolo superiore e il mantenimento fino all’80% delle prestazioni teoriche senza incorrere nel thermal throttling, anche nell’esecuzione di modelli MoE con migliaia di miliardi di parametri.
Per ottenere questo risultato, l’azienda ha riprogettato numerosi elementi dell’infrastruttura, dai transistor ai sistemi di alimentazione, passando per packaging avanzato, dissipazione, interconnessioni e algoritmi di scheduling. 2.
Cluster Scale Memory (CSM): Questa tecnologia mira a risolvere il problema della latenza nella fase di decodifica dei modelli AI.
Secondo Etched, gli acceleratori basati esclusivamente su memoria HBM non riescono a raggiungere le velocità offerte dalla SRAM, mentre le soluzioni interamente SRAM sacrificano capacità di memoria e potenza di calcolo.
La startup ha quindi sviluppato una soluzione ibrida che combina HBM e SRAM attraverso un’interconnessione proprietaria a bassa latenza e alta larghezza di banda, creando un pool di memoria condiviso tra più chip.
L’obiettivo è ridurre contemporaneamente la latenza di accesso ai dati e mantenere elevata la capacità di memoria, evitando compromessi legati a costo, affidabilità, resa produttiva e dissipazione termica che caratterizzano altre architetture.
Prospettive future e team di esperti
Etched ha dichiarato che i primi test effettuati con i clienti hanno evidenziato risultati ai vertici del settore per throughput, latenza ed efficienza energetica nelle attività di inferenza.
L’azienda prevede di pubblicare ulteriori dati prestazionali e la roadmap dei prodotti nel corso dell’estate.
Per supportare la produzione, la startup ha aperto uno stabilimento a Taiwan dedicato alle attività di ingegneria e ha realizzato presso la sede di San Jose un datacenter da circa 2 MW, un laboratorio di prototipazione e un’infrastruttura destinata alla validazione dei sistemi prima della produzione su larga scala.
La società conta oggi oltre 400 ingegneri provenienti da aziende di spicco come NVIDIA, Google, Broadcom, TSMC e SK Hynix, un team di altissimo livello che rafforza la sua posizione nel panorama dell’intelligenza artificiale.
Tra gli investitori figurano nomi di rilievo del settore AI, tra cui Andrej Karpathy, Geoffrey Hinton, Fei-Fei Li, Arthur Mensch e Scott Wu, oltre agli investitori Peter Thiel e Stanley Druckenmiller.
Questo post é stato letto 120 volte!