Questo post é stato letto 140 volte!
Qualcomm HBC ha annunciato la validazione della prima generazione della sua architettura High Bandwidth Compute (HBC), una soluzione di memoria con calcolo integrato. I test, condotti nel laboratorio di San Diego, hanno confermato il corretto funzionamento del percorso di lettura e scrittura della memoria e delle operazioni di calcolo near-memory. L'azienda ha dichiarato che il silicio ha operato come previsto, ponendo le basi per le future piattaforme di inferenza AI.
La sfida della banda di memoria per Qualcomm HBC
L'architettura Qualcomm HBC mira a risolvere il problema della banda di memoria, un collo di bottiglia significativo nell'inferenza dei modelli linguistici. Per ogni token generato, i dati del modello devono essere trasferiti alle unità di calcolo. A livello di data center, l'energia e la latenza di questi trasferimenti influenzano il throughput, i consumi e il costo totale di proprietà. Qualcomm cerca di trovare una soluzione per gestire modelli sempre più complessi senza un proporzionale aumento di potenza e costi.
Architettura e efficienza energetica
Dal punto di vista architetturale, Qualcomm impila verticalmente più strati di memoria LPDDR, collegandoli tramite through-silicon via (TSV). Alla base è inserito un die di calcolo che esegue elaborazioni near-memory, alleggerendo il carico sui die di memoria. L'azienda sottolinea che la scelta della LPDDR garantisce un'efficienza energetica superiore rispetto alla memoria HBM, che si basa su DRAM standard. Questa configurazione ricorda HBM4, dove il die di base è un chip logico che gestisce i dati in ingresso e in uscita dalla memoria.
Qualcomm punta a una maggiore efficienza e a un movimento dei dati ottimizzato, con un miglioramento di sei volte della banda per watt rispetto all'attuale specifica HBM. L'obiettivo è posizionare il calcolo direttamente sotto gli stack di memoria, riducendo la distanza percorsa dai dati da centimetri a pochi micron.
Risultati della validazione e prospettive future
Le prove di validazione hanno utilizzato pesi e attivazioni casuali, con dimensioni simili a quelle degli scenari reali. Il risultato più rilevante riguarda la banda: Qualcomm HBC Gen 1 raggiunge 133 TB/s di banda di memoria complessiva sulla scheda acceleratrice AI250. Questo valore è diciotto volte superiore a quello della LPDDR5X attualmente impiegata nella scheda AI200. Si tratta della banda totale dell'acceleratore, non del singolo modulo HBC.
Il prossimo passo è completare Qualcomm Dragonfly AI250, un acceleratore per l'inferenza, la cui fase di campionamento è prevista nella prima metà del 2027.
Questo post é stato letto 140 volte!