Questo post é stato letto 60 volte!
OpenAI ha reso Decisions API accessibile a tutti i suoi clienti, a poche settimane dall'annuncio al developer day del 29 settembre. Questa iniziativa segna l'ingresso dell'azienda nel settore dei modelli decisionali, caratterizzati da velocità ed economicità, un mercato che ha visto la startup TypeSafe, fondata da un ex ricercatore di OpenAI, raggiungere un valore di 7,6 miliardi di dollari. La versione pubblica di Decisions API include ora funzionalità vocali e visive, con una latenza ridotta grazie all'ottimizzazione geografica delle risorse di inferenza.
Decisions API si basa su ChatGPT Luna, che è stato riconfigurato per accelerare l'inferenza e contenere i costi, senza la necessità di sviluppare un modello decisionale specifico. Nikunj Handa, responsabile di prodotto delle API di OpenAI, ha evidenziato come il principale vantaggio sia la velocità, con tempi di risposta che sono passati da uno-tre secondi a intervalli tra i 100 e i 180 millisecondi. Handa non esclude la possibilità di un addestramento mirato in futuro per migliorare ulteriormente le prestazioni.
TypeSafe ha introdotto questa categoria con Jev, un classificatore di deep learning che seleziona rapidamente tra diverse opzioni, associando un livello di confidenza. Gli sviluppatori hanno scoperto che questi modelli, noti anche come modelli System One, possono sostituire gli LLM in vari contesti, offrendo maggiore velocità e costi inferiori.
Aziende come Box, Datadog, Ramp e Speak hanno già utilizzato Decisions API, riscontrando un aumento del throughput rispetto agli LLM tradizionali di OpenAI. Andrew Hsu, CTO di Speak, ha riportato una riduzione del tempo di risposta da 1,4 secondi a 0,13 secondi. Anche OpenAI ha impiegato il prodotto per migliorare la reattività del proprio assistente vocale Dots.
Il punto di forza di OpenAI risiede nella multimodalità, dove il suo modello, potenzialmente più avanzato di Jev, può eccellere. Handa ha sottolineato l'efficacia di Luna nella classificazione delle immagini e l'interesse dei clienti per una maggiore flessibilità nell'uso delle immagini come output.
Handa prevede che un'ulteriore accelerazione, fino a 60 millisecondi, potrebbe aprire la strada a nuovi utilizzi, come chiamate API per ogni singolo fotogramma di un video, rivelando un "folle insieme di casi d'uso" precedentemente inesplorati.
Nonostante l'efficacia, la definizione di un "buon" modello decisionale rimane complessa, dipendendo dall'equilibrio tra intelligenza, costo, calibrazione e velocità in base al carico di lavoro. Diogo Almeida, CEO di TypeSafe, suggerisce di testare i modelli direttamente nei propri flussi di lavoro.
Nei benchmark pubblici, come l'AIM System One Index e l'Artificial Analysis Decision Index, modelli come D1 Ultra di Liquid ed Elephant-1 di Base Lab tendono a prevalere. L'ultimo Jev di TypeSafe mantiene una posizione competitiva, mentre il modello decisionale di OpenAI si colloca più in basso nelle classifiche. Le offerte di TypeSafe rimangono le più utilizzate su OpenRouter.
Questo post é stato letto 60 volte!