PaLM 2 di Google utilizza quasi cinque volte più dati di testo rispetto al suo predecessore

CNBC ha appreso che il nuovo modello di grande linguaggio di Google, che la società ha annunciato la scorsa settimana, utilizza quasi cinque volte più dati di formazione rispetto al suo predecessore del 2022, consentendole di eseguire attività di codifica, matematica e scrittura creativa più avanzate.

PaLM 2, il nuovo modello LLM (Large Language) di uso pubblico dell’azienda presentato a Google I/O, è stato addestrato su 3,6 trilioni di token, secondo documenti interni visionati da CNBC. I token, che sono stringhe di parole, sono un elemento importante per l’addestramento di LLM, perché insegnano al modello a prevedere la parola successiva che apparirà in una sequenza.

La precedente versione di PaLM di Google, che sta per Pathways Language Model, è stata rilasciata nel 2022 e addestrata su 780 miliardi di token.

Sebbene Google fosse ansioso di mostrare la potenza della sua tecnologia AI e come potesse essere integrata nella ricerca, nelle e-mail, nell’elaborazione di testi e nei fogli di calcolo, l’azienda non era disposta a pubblicare il volume o altri dettagli dei suoi dati di formazione. OpenAI, l’innovatore di ChatGPT supportato da Microsoft, ha anche mantenuto segreti i dettagli dell’ultimo linguaggio LLM chiamato GPT-4.

Le aziende affermano che il motivo della mancanza di divulgazione è la natura competitiva del business. Google e OpenAI si stanno affrettando ad attirare utenti che potrebbero voler cercare informazioni utilizzando i chatbot invece dei tradizionali motori di ricerca.

Ma mentre infuria la corsa agli armamenti dell’IA, la comunità di ricerca chiede maggiore trasparenza.

Da quando ha rivelato PaLM 2, Google ha affermato che il nuovo modello è più piccolo dei precedenti LLM, il che è significativo perché significa che la tecnologia dell’azienda sta diventando più efficiente mentre svolge attività più complesse. PaLM 2 è addestrato, secondo la documentazione interna, su 340 miliardi di parametri, indice della complessità del modello. Il PaLM iniziale è addestrato su 540 miliardi di parametri.

Google non ha fornito immediatamente un commento per questa storia.

Google Egli ha detto In un post sul blog su PaLM 2, il modello utilizza una “nuova tecnica” chiamata Computational Scale Optimization. Ciò rende l’LLM “più efficiente con prestazioni complessive migliori, inclusa un’inferenza più rapida, meno parametri di servizio e un costo del servizio inferiore”.

Nell’annunciare PaLM 2, Google ha confermato i precedenti rapporti della CNBC secondo cui il modello è addestrato in 100 lingue ed esegue un’ampia gamma di attività. È già utilizzato per alimentare 25 funzionalità e prodotti, incluso il chatbot sperimentale dell’azienda Bard. È disponibile in quattro misure, dalla più piccola alla più grande: Geco, Lontra, Bisonte e Unicorno.

PaLM 2 è più potente di qualsiasi modello esistente, basato su divulgazioni pubbliche. LLM su Facebook si chiama LLaMA, che è annunciare A febbraio è stato addestrato su 1,4 trilioni di token. L’ultima volta che OpenAI ha condiviso il volume di formazione di ChatGPT è stato con GPT-3, quando la società ha affermato di aver addestrato 300 miliardi di codici in quel periodo. OpenAI ha rilasciato GPT-4 a marzo e ha affermato che mostra “prestazioni a livello umano” in diversi test professionali.

LaMDA, conversazione LLM che Google piede Due anni fa e promosso a febbraio insieme a Bard, è stato addestrato su 1,5 trilioni di token, secondo gli ultimi documenti visionati da CNBC.

Man mano che le nuove applicazioni di intelligenza artificiale raggiungono rapidamente il mainstream, aumenta anche il dibattito sulla tecnologia sottostante.

Mehdi Elmohamady, ricercatore senior presso Google, Si è dimesso a febbraio Sulla mancanza di trasparenza dell’azienda. Martedì, il CEO di OpenAI Sam Altman ha testimoniato in un’audizione della sottocommissione giudiziaria del Senato per la privacy e la tecnologia e ha concordato con i legislatori che è necessario un nuovo sistema per affrontare l’IA.

“Per una tecnologia così nuova, abbiamo bisogno di un nuovo framework”, ha affermato Altman. “Certamente aziende come la nostra hanno molte responsabilità per gli strumenti che mettiamo a disposizione del mondo”.

— Jordan Novette della CNBC ha contribuito a questo rapporto.

Egli guarda: Sam Altman, CEO di OpenAI, ha chiesto la gestione dell’IA