*Attenzione: numero più lungo del solito.*
In settimana Google ha annunciato trionfalmente la sua nuova famiglia di modelli, Gemini.
Questa AI generativa sarà disponibile in 3 versioni:
Ora, quello che vorrei fare in questo numero non è tanto approfondire quelle che sono le specifiche tecniche di questi modelli, che puoi trovare nel paper rilasciato…
Quanto discutere il modo in cui è stato annunciato il tutto, come la community tech ha preso la notizia, e cosa possiamo *imparare* da tutto questo.
Perché c’è tanto da imparare.
In breve, quello che ha fatto Google è stato presentare questo video, che ha mandato il web su tutte le furie.
Infatti nel video si vede Gemini che interpreta in tempo reale quello che dice e fa l’umano, capisce di cosa si tratta con pochissimo o zero contesto, e ha una *fluidità*… aliena.
Reality Check: il video è stato montato ad arte e ha “messo insieme” frame e capacità che non sono esattamente quelle reali… (in questo blog il reality check).
Ora, questo ha fatto indignare più o meno tutti.
Ma tutti tutti.
Dall’esperto di Deep Learning che ha speso gli ultimi 30 anni di vita ad addestrare reti neurali, all’influencer che non ne capisce - più o meno - nulla ma ha trovato un nuovo video con cui acchiappare likes facili.
L’idea principale è che Google abbia provato a “ingannare” la comunità tech, montando il video per fare vedere capacità che Gemini non ha e *non avrà.*
Si sostiene inoltre che il paper rilasciato (di confronto con GPT4) sia piuttosto deludente, in quanto usa “*metodologie creative*” per far risultate Gemini più capace di GPT-4 in quasi tutte le prove effettuate.
*Ora, cosa ne penso io?*
Terribile. Punto.
Non c’è un solo motivo per cui rilasciare quel video avrebbe potuto essere una bella giocata, vista l’audience iper-tecnica che stava in ascolto…
Tuttavia, sarò molto onesto: avevo visto che era uscito il video, ma non l’avevo *nemmeno riprodotto, anche se *dovrebbe essere il mio lavoro no?
Non l’ho riprodotto perché sapevo che un video promo di Google non ha alcuna valenza pratica.
Zero segnale, unicamente rumore.
Potevano evitare un video così?
Si certo, ma non mi stupisce, ripeto.
Quel video è fatto per *far vedere al mondo* quelle che probabilmente saranno le capacità di questa o la prossima iterazione - tra qualche mese - della famiglia di modelli.
Non parlava ai tecnici, parlava alla stampa.
Diceva al mondo: “guardate che questa è la direzione”.
Altri $ milioni in “compute budget”, altri 2 o 3 trucchetti di Reinforcement Learning, e ci siamo.
Stiamo andando lì.
Ma non era per “ingannare il mondo”.
Ci sono modi estremamente più intelligente e subdoli per ingannare qualcuno.
Qua letteralmente loro hanno detto che era un video di marketing e che non sono ancora le capacità reali.
No surprise here.
In definitiva: errore grossolano di Google a questo giro. Non ha capito l’audience a cui si rivolge.
Sul modello Ultra, che sarà disponibile a inizio 2024, non posso ancora esprimermi, non avendolo testato.
Anche se nel famoso paper incriminato si afferma che batte GPT-4, spesso lo fa con minuscole % di differenza, ed è chiaro come Google abbia anche giocato sui prompt utilizzati per mettere in miglior luce il suo modello.
E Questo È Molto Sbagliato.
Non puoi fare una comparazione dove per modelli diversi usi prompt diversi.
Inoltre, il fatto di battere GPT-4 su MMLU (un benchmark di circa 6.000 domande di ragionamento) di pochi punti %, quando ricerche dimostrano come il 2-3% delle domande siano sbagliate già nel dataset…
Beh non ti fa fare bella figura, per niente.
Questo ci dimostra ancora una volta quanto Microsoft e OpenAI abbiano “fatto danzare Google”, dall’uscita di ChatGPT.
Alla fine dei giochi, avremo un modello (Pro) simile a GPT-3.5, e un modello (Ultra), che è simile a GPT-4.
Nulla di rivoluzionario lato “capacità”, e ok, è Google, ci sta che ci siano arrivati.
Il punto è: dove sarà tra 3 o 6 mesi OpenAI?
Inoltre, il mero confronto di capacità con i benchmark - mezzi fallati - lascia sempre molto a desiderare.
Quello che farà la differenza nel 2024 saranno l’integrazione di questi chatbot, la loro capacità di gestire la conversazione, e la UX.
È chiaro come ormai i modelli classe 3.5 siano quasi una commodity, mentre i “classe 4” stiano diventando quasi comuni.
Vediamo cosa ci riserva il 2024.
Per me, avere un modello competitor di GPT-4 è un’ottima notizia.
Se però se la fossero giocata meglio e avessero manipolato meno i risultati…
***
Giacomo Ciarlini - Head of Content & Education - Datapizza
***
Nonostante Gemini fosse l’elefante nella stanza, il resto del mondo ha continuato a fare cose:
Mistral, la startup francese che addestra Large Language Models, ha rilasciato la bomba.
Tramite un semplice link torrent su X, è possibile scaricare il loro nuovo modello:
Magari approfondiamo meglio nel prossimo numero.
Una cosa è certa: Mistral ha capito l’audience a cui si rivolge.
Un link a un torrent, niente annunci, niente rilascio stampa.
Parla agli hackers e agli ingegneri.
E loro sono felici.
E iniziano a sporcarsi le mani.
Come si specializza un AI Generativa?
Esistono molti LLM avanzati e Open Source, come per esempio Llama e Llama 2 di Meta, che possono essere utilizzati su molti use case.Il problema è che non sono modelli addestrati per “un caso d’uso specifico”.
La soluzione c’è e si chiama Fine-tuning!
Questa tecnica consente di specializzare un modello AI generico per un task specifico, adattandolo a un set di dati particolare o a esigenze uniche.
Avevamo già discusso di queste potenzialità e degli step necessari per ottimizzare il tuo modello in un post precedente con i nostri partner di Seeweb.
Se vuoi approfondire ed avere una guida passo passo, ti lasciamo l’articolo di Seeweb: 👉🏼 https://bit.ly/3NocAHM