20/12/2023⚒️ Quale AI per quale Task?
Gli sviluppi nel settore dell’AI generativa sono velocissimi e quasi ogni settimana escono nuovi AI, chatbot, modelli…
Tuttavia, valutare le loro performance e capire “quale è meglio” è un compito nel migliore dei casi complesso, e nel peggiore dei casi impossibile.
Come metto alla prova una General Purpose Technology (GPT) che può scrivere programmi in Python, comporre canzoni medioevali, spiegare la fisica quantistica, e dare consigli sulla carriera?
E la comunità scientifica sta ancora cercando il benchmark giusto…
Ma se invece…
Per valutare i modelli usassimo invece un approccio diverso?
Non più basato sul semplice punteggio rispetto ai dataset?
Questo è l’approccio di Chatbot Leaderboard, un sito che permette agli utenti di inviare i loro “prompt più difficili” e valutare il risultato, grazie a un sistema di ranking detto “elo”, simile a quello usato nel matchmaking dei videogiochi online.
Interessante notare:
- Battere GPT-4 è difficile. Solo Gemini Ultra promette di farlo (a Gennaio 2024)
- Salire alla “classe GPT-3.5” non è scontato e in pochi ci sono riusciti
- Claude 1 è meglio di Claude 2 che è meglio di Claude 2.1? (WTF)
Infine, ho pensato di lasciarti un altro ranking… basato su quelle che sto osservando emergere come “classi” dei chatbot.
DISCLAIMER: La classifica è prettamente personale e basata sulla “quantità di valore mondano estratta” dagli strumenti.
Quali uso io?
- Uso quasi solo ChatGPT 4
- Non lo uso da Bing perché gestisce peggio il contesto
- Uso Perplexity per ricerche rapide (GPT-4 è lento nel browsing)
- Bard non lo uso, troppe allucinazioni
- Claude lo uso con documenti lunghi (ma non è disponibile in Italia)
In ogni caso, ti consiglio di provarli un po’ tutti e capire quale meglio si adatta al tuo stile.
Se vuoi farci sapere quale invece usi tu e come, raggiungici su Discord, parliamo spesso di queste cose 🙂
Giacomo Ciarlini - Head of Content & Education - Datapizza
Altre news interessanti
Beh SENZA DUBBIO la news più interessante è che c’è stato il nostro primo community event!
Raga, è stato una figata, davvero ❤️ 🍕
- Più di 150 persone da tutta Italia
- Studenti, lavoratori, aziende super fighe
- Decision makers di grandi aziende e founders di startup
Le vibes sono state incredibili.
Non riusciremo mai a ringraziarvi abbastanza per il supporto che ci date, è la spinta più importante per la nostra motivazione.
Questo era solo un test… abbiamo tante idee per il 2024 👀
Uno speciale ringraziamento alle aziende che hanno reso possibile tutto questo:
Non perderti i prossimi numeri di Commit, è il primo posto insieme a Discord dove annunceremo i prossimi!
🍕 Datapizza Selection 🍕
News carine (ma meno importanti del community event)
- Puoi usare Claude dentro Google Sheets
- OpenAI ha rilasciato le “Superalignment Guidelines” per governare l’AGI
- Spotify sta testando le playlist generate con AI
- L’Albania vuole accelerare l’entrata in EU grazie all’AI generativa
- Accenture dice che le aziende non sono pronte ad integrare l’AI generativa
Guarda questo report
L’altro giorno stavo leggendo questo report, piuttosto interessante.
Spiega le prospettive da tenere in considerazione se si investe sui mercati, alla luce dei nuovi trend di AI generativa.
Microsoft è chiaramente indicata come leader ma ci sono molti “verticali emergenti”.
Lettura consigliata, almeno i “main takeaways” della sezione iniziale.