Gli sviluppi nel settore dell’AI generativa sono velocissimi e quasi ogni settimana escono nuovi AI, chatbot, modelli…
Tuttavia, valutare le loro performance e capire “quale è meglio” è un compito nel migliore dei casi complesso, e nel peggiore dei casi impossibile.
Come metto alla prova una *General Purpose Technology (GPT)* che può scrivere programmi in Python, comporre canzoni medioevali, spiegare la fisica quantistica, e dare consigli sulla carriera?
E la comunità scientifica sta ancora cercando il benchmark giusto…
Ma se invece…
Per valutare i modelli usassimo invece un approccio diverso?
Non più basato sul semplice punteggio rispetto ai dataset?
Questo è l’approccio di Chatbot Leaderboard, un sito che permette agli utenti di inviare i loro “prompt più difficili” e valutare il risultato, grazie a un sistema di ranking detto “elo”, simile a quello usato nel matchmaking dei videogiochi online.
<!--IMG:0-->
*Interessante notare:*
Infine, ho pensato di lasciarti un altro ranking… basato su quelle che sto osservando emergere come “classi” dei chatbot.
DISCLAIMER: La classifica è prettamente personale e basata sulla “quantità di valore mondano estratta” dagli strumenti.
<!--IMG:1-->
*Quali uso io?*
In ogni caso, ti consiglio di provarli un po’ tutti e *capire quale meglio si adatta al tuo stile.*
Se vuoi farci sapere quale invece usi tu e come, *raggiungici su Discord*, parliamo spesso di queste cose 🙂
***
Giacomo Ciarlini - Head of Content & Education - Datapizza
***
Beh SENZA DUBBIO la news più interessante è che c’è stato il nostro *primo community event!*
Raga, è stato una figata, davvero ❤️ 🍕
*Le vibes sono state incredibili.*
Non riusciremo mai a ringraziarvi abbastanza per il supporto che ci date, è la spinta più importante per la nostra motivazione.
Questo era solo un test… abbiamo tante idee per il 2024 👀
Uno speciale ringraziamento alle aziende che hanno reso possibile tutto questo:
*Non perderti i prossimi numeri di Commit, è il primo posto insieme a Discord dove annunceremo i prossimi!*
<!--IMG:2-->
L’altro giorno stavo leggendo questo report, piuttosto interessante.
Spiega le prospettive da tenere in considerazione se si investe sui mercati, alla luce dei nuovi trend di AI generativa.
Microsoft è chiaramente indicata come leader ma ci sono molti “verticali emergenti”.
Lettura consigliata, almeno i “main takeaways” della sezione iniziale.