09/01/2024🧠 Come migliorare la memoria delle AI

Benvenuto/a nel primo numero di Commit del 2024!

Tra l’altro mi sono reso conto che siamo ormai al 25esimo numero di questo appuntamento, che potrà sembrare poco ma è quasi mezzo anno che ci sentiamo qua ogni settimana!

Questa settimana ti voglio parlare del RAG, che è stata forse la tematica più calda del 2023 nel settore AI.

Con RAG si intende Retrieval Augmented Generation, ed è una tecnica per estendere le capacità dei modelli di linguaggio come GPT, LLama, o tutte le altre forme derivate di modelli che stanno proliferando.

Ma a cosa serve?

I modelli di linguaggio come GPT hanno vari…. problemi:

  • Possono avere le "allucinazioni" e inventare i dati
  • Se alcuni dati importanti sono fuori dal loro "training corpus" non sono accessibili al modello
  • Non hanno accesso alle ultime informazioni (e le funzioni di browsing non sono gran che…)

Ecco il RAG risolve questi problemi!

In pratica si creano delle sorte di "cassetti di memoria" (rappresentati come vettori numerici) ai quali il modello di linguaggio ha accesso e può usare per rispondere correttamente alle domande.

Ma come funziona?

  • Per iniziare bisogna creare degli “embeddings” della conoscenza aggiuntiva che si vuole dare al modello.

Questi non sono altro che vettori di numeri che “catturano” il significato del contenuto e costituiscono un “Vector Store”.

  • Ci sono poi due componenti, il Retriever e il Large Language Model (il modello).

Il Retriever prende la domanda dell’utente, capisce dove si trovano le informazioni per la risposta (dal VectorStore), e passa i risultati all’LLM.

  • Infine l’LLM prende il documento rilevante (identificato con una misura di “similarità”) e risponde in modo contestuale all’utente.

Se vuoi approfondire ti lascio un paper che raccoglie tutte le tecniche del 2023, è aggiornato a un paio di giorni fa!

→ Retrieval-Augmented Generation for Large Language Models: A Survey

Inoltre ti lascio un comodo cheatsheet con varie modalità avanzate per impostare una pipeline di RAG 👍

By Giacomo Ciarlini - Head of Content & Education - Datapizza

Altre news interessanti

🍕 Datapizza Selection 🍕

Il progetto Open Source

A proposito di RAG, ti consiglio di seguire Jerry Liu, il fondatore di Llama Index.

Llama Index è la più popolare libreria Python per il RAG, e offre tutta una serie di comode funzioni per caricare i tuoi documenti, collegare i modelli di linguaggio a database esistenti, e tanto altro ancora!

LlamaIndex - Data Framework for LLM Applications

Salvati questa risorsa

Abbiamo trovato questa risorsa fighissima. In pratica è un intero libro pensato per aiutarti a superare i colloqui per posizioni di Machine Learning Engineer.

Il libro si compone di due parti:

  • La prima parte fornisce una panoramica del processo di colloquio per i ruoli di Machine Learning, dei tipi di ruoli disponibili, delle competenze richieste per ciascun ruolo, dei tipi di domande che vengono spesso poste e di come prepararsi. Questa parte spiega anche la mentalità dei recruiter e che tipo di risposte cercano.
  • La seconda parte consiste in oltre 200 domande di conoscenza e pratica, ognuna contrassegnata dal livello di difficoltà.

E’ veramente una bomba, salvati il link!

Introduction to Machine Learning Interviews Book · MLIB

Dai un occhio a questo paper

Uscito circa una settimana fa, questa ricerca suggerisce 26 tecniche per migliorare l'output dei modelli di linguaggio come i vari GPT, Bard, Llama.

Più che scoperte innovative è un buon aggregato di tutti i "tricks" che sono venuti fuori in questi mesi.

Il loro uso in certi casi RADDOPPIA le performance, e in generale rende più robuste e prevedibili le risposte.

Dai un’occhiata!