Introduzione

Dall’avvento di prodotti come ChatGPT, figure come quelle dell'AI Engineer stanno sempre di più emergendo.

In questo articolo vediamo cosa significa essere un AI Engineer, le competenze necessarie ed una roadmap dettagliata per intraprendere questo percorso professionale.

Inoltre vedremo anche le principali differenze con la figura del Data Scientst.

Indice

1. Che cos'è un AI Engineer?
2. Differenze con altre figure professionali
3. Roadmap per diventare AI Engineer
4. Risorse gratuite per la formazione
5. Tecniche e competenze chiave
6. Strumenti e framework essenziali
7. Prospettive future e opportunità di carriera
8. Conclusioni

Che cos'è un AI Engineer

Un AI Engineer, contrariamente ad altre professioni nel campo dell'intelligenza artificiale, non sviluppa nuovi modelli da zero, ma utilizza quelli già esistenti creati da aziende come OpenAI, Google, Meta o Anthropic.

Il lavoro principale di questa figura professionale consiste nell'integrare i Large Language Models (LLM) attraverso chiamate API e costruire applicazioni basate modelli di Intelligenza Artificiale. Questo approccio rappresenta un cambiamento significativo rispetto ai tradizionali ruoli nel settore dell'AI.

La particolarità di questo ruolo è che raramente si occupa di addestrare modelli da zero, come invece fa il Data Scientist. Piuttosto, il AI Engineer si concentra sull'engineering dei prompt, sulla costruzione di sistemi RAG e multiagentici, e ottenere le performance desiderate. Ma ora vedremo tutto bene nel dettaglio.

Differenze con altre figure professionali

Visto che lo abbiamo citato nel paragrafo sopra, per comprendere meglio il ruolo del AI Engineer, è fondamentale confrontarlo con il Data Scientst:

La principale differenza è che il AI Engineer si specializza principalmente nei modelli generativi, mentre il Data Scientist ha competenze più ampie che possono includere computer vision, analisi predittiva e altri campi dell'intelligenza artificiale.

L'AI Engineer si concentra su:

• Sviluppare applicazioni che utilizzano LLM attraverso API
• Testare e ottimizzare l'interazione con questi modelli
• Implementare tecniche di RAG (Retrieval Augmented Generation)
• Occasionalmente effettuare fine-tuning o allineamento di modelli preesistenti
• Creare agenti AI che possono eseguire sequenze di azioni per raggiungere obiettivi specifici

Vuoi approfondire il ruolo del Data Scientist? Leggi il nostro articolo dettagliato "Cosa fa un Data Scientst: Competenze, Responsabilità e Percorsi di Carriera" dove esploriamo tutte le sfaccettature di questa professione in continua evoluzione.

Roadmap per diventare AI Engineer

Arriviamo al punto fondamentale di questo articolo.

Diventare un AI Engineer richiede un percorso di studio specifico. Ecco una roadmap dettagliata che puoi seguire:

1. Comprendi le basi dell'AI generativa

Innanzitutto, è fondamentale capire come funzionano i modelli Transformer che sono alla base dei sistemi dell’AI generativa. Non è necessario approfondire tutti gli aspetti matematici, ma è importante comprendere i concetti ad alto livello.

Risorse consigliate:

• Paper sui Transformer (come il Paper Attention is All You Need)
• Video esplicativi sull'architettura dei modelli generativi
• Tutorial base su come questi modelli elaborano e generano testo
• Diffusion Models per approfondire la parte legata alla generazione di immagini e video

2. Esplora i modelli disponibili

In secondo luogo, familiarizza con i diversi modelli disponibili sul mercato:

• Modelli commerciali come quelli di OpenAI e Anthropic
• Modelli open weights come Mistral e Llama
• Soluzioni ibride che offrono modelli open weights su piattaforme commerciali
• Modelli open source come Qwen-1.5

È importante comprendere come si posizionano questi modelli nel mercato. Per esempio, OpenAI e Anthropic offrono i modelli più potenti, ma hanno anche versioni più leggere che sono meno costose e più veloci. Esistono anche alternative open weights meno costose come i modelli di Mistral AI.

3. Padroneggia il prompt engineering

Terzo, approfondisci le tecniche di prompt engineering. Quando si costruisce un'applicazione di AI, ci sono:

• Prompt di sistema che guidano il comportamento dei modelli
• Prompt che vengono effettivamente definiti per essere utilizzati nella risoluzione di compiti specifici

Tecniche avanzate includono:

• Chain of Thought
• Tree of Thought
• Self-reflection

Queste tecniche migliorano significativamente la qualità delle risposte dei modelli.

In questo link puoi trovare una delle migliori risorse in circolazione.

4. Impara RAG e Vector Database

Come quarto punto, familiarizza con il RAG (Retrieval Augmented Generation) e i Vector Database. Un Vector Database contiene rappresentazioni numeriche (vettori) di concetti e dati estratti da un insieme di documenti, che permettendo all'AI di accedere a informazioni che non possiede dal suo addestramento iniziale.

Per esempio, se vogliamo che l'AI acceda a documenti aziendali, dobbiamo trasformarli in vettori semantici che vengono poi organizzati in un Vector Database. Quando Il sistema AI (quello che comunemente viene chiamato RAG) dovrà rispondere a domande relative a questi documenti, recupererà i vettori pertinenti, li trasformerà in testo e formulerà una risposta.

Risorse consigliate:

• Framework LLM come LlamaIndex e langchain
• Framework per Agenti LLM come swarm e smolagents
• Contenuti di Jerry Liu (fondatore di LlamaIndex) su X

5. Comprendi le basi del finetuning e dell’allineamento

Infine, comprendi come funziona il fine-tuning. Ti consigliamo di avere anche una base pratica, quindi utilizza un modello pre-addestrato e continuare il suo addestramento su un dataset proprietario.

Ecco alcune risorse utili:

• Impara le basi del finetuning (una buona intro, una più approfondita)
• Capisci quando ha senso fare finetuning di un modello oppure no
• Tutorial per fare il finetuning di un modello (LLama)
• Reinforcement Learning from Human Feedback per la parte di allineamento
• Esercitazione pratica sull’allineamento

Strumenti e framework essenziali

Per lavorare efficacemente come Generative AI Engineer, è fondamentale conoscere questi strumenti:

• Huggingface (trovi migliaia di modelli open source)
• LlamaIndex (la base per fareil RAG)
• Qdrant (alternativa validissima per il RAG)
• DSPy (un nuovo approccio al “LLM programming”)
• Langchain (non usarlo, ma sfruttalo per vedere le implementazioni dei vari paper)
• Cheshire Cat (framework italiano per la costruzione di app con LLM)

Risorse per la formazione continua

Per rimanere aggiornato nel campo dell'AI, in questo nostro articolo trovi un sacco di risorse che ti aiuteranno nel tuo percorso nei prossimi anni!

Ah, e non dimenticarti di iscriverti a Commit, la nostra newsletter dove troverai anche qua un sacco di risorse ogni settimana!

Prospettive future e opportunità di carriera

Il settore dell'AI è in rapida crescita, con una domanda sempre maggiore di professionisti qualificati. Investire 3-6-9 mesi nello studio di questi temi può aprire numerose opportunità professionali nel prossimo futuro.

Le aziende tech, le startup e persino le aziende tradizionali stanno cercando esperti che possano integrare l'AI nei loro prodotti e servizi.

Se sei già pratico con questi argomenti, ecco delle posizioni aperte presenti sulla nostra piattaforma:

• Grafica Veneta - AI Engineer

• EY - AI Architect

• Almawave S.p.A. - AI Engineer

---

Conclusioni

Diventare un AI Engineer richiede un percorso di studio specifico ma accessibile, grazie alla crescente disponibilità di risorse gratuite online. La chiave è la comprensione dei concetti fondamentali, la pratica costante e l'aggiornamento continuo in un campo in rapida evoluzione.

Il momento migliore per iniziare questo percorso è adesso. Con la crescente adozione dell'AI in vari settori, la figura dell'AI Engineer sarà sempre più richiesta nel mercato del lavoro.

---

Scritto da Giacomo Ciarlini - Co-founder & CIO @datapizza