09/04/2024Il Problema dell’AI: Non ci sono abbastanza Data Engineer 

Negli ultimi anni ho avuto la possibilità (e la fortuna) di poter osservare da vicino l’evoluzione del mercato del lavoro Tech in Italia.

Ho parlato a lungo con tecnici, innovation managers e team leaders delle unità “Dati” delle aziende.

E quindi?

Da startup, a PMI, a multinazionali, emerge un pattern ricorrente legato alle skill che servono al mondo AI e Dati per “funzionare bene”.

In breve: non ci sono abbastanza Data Engineer 😬

Ma facciamo un passo indietro.

Se non lo sai, una “Unità Dati” di un’azienda è in genere composta da almeno:

👉 Data Engineer 👉 Data Scientist 👉 Business / data analyst

Ora, ogni situazione è diversa e può anche cambiare molto la configurazione del team, ma questa è una buona approssimazione.

Il flusso di lavoro del team funziona più o meno così:

📍 Il Data Engineer si occupa di esaminare grandi moli di dati grezzi che le aziende producono e renderli “utilizzabili” sotto forma di dataset puliti, organizzati e aggiornati.

📍 Il Data Scientist prende questi dati e li analizza usando tecniche statistiche e modelli matematici, da semplici regressioni lineari alla creazione di complessi modelli predittivi.

📍 Il Business / Data Analyst si occupa poi assieme al Data Scientist di interpretare questi dati e presentarli al business e ai managers, in modo da suggerirli azioni data driven - e quindi sensate!

Ora, se le ultime due figure sono molto ricercate ma anche piuttosto “semplici” da trovare (a patto di avere un budget adeguato), un grosso problema sta nel fatto che le figure del Data Engineer proprio non si trovano.

Le posizioni da Data Engineer sono quelle a più alta crescita nel tech (dal 2020 ad oggi):

Ma ha senso se ci pensi.

I dati sono l’ingrediente fondamentale per il Machine Learning e l’AI.

Abbiamo quindi pensato di lasciarti tutti gli strumenti per iniziare questa carriera, che darà taaante soddisfazioni e sarà sempre più richiesta.

Partiamo dalle competenze base più richieste:

Come vedi Python, SQL e il Cloud sono le “conoscenze base” più richieste.

Però il Data Engineer si avvale spesso anche di framework e tools che lo aiutano a gestire grandi quantità di dati in modo scalabile e robusto.

Strumenti come Spark, Airflow, Kafka sono considerati fondamentali da conoscere!

Ma come sai a noi di Datapizza piace andare sul pratico, e ti lasciamo quindi delle ottime risorse per iniziare il tuo percorso nel mondo della Data Engineering.

Se parti da zero ti consiglio per prima cosa di prendere dimestichezza con Python (almeno le basi).

Poi, secondo me la cosa sensata se vuoi ottimizzare il tempo per diventare “impiegabile” è seguire Il nuovo Master Professionale di Profession.ai, appena uscito.

Ho studiato nel dettaglio il programma del corso e ha stra senso, è esattamente l’insieme di competenze e abilità che vorrei vedere in un Data Engineer (e che gli suggerirei di imparare).

E dopo il corso?

Sarai ben posizionato per ottenere facilmente una posizione da Data Engineer Junior (ne abbiamo anche spesso anche su datapizza.tech 🍕)

Durante il tuo studio, assicurati di portarti dietro anche queste risorse avanzate, secondo noi e i ragazzi di Profession sono il top (e sono TUTTE gratuite):

📍 Fundamentals of Data Engineering (ottima referenza per le basi) 📍 The Data Warehouse Toolkit (must have secondo me) 📍 Data Engineer Handbook (ricette pratiche e tecniche avanzate) 📍 Data Engineering Design Pattern (soluzioni ricorrenti a problemi comuni) 📍 Designing Data Intensive Application (per situazioni “al limite”) 📍 Data Engineering for Realtime Data Systems (altra bomba)

Nota sullo sponsor di questo numero di Commit:

Quando i ragazzi di Profession.ai ci hanno chiesto di raccontare questo nuovo corso ero super contento.

FINALMENTE un corso sensato sulla Data Engineering, pratico e professionalizzante.

Onesto, io ho studiato tantissime cose da autodidatta, e altrettante volte sono caduto nel “Tutorial Hell”, dove ti trovi spaesato mentre cerchi di imparare.

Questo percorso risolve proprio questo problema, e i loro coach sono sempre pronti e rispondere ai tuoi dubbi e alle tue domande.

Kudos ai ragazzi di Profession.ai per averlo preparato.

Bene, per oggi mi fermo qua, è il numero più lungo di Commit che ho mai scritto ma spero ci troverai informazioni utili 🙂

Buono studio!

E questo meme contiene molta verità 😂

Vieni sul nostro Discord, trovi tutti i membri del team e migliaia di professionisti e appassionati di Tech, Data Science e AI! 🍕

Entra nel Discord!

[ Fonti: InterviewQuery, Statista, Data Nami, DevGenius, Medium, GitHub ]

By Giacomo Ciarlini - Head of Content & Education - Datapizza

Altre news interessanti

🍕 Datapizza Selection 🍕

Il progetto Open Source

Stiamo iniziando a provare Rivet, un tool fighissimo per costruire applicazioni che usano i modelli di linguaggio. Hanno anche appena aggiunto l’integrazione con Claude 3!

È opensource e spacca, provalo.

Probabilmente ci faremo dei tutorial su YouTube 👀