CLAUDIO PIVA

Progettato e implementato piattaforme dati scalabili e pipeline per progetti enterprise e per il settore pubblico ad alto impatto.

- Presidenza del Consiglio dei Ministri: sviluppata una piattaforma dati event-driven rilasciata su Kubernetes, in grado di processare decine di migliaia di eventi al secondo. Utilizzati Scala, Apache Camel, Pekko Streams e NiFi per l’ingestione e l’instradamento di dati in tempo reale. Realizzate anche pipeline PySpark su formato Iceberg per carichi analitici, abilitate alla scalabilità e all’evoluzione dello schema.

- Armani: contribuito alla creazione di un data lake vendor-agnostic. Sviluppati template riutilizzabili di pipeline PySpark eseguibili su EKS, garantendo portabilità tra diversi cloud provider. Progettati workflow scalabili orchestrati con Airflow, utilizzando Glue come catalogo e Spark su EKS come motore di calcolo.

Comdata: gestito un Lakehouse in produzione su Databricks (Azure) con Scala e Delta Lake. Sviluppate e ottimizzate pipeline di ingestione, risolti colli di bottiglia prestazionali e realizzate dashboard Apache Superset orientate al business per supportare decisioni strategiche.

- Witboost – Internal Tooling: sviluppata una componente di provisioning in Python per l’automazione della piattaforma interna, integrata nei flussi CI/CD per semplificare deploy e versioning.

Lavoro svolto in team Agile con forte attenzione a clean architecture, performance e strategie ibride cloud/on-prem. Maturata esperienza approfondita in streaming, orchestrazione, tecnologie data lake e pipeline dati scalabili.

Completato un programma di internship full-time presso la Human Academy di NTT DATA, focalizzato sulle competenze fondamentali di data engineering.
Il percorso formativo ha coperto:

• Data management e data modeling, SQL e database relazionali
• Programmazione in Python e Scala
• Elaborazione distribuita con Apache Spark e Kafka
• Pratiche CI/CD e servizi cloud, con particolare focus su Google Cloud Platform (GCP)

Il programma ha previsto 3 mesi di formazione intensiva da remoto seguiti da 2 mesi di lavoro pratico su progetti reali presso NTT DATA.

Lezioni individuali di matematica e fisica per studenti delle scuole superiori.