La Serie YouTube
The Autonomous Data Engineer è una serie video che documenta il percorso di costruzione di un data engineer autonomo basato su AI. Ogni episodio esplora un aspetto diverso: dall'estrazione dei metadati alla navigazione autonoma delle pipeline, dal lineage tracking alla generazione di codice.
Non è un tutorial. È un diario di bordo — che mostra cosa funziona, cosa no, e cosa succede quando dai a un agente AI accesso reale a un ecosistema dati.
ade-core
ade-core
Agentic Data Engineering Framework
Un framework che permette agli agenti AI di lavorare autonomamente con le piattaforme dati, fornendo contesto strutturato attraverso metadati consolidati.
📊 Metadati multi-piattaforma
Estrae e consolida metadati da Databricks, Power BI e altre piattaforme in un catalogo unico e interrogabile.
🔗 Lineage tracking
Analizza il codice sorgente per identificare le dipendenze tra notebook, tabelle e misure DAX.
🔍 Ricerca full-text
Permette di cercare attraverso tutte le piattaforme con un'unica query, integrandosi con Claude via MCP Server.
🖥️ Web UI
Include un'interfaccia Streamlit per esplorare il catalogo visualmente, senza bisogno della CLI.
La Visione
Il data engineering moderno è frammentato: notebook su una piattaforma, modelli semantici su un'altra, pipeline ovunque. Ogni sistema ha i suoi metadati, la sua interfaccia, il suo linguaggio.
ADE nasce per risolvere questo problema — non con un altro dashboard, ma con un agente AI che capisce il contesto, naviga le dipendenze e lavora fianco a fianco con il data engineer.
L'obiettivo non è sostituire il data engineer. È dargli un collega che non dorme mai, non dimentica nulla, e può attraversare l'intero stack in secondi.