🤖

The Autonomous Data Engineer

Quando l'AI diventa il tuo collega nel data engineering

Una famiglia di prodotti open source — e una serie YouTube — per portare gli agenti AI nell'analytics engineering su Databricks, Microsoft Fabric e Power BI.

La famiglia ADE

L'analytics moderno è frammentato: notebook su una piattaforma, modelli semantici su un'altra, pipeline ovunque. Due prodotti open source affrontano le due domande che ogni team continua a porsi — cosa esiste e come lo gestiamo — e sono costruiti per essere guidati dagli agenti AI, non solo letti dalle persone.

🧬

ade-catalog

Catalogo di metadati analytics cross-platform

Mappa l'intero panorama analytics — cosa esiste e come è connesso. Estrae metadati da più piattaforme, costruisce il lineage cross-platform che gli strumenti nativi non offrono, ed espone tutto tramite una web UI navigabile e un server MCP per gli agenti AI. (Precedentemente ade-core.)

📊 Metadati multi-piattaforma

Estrae e consolida metadati da Databricks, Power BI e Microsoft Fabric in un unico catalogo interrogabile.

🔗 Lineage cross-platform

Costruisce il grafo del flusso dati tra i sistemi — Databricks → Fabric → Power BI — per una vera impact analysis, non un lineage chiuso nella singola piattaforma.

🤖 Server MCP per gli agenti

Permette agli agenti AI di interrogare catalogo, lineage e impatto direttamente — ricerca, dettaglio oggetti, lineage e statistiche via MCP.

🖥️ Web UI

Un'interfaccia pulita per esplorare il catalogo visualmente, con deployment sia come servizio gestito sia sulla tua infrastruttura.

Python Databricks Power BI Fabric MCP Server Open source
Vedi su GitHub →
⚙️

ade-ops

Framework operativo per team analytics multi-piattaforma

La maggior parte degli strumenti ti consegna un esempio e ti saluta. ade-ops chiede cosa hai, poi imposta il workflow per gestirlo — mantenendo notebook, modelli semantici e report sincronizzati tra dev, cert e prod da un'unica fonte di verità.

📦 Unica fonte di verità

Un solo src/ canonico con trasformazioni a overlay per ogni ambiente — niente copie per-ambiente mantenute a mano.

🛡️ Diff prima del push

I workspace remoti sono autoritativi. Ogni promozione è visibile — pull, diff, conferma, push. Nessuna sovrascrittura silenziosa.

🧭 Onboarding per scenari

Chiede com'è il tuo setup — solo Databricks, Databricks → Power BI, oppure Databricks → Fabric → Power BI — e imposta ciò che serve.

👥 Operatività umano + agente

Usabile da una semplice CLI, ma dà il meglio in coppia con un assistente AI che ne guida le skill.

Python Databricks Fabric Power BI CLI + Skills Apache 2.0
Vedi su GitHub →

La serie YouTube

The Autonomous Data Engineer è una serie video che documenta il percorso di costruzione di un data engineer autonomo basato su AI. Ogni episodio esplora un aspetto diverso: dall'estrazione dei metadati alla navigazione autonoma delle pipeline, dal lineage tracking alla generazione di codice.

Non è un tutorial. È un diario di bordo — che mostra cosa funziona, cosa no, e cosa succede quando dai a un agente AI accesso reale a un ecosistema dati.

Guarda su YouTube →

La visione

Ogni sistema analytics ha i suoi metadati, la sua interfaccia, il suo linguaggio. ADE nasce per colmare questo divario — non con l'ennesimo dashboard, ma con prodotti che un agente AI può guidare: uno che capisce cosa esiste lungo tutto lo stack, e uno che lo gestisce in sicurezza.

Insieme, ade-catalog e ade-ops formano un layer continuo di operational intelligence sul patrimonio analytics di un'organizzazione. Già in produzione presso team dati enterprise.

L'obiettivo non è sostituire il data engineer. È dargli un collega che non dorme mai, non dimentica nulla, e può attraversare l'intero stack in secondi.

← Torna ai progetti