0011 airflow ui operateur zenml backend pipeline
ADR-11 — Airflow = UI opérateur, ZenML = backend pipeline¶
Décision : Airflow est l'interface opérateur (déclenchement, suivi, logs). ZenML est le backend pipeline (lineage, artefacts, versioning). Les DAGs Airflow appellent les pipelines ZenML.
Invariants :
- L'opérateur utilise UNIQUEMENT les launch__* DAGs pour déclencher les pipelines
- Les DAGs ZenML (pte__*) NE SONT PAS déclenchés directement par l'opérateur
- Airflow est l'UI de suivi temps réel (logs, statuts, trigger)
- ZenML est la source de vérité pour le lineage et les artefacts
- Le lancement depuis l'UI ZenML n'est PAS utilisé (fonctionnalité Pro)
Fichiers concernés : dags/launch__*.py, documentation/OPERATIONS.md