Data Engineering – Dagster

Start: März 2025
Dauer: 22 Monate +
Auslastung: 2 - 3 Tage pro Woche
Lokation: Remote & Berlin nach Absprache (95/5)

Aufgaben:

* Beratung bei der Strukturierung der Implementierung von Datenstrecken mit der Python-Open-Source Bibliothek dagster hinsichtlich der Nutzung und Umsetzung der verfügbaren Features (z. B. sensors, partitions etc.) inkl. Dokumentation (inkl. „Hands-On"-Unterstützung durch Beitragen von Programmcode)

* Beratung beim Einsatz von dagster-Intergrationen, insb. dagster-dbt, embedded-elt mit dlt (inkl. „Hands-On"-Unterstützung durch Beitragen von Programmcode)

* Umsetzung beim automatisierten Deployment von dagster code auf einem Kubernetes Cluster (CI/CD)

* Entwicklung von dagster-Komponenten wie Resources, Assets, Sensors etc. gemäß Kundenanforderungen inkl. Dokumentation

* Durchführen von Code-Reviews

* Teilnahme an den koordinierenden Meetings der Entwickler des Projektes (Planning, Dailies/Scrums, Retros)

Muss-Anforderungen:

* Dagster Experte - Erfahrung im Aufbau und der Umsetzung komplexer dagster-Projekte (>2 Jahre)

* Python-Expertise (>5 Jahre)

* Data Engineering-Erfahrung (>5 Jahre)

* Erfahrung mit komplexen dbt Projekten mit dbt-core (>3 Jahre)

Soll-Anforderungen:

* Erfahrung mit Projekten auf AWS-Infrastruktur

* Erfahrung im Einsatz von containerisierten open-source-Orchestratoren bei Aufbau und Betrieb von Datenstrecken durch Entwickler-Teams (Airflow oder dagster) (1 Jahr)

* Know-How im agilen Projektmanagement z. B. IAPM/CAPM, PMI Agile Certified Practitioner, Scaled Agile Framework

* Erfahrung mit komplexen dbt Projekten mit dbt-core (3 Jahre)

* Deutsch in Wort und Schrift (C2 oder Muttersprache)