Data Engineering AWS & Kubernetes

Start: Januar 2025

Dauer: 12 Monate

Auslastung: 3 - 4 Tage (188 PT)

Lokation: Remote & Frankfurt (95/5)

Projektbeschreibung:

Vor dem Start einer Baumaßnahme muss sichergestellt sein, dass dadurch keine geschützten Tierarten gestört oder getötet werden. Dafür sind im Zuge der Planung die vorkommenden Tierarten im Eingriffsgebiet zu erfassen. Dieser Prozess kann mehr als ein Jahr dauern. Im neuen Datenportal BARK des Kompetenzzentrums Artenkartierung werden die erhobenen Daten gepflegt und erstmals allen relevanten Bereichen des Kunden zentral zur Verfügung gestellt.

BARK ist die Datenbank für Artenvorkommen in Deutschland. Für Artenkartierer ist BARK eine Endezu-Ende Prozessunterstützung für die Artenkartierung, um schnell einheitliche und qualitätsgesicherte Kartierergebnisse zu erzeugen und verfügbar zu machen (auch visuell). Mit BARK können Umweltingenieure, Umweltbehörden und Bauprojektleiter, aus fachlich versierter Hand, einheitlich digitalisierte und dokumentierte Daten zu geschützten Tierarten abrufen und im Rahmen der Umweltplanung ggf. sofort mit den Schutzmaßnahmen beginnen.

Keine Baumaßnahme ohne Artenschutz. Vor Baubeginn muss sichergestellt sein, dass dadurch keine geschützten Tierarten gestört oder getötet werden. Dieser Prozess kann ein Jahr und länger dauern. Im neuen Datenportal BARK werden die Artenkartierungsdaten erhoben, qualitätsgesichert und erstmals allen relevanten Bereichen des Kunden zentral zur Verfügung gestellt. Somit können Projektleitungen direkt alle für ihre Baumaßnahme relevanten Daten zu geschützten Tierarten abrufen und ggf. im Rahmen der Umweltplanung sofort mit Schutzmaßnahmen beginnen. Infrastrukturmaßnahmen des Kunden können um bis zu einem Jahr beschleunigt werden. Zusätzlich werden Mehrfachkosten für die Beauftragung von Kartierungen auf gleichen Streckenabschnitten in voneinander unabhängigen Bauprojekten vermieden.

Aufgaben:

* Erstellung von APIs inkl. Integration der Daten in BARK
* Optimierung des Datenmodells für die Speicherung von Daten bei synchronen und asynchronen Prozessen
* Automatisierung der Datenprozesse
* Aufbau und Pflege der BARK-Datenbank auf AWS-Services (RDS)
* Aufbau und Pflege der Datenpipelines im AWS-gehosteten Kubernetes Service (EKS, SQS)
* Implementierung der Data Governance- und der IT-Sicherheitsrichtlinien
* Kooperation mit Entwicklern und Betriebsführern zur Sicherstellung der Umsetzung dieser im Anwendungsbetrieb
* Optimierung der Datenbank und der Datenverarbeitungsprozesse einschließlich CI/CD
* Erstellung von Datenberichten
* Fortlaufende Dokumentation von Prozessen und Anwendungen

Muss-Anforderungen:

* Erfahrung mit relationalen Datenbanken, Kubernetes und Container-Orchestrierung in AWS-Cloud-Umgebungen (4 Jahre)
* Erfahrungen in der Strategieentwicklung im Kontext Cloud Onboarding (4 Jahre)
* Erfahrung in der Verbindung georeferenzierter Daten/Datenprozesse mit relationalen Datenbanksystemen (PostGIS) (2 Jahre)

Soll-Anforderungen:

* Nachgewiesene Kenntnisse und Erfahrungen zur Optimierung von Datenbank, Datenverarbeitungsprozessen und Data-Services in cloudbasierten Anwendungen (4 Jahre)
* Kenntnisse in der Konzeption, Aufbau und Pflege von datengetriebenen Anwendungen auf Container-Basis (4 Jahre)
* Erfahrung als Data Engineer im Kontext von Datenplattformen und der Anbindung neuer Usecases durch API‘s (2 Jahre)
* Erfahrung in der Implementierung von Data Governance und Sicherheitsrichtlinien (IT und Datenschutz) im Kontext von Umwelt- und Naturschutz (1 Jahre)
* Erfahrungen in GitOps und CI/CD Implementierungen (3 Jahre)