Freiberuflicher Dateningenieur (PowerBI-Support und Wissenstransfer zu Databricks) m/w/d
Dieses Jobangebot ist nicht länger verfügbar.
München, Deutschland |
Freelance
Wir suchen einen erfahrenen Berater für Data Engineering und Business Intelligence zur Unterstützung der Industrialisierung und Skalierung lokaler Datenpipelines und Analyselösungen in einer Databricks-Umgebung auf AWS.
Das Projekt vereint Data Engineering, MLOps, Datenmodellierung, Power-BI-Entwicklung, Qualitätssicherung und Wissenstransfer. Der Berater wird bestehende Proof-of-Concept-Arbeiten in robuste, produktionsreife Pipelines umwandeln und die daraus gewonnenen Erkenntnisse durch zuverlässige und intuitive Power-BI-Berichte zugänglich machen.
Die Rolle ist sehr praxisorientiert und erfordert jemanden, der den gesamten Lieferzyklus abdecken kann – von der Überprüfung bestehender Python-Notebooks und dem Entwurf von Datenmodellen bis hin zur Bereitstellung von Produktionskomponenten, der Dokumentation der Lösung und der Befähigung des internen Teams, die Verantwortung zu übernehmen.
Zu besetzendes Projekt: Freiberuflicher Data Engineer (Power BI-Support und Wissenstransfer auf Databricks) m/w/d
Branche: Biotech
Fähigkeiten: Data Engineer, PowerBI
Projektstart: 01.09.2026
Projektdauer: 30.12.2026
Einsatzort: München, Deutschland
Projektziele
Die Hauptziele sind:
- Integration neuer Datenquellen in die bestehende Pipeline-Architektur.
- Bestehende Proof-of-Concept-Lösungen für den produktiven Einsatz zu industrialisieren.
- Aufbau skalierbarer, gut strukturierter Datenaufbereitungsschichten für Power BI.
- Verbesserung der Leistung und Zuverlässigkeit von Berichtsdatenmodellen.
- Einführung von Kontrollen zur Datenqualität und Überwachungsmechanismen.
- Stärkung der Metadaten-Governance und der Datenkatalogisierung in Databricks.
- Bestehende Power-BI-Berichte optimieren und Analyseergebnisse in klare geschäftliche Erkenntnisse umsetzen.
- Vermitteln Sie Wissen und Best Practices an die internen Data-Science- und Data-Engineering-Teams.
Hauptaufgaben
Data Engineering und Pipeline-Entwicklung
- Entwurf, Entwicklung und Implementierung optimierter, kuratierter Schemata.
- Integration zusätzlicher Datenquellen in die bestehende Architektur.
- Python-Notebooks überarbeiten und Proof-of-Concept-Lösungen in Produktionspipeline-Strukturen implementieren.
- Entwicklung einer robusten Pipeline-Orchestrierung und Planung von Jobs.
- Verwalten Sie die Produktionsfreigabe der entwickelten Komponenten.
MLOps und Industrialisierung
- Konfigurieren Sie MLflow für die Modellverfolgung und das Lebenszyklusmanagement.
- Anwendung produktionsreifer Bereitstellungsprinzipien auf Komponenten im Bereich des maschinellen Lernens.
- Integrieren Sie die Ergebnisse von Proof-of-Concept-Projekten in das zentrale Berichtsdatenmodell.
- Stellen Sie sicher, dass die entwickelten Lösungen wartbar, testbar und skalierbar sind.
Datenmodellierung und Power BI
- Entwerfen und erstellen Sie Datenaufbereitungsschichten, die für die Datenübernahme in Power BI optimiert sind.
- Entwerfen Sie effiziente Berichtsdatenmodelle und kuratierte Schemata.
- Optimieren Sie die Abfrageleistung und passen Sie die Modelle hinsichtlich Geschwindigkeit und Skalierbarkeit an.
- Entwerfen und implementieren Sie erweiterte Visualisierungen innerhalb der bestehenden Power BI-Umgebung.
- Konfigurieren und testen Sie die Sicherheit auf Zeilenebene, um einen sicheren Zugriff auf die Daten zu gewährleisten.
- Präsentieren Sie komplexe Analyseergebnisse mithilfe intuitiver Dashboards für Geschäftsinteressenten.
Qualität, Governance und Dokumentation
- Implementieren Sie Testprotokolle, um Probleme mit der Datenqualität und Datenabweichungen zu erkennen.
- Schützen Sie Pipelines vor unerwarteter oder ungültiger Datenaufnahme.
- Pflegen Sie Metadaten im Databricks-Datenkatalog.
- Wenden Sie geeignete Klassifizierungen der Datensensibilität an.
- Dokumentieren Sie das Datenmodell, die Architektur, die Implementierungsdetails und Beispielabfragen.
- Pflegen Sie die technische Dokumentation in Confluence und die Markdown-basierte Code-Dokumentation in den Repositories.
Zusammenarbeit und Wissenstransfer
- Planen und verfolgen Sie die Arbeit mithilfe von Jira.
- Nehmen Sie an internen Überprüfungen teil, um Qualität und Abstimmung sicherzustellen.
- Arbeiten Sie eng mit Datenwissenschaftlern, Dateningenieuren, der Projektleitung und den Stakeholdern aus dem Geschäft zusammen.
- Schulen Sie das interne Team in Bezug auf Implementierungsdetails, Best Practices und operative Abläufe.
- Unterstützen Sie die langfristige Eigenständigkeit und Eigenverantwortung der internen Teams.
Profil des idealen Beraters
Der ideale Kandidat ist ein erfahrener, praxisorientierter Experte, der fundierte Kenntnisse im Bereich Softwareentwicklung mit praktischer Erfahrung in der Umsetzung von Analyselösungen verbindet. Er bewegt sich souverän zwischen Programmierung, Datenarchitektur, Produktionsbetrieb, Dashboards und der Kommunikation mit Stakeholdern.
Der Berater sollte Folgendes mitbringen:
- Mehrjährige Berufserfahrung in der Python-Entwicklung.
- Umfassende praktische Erfahrung mit Databricks auf AWS.
- Fortgeschrittene PySpark-Kenntnisse für die Verarbeitung großer Datenmengen.
- Fundierte Kenntnisse moderner Prinzipien des Data Warehousing und der Datenmodellierung.
- Nachgewiesene Erfahrung in der Konzeption kuratierter Schemata und orchestrierter Datenpipelines.
- Fundierte Power-BI-Kenntnisse, einschließlich Datenmodellierung, Visualisierung, Abfrageoptimierung und Row-Level-Security.
- Praktische MLOps-Erfahrung, einschließlich MLflow und der Orchestrierung von Produktionspipelines.
- Erfahrung mit Git, agilen Arbeitsabläufen, Jira und kollaborativer Softwareentwicklung.
- Ein strukturierter Ansatz für Tests, Dokumentation und Daten-Governance.
- Die Fähigkeit, komplexe technische Themen klar zu erklären und Wissen effektiv weiterzugeben.
Referenznummer: 17733
Branche: Biotech
Beginn des Projekts: 01.09.2026
Dauer: 30.12.2026
Anstellungsart: Freelance
Kontakt
Luca Furler (DE)