Aufgaben
- Datenquellen anbinden und Pipelines für Batch und Streaming entwickeln
- Datenmodelle und Speicherstrukturen entwerfen
- Datenqualität automatisiert prüfen
- Dokumente und unstrukturierte Daten für RAG-Systeme aufbereiten
- Pipelines überwachen und Kosten optimieren
Arbeitsergebnisse
- Produktive Datenpipelines
- Datenmodell und Lakehouse-Struktur
- Automatisierte Qualitätsprüfungen
- Betriebs- und Schnittstellendokumentation
Kompetenzen
Typische Werkzeuge und Methoden
Wann Sie einen Data Engineer brauchen
Sobald ein KI-Vorhaben vom Prototyp in den Regelbetrieb soll oder mehrere Quellsysteme zusammengeführt werden müssen.
Data Engineer anfragenAbgrenzung
Der Data Engineer liefert Daten, der MLOps Engineer liefert Modelle in den Betrieb. In kleineren Vorhaben liegt beides oft bei einer Person.
Einsatz in Fachbereichen und Branchen
Beispielprojekte für Data Engineer
Data Engineer
Data Engineer für Dokumentenpipeline
- Frankfurt am Main
- 60 % remote
- Januar 2027
- 6 Monate, Vollzeit
Data Engineer für Lakehouse-Aufbau
- Karlsruhe
- 60 % remote
- Februar 2027
- 9 Monate, Vollzeit
Data Engineer für Streaming-Daten aus der Produktion
- Duisburg
- 40 % remote, überwiegend vor Ort
- Februar 2027
- 8 Monate, Vollzeit
Data Engineer für Kundendatenplattform
- Düsseldorf
- 60 % remote
- Januar 2027
- 6 Monate, Vollzeit