Projektdienstleister für KI-Rollen
  • Data Processing & Analysis
  • Rolle nach CWA 18398
  • Stark nachgefragt

Data Engineer

Der Data Engineer baut und betreibt die Pipelines und Plattformen, die KI-Systeme zuverlässig mit Daten versorgen. Ohne ihn bleibt jedes Modell ein Laborversuch.

Aufgaben

  • Datenquellen anbinden und Pipelines für Batch und Streaming entwickeln
  • Datenmodelle und Speicherstrukturen entwerfen
  • Datenqualität automatisiert prüfen
  • Dokumente und unstrukturierte Daten für RAG-Systeme aufbereiten
  • Pipelines überwachen und Kosten optimieren

Arbeitsergebnisse

  • Produktive Datenpipelines
  • Datenmodell und Lakehouse-Struktur
  • Automatisierte Qualitätsprüfungen
  • Betriebs- und Schnittstellendokumentation

Kompetenzen

  • Datenmodellierung
  • ETL und ELT
  • Cloud-Datenplattformen
  • Streaming
  • SQL
  • Python

Typische Werkzeuge und Methoden

  • Databricks
  • Snowflake
  • Azure Data Factory
  • dbt
  • Apache Kafka
  • Airflow

Wann Sie einen Data Engineer brauchen

Sobald ein KI-Vorhaben vom Prototyp in den Regelbetrieb soll oder mehrere Quellsysteme zusammengeführt werden müssen.

Data Engineer anfragen

Abgrenzung

Der Data Engineer liefert Daten, der MLOps Engineer liefert Modelle in den Betrieb. In kleineren Vorhaben liegt beides oft bei einer Person.

Einsatz in Fachbereichen und Branchen

Beispielprojekte für Data Engineer

Alle Projekte im Projektmarkt

Praxisbeispiele mit dieser Rolle