Projektdienstleister für KI-Rollen
  • Technologie

Open-Source-Modelle und Eigenbetrieb

Offene Modelle lassen sich im eigenen Rechenzentrum oder in einer europäischen Cloud betreiben. Das ist die Antwort auf Anforderungen an Datenhoheit, Kostenkontrolle und Unabhängigkeit.

Einordnung

Modelle mit offenen Gewichten stehen in vielen Größen zur Verfügung. Der Eigenbetrieb verlangt Kompetenz in Infrastruktur, Modell-Serving und Evaluation. Er lohnt sich bei sensiblen Daten, hohen Volumina oder spezialisierten Aufgaben, für die ein kleines Modell genügt.

Typische Vorhaben

  • Verarbeitung vertraulicher Daten ohne externe Dienste
  • Kleine, spezialisierte Modelle für Massenaufgaben
  • Fine-Tuning auf eigene Fachsprache
  • Ausweichlösung zur Verringerung der Abhängigkeit

Gefragte Kenntnisse

  • vLLM
  • Ollama
  • Hugging Face
  • GPU-Infrastruktur
  • Kubernetes
  • Fine-Tuning
  • Quantisierung

Rollen in diesem Umfeld