Projektdienstleister für KI-Rollen
  • Wissen

RAG oder Fine-Tuning: Wie Sprachmodelle Unternehmenswissen nutzen

Zwei Wege führen eigenes Wissen an ein Sprachmodell heran. Sie lösen unterschiedliche Probleme und brauchen unterschiedliche Experten.

Retrieval-Augmented Generation

Bei RAG wird zu jeder Frage passendes Material aus den eigenen Quellen gesucht und dem Modell als Kontext mitgegeben. Das Modell antwortet auf dieser Grundlage und kann die Quellen nennen.

Vorteile: Inhalte bleiben aktuell, Berechtigungen lassen sich abbilden, Antworten sind nachprüfbar. Die Qualität hängt vor allem an der Suche und an der Qualität der Dokumente.

Fine-Tuning

Beim Fine-Tuning wird ein Modell mit eigenen Beispielen weitertrainiert. Es lernt Stil, Format oder eine eng umrissene Fachaufgabe. Faktenwissen lässt sich so nur unzuverlässig vermitteln, und jede Aktualisierung erfordert ein neues Training.

Sinnvoll ist Fine-Tuning für wiederkehrende, klar definierte Aufgaben mit hohem Volumen, etwa Klassifikation oder Extraktion, und wenn ein kleines Modell ein großes ersetzen soll.

Die Faustregel

  • Das Modell soll etwas wissen: RAG
  • Das Modell soll sich anders verhalten: Prompt- und Kontextgestaltung, danach Fine-Tuning
  • Das Modell soll etwas tun: Agenten mit Werkzeugen

In der Praxis beginnen fast alle Vorhaben mit guter Kontextgestaltung und RAG. Fine-Tuning kommt später und gezielt.

Wer das baut

RAG-Systeme bauen RAG Engineer, AI Engineer und Data Engineer. Fine-Tuning ist Aufgabe von LLM Engineer oder NLP Engineer. Ob das Ergebnis besser ist als vorher, belegt der AI Quality & Evaluation Specialist.