Die Kriterien
- Qualität für die konkrete Aufgabe, gemessen an eigenen Testfällen
- Kosten pro Vorgang bei erwartetem Volumen
- Antwortzeit
- Datenverarbeitung: Ort, Vertrag, Verwendung der Eingaben
- Verfügbarkeit in der eigenen Cloud-Umgebung
- Fähigkeiten wie Werkzeugnutzung, lange Kontexte und Verarbeitung von Bildern
Eigene Tests statt Ranglisten
Öffentliche Vergleiche sagen wenig über die eigene Aufgabe. Fünfzig bis hundert reale Fälle mit erwarteten Ergebnissen genügen für einen belastbaren Vergleich.
Groß oder klein
Große Modelle für komplexe, seltene Aufgaben. Kleine Modelle für einfache Massenaufgaben. Häufig arbeiten beide zusammen: Das kleine Modell sortiert, das große bearbeitet die schwierigen Fälle.
Wechselfähig bleiben
Modelle werden in kurzen Abständen abgelöst. Eine Architektur mit zentralem Zugang und automatisierten Tests macht den Wechsel zur Routine.