Die Aufgabe ist der Maßstab.
Ein hoher Modellpreis ist kein Qualitätsnachweis. Ein niedriger Preis ist keine Ersparnis, wenn Antworten unbrauchbar sind oder viele Wiederholungen brauchen. Ein Vergleich sollte deshalb dieselben repräsentativen Aufgaben und dieselben Erfolgskriterien verwenden.
Was ihr gemeinsam messen solltet.
| Qualität | Wie viele Ergebnisse erfüllen die vorab festgelegten Kriterien? |
|---|---|
| Tatsächliche Kosten | Was kosten Modellaufrufe, Wiederholungen, Werkzeuge und der laufende Betrieb zusammen? |
| Antwortzeit | Wie lange wartet der Nutzer auf ein brauchbares Ergebnis, auch bei höherer Last? |
| Fehlerfälle | Was passiert bei Anbieterfehlern, Abbruch oder ausgeschöpftem Kontingent? |
Wo Modellrouting ansetzt.
Unterschiedliche Aufgaben benötigen unterschiedliche Fähigkeiten. Routing kann eine einfache Anfrage einem weniger aufwendigen Modell zuordnen und komplexere Aufgaben anders behandeln. Ob das bei euch spart, hängt von Aufgabenmix, Antwortqualität und tatsächlichem Verbrauch ab.
So bereitet ihr den Vergleich vor.
- Echte Aufgaben auswählen
Verwendet freigegebene oder anonymisierte Beispiele aus eurem Ablauf.
- Den bisherigen Weg festhalten
Dokumentiert Modelle, Einstellungen, Wiederholungen und tatsächlich berechnete Kosten.
- Ergebnisse nach denselben Kriterien bewerten
Die Bewertung sollte unabhängig davon erfolgen, welches System eine Antwort erstellt hat.
- Erst dann über den Ausbau entscheiden
Vergleicht Kosten je brauchbarem Ergebnis und nennt die Grenzen des Versuchs.
Für HACCA beginnt dieser Vergleich im API-Pilot. Eine allgemeine Einsparquote für jedes Unternehmen lässt sich daraus nicht vorab ableiten.