Leistung 03
LLM-Integration & Betrieb
Modelle greifen auf Ihre Systeme zu, die Anmeldung läuft über Ihren Identity Provider. Den Betrieb übernehmen wir.
Problem
Woran es hängt
Der Prototyp überzeugt in der Vorführung. Danach beginnt die Arbeit: Anmeldung über den vorhandenen Identity Provider, Budgets je Kostenstelle, ein Bestandssystem ohne dokumentierte Schnittstelle, ein Anbieter, der sein Modell abkündigt. Viele Vorhaben bleiben hier stehen. Der Nachweis ist erbracht, den Betrieb übernimmt niemand.
Vorgehen
Wie wir arbeiten
- 01
Anbindung schneiden
Wir lesen, wo Lesen genügt. Ein Bestandssystem, das seit zwanzig Jahren läuft, wird für eine Auskunftsfunktion nicht geändert.
- 02
Modellzugriff abstrahieren
Ein Modell ist eine austauschbare Komponente. Wer den Anbieter fest verdrahtet, zahlt bei der nächsten Abkündigung mit einem Umbau.
- 03
Kosten sichtbar machen
Obergrenzen je Team und je Vorgang, Zuordnung zur Kostenstelle, Prognose. Ein Betrieb ohne Obergrenze wird irgendwann abgeschaltet, und zwar von der Buchhaltung.
- 04
Beobachtbarkeit einbauen
Protokollierung je Schritt, Ablaufzeiten, Fehlerquoten. Ohne diese Zahlen ist jede Aussage über die Qualität eine Vermutung.
- 05
Betrieb übernehmen
Bereitschaft, Aktualisierungen, Modellwechsel, Kapazität. Auf Wunsch übergeben wir an Ihr Team, mit Dokumentation und Einarbeitung.
Typische Architektur
Wie so ein System aufgebaut ist
Die Modellvermittlung sitzt in der Mitte. Keine Anwendung muss wissen, welches Modell gerade läuft. Ein Wechsel kostet eine Konfiguration, keinen Umbau.
Fachanwendungen Identity Provider
│ │
└───────┬───────────────┘
▼
┌───────────────────────┐
│ InsideAI │
│ ├ Anmeldung, Rollen │
│ ├ Budgets je Stelle │
│ ├ Protokollierung │
│ └ Modellvermittlung │
└───┬───────────────┬───┘
│ │
▼ ▼
Europäische Eigenbetrieb
Anbieter- (On-Premises,
Endpunkte eigene Gewichte)
│ │
└───────┬───────┘
▼
Bestandssysteme
(MQ, REST, OData, Datei)Technologien
Was wir dafür einsetzen
- InsideAI
- Keycloak
- Kafka
- IBM MQ
- OpenTelemetry
- Docker / Kubernetes
Die Auswahl richtet sich nach Ihrer Umgebung. Produkt- und Anbieternamen sind Marken der jeweiligen Inhaber; ihre Nennung weist auf den Einsatz hin, nicht auf eine geschäftliche Verbindung.
Passende Projekte
Wie das in einem Projekt aussieht
Kontakt
LLM-Integration & Betrieb in Ihrem Haus
Schildern Sie Ihre Ausgangslage. Wir sagen Ihnen, welcher Zuschnitt dazu passt.