Volle Kostenkontrolle für KI in der Software Entwicklung

Ausgangslage und Ziel

Beim Einsatz verschiedener AI-Provider zeigt sich in der Praxis schnell eine grosse Herausforderung. Die Abrechnungen sind unübersichtlich und die Kosten steigen durch die immer intensivere Nutzung durch die Entwickler sowie die steigenden Preise rasant an. Was anfangs mit vermeintlich vernachlässigbaren Beträgen beginnt, summiert sich plötzlich im Projektalltag. 

Bislang war eine detaillierte Zuordnung, wer welche Kosten wofür verursacht hat, sehr aufwendig. Zudem konnten die Entwickler teilweise nicht einmal ihre eigenen Kosten abrufen. 

Unser Ziel war es daher, eine Software zu entwickeln, die diese Daten konsolidiert. Die Anwendung ruft die Ausgaben nach der kleinsten Abrechnungseinheit (Stream), welche die Provider zur Verfügung stellt (wie API Keys, User oder Workspace) ab. Pro Stream gibt es dann eine Konfiguration die festlegt, zu welchem Mitarbeiter und Projekt die Kosten gehören. 

Lösung

Die technische Umsetzung erfolgte als schlanke Webanwendung auf der bestehenden Cudos-Plattform. Diese Plattform stellt Authentisierung, Source Code Management, Build und Deployment für viele unserer internen Applikationen zur Verfügung, was den technischen Overhead für die einzelne Applikation stark reduziert.

Für das Frontend haben wir auf React gesetzt, um eine übersichtliche und intuitive Benutzeroberfläche für das gesamte Team zu schaffen. Das Backend wurde mit Node.js, Express und TypeScript realisiert. Die Anwendung ruft die Verbrauchsdaten automatisiert über die APIs der AI-Provider ab. Kern der Logik ist die präzise Zuordnung der Streams zu den internen Projekten und Workspaces. Für die Persistenz werden JSON Files eingesetzt.