Sandwiches & System-Prompts

Mit jedem Bissen ein bisschen mehr Wissen

Regelmässig treffen wir uns zum Brown Bag Lunch, um bei einem gemeinsamen Mittagessen – von Cudos gesponsert – neues Wissen zu teilen. Dabei geht es um alles, was uns als Mitarbeitende bewegt: Ob Reiseberichte aus Bolivien, Kryptowährungen oder die Kunst des Kaffeebrauens. Dieses Mal kehrten wir jedoch zu einem brandaktuellen Tech-Thema zurück: der produktiven Nutzung von KI, vorgestellt von unserem CTO Markus .

Unsere KI-Infrastruktur bei Cudos

Ein zentraler Aspekt ist der sichere Umgang mit Daten. Die Gratisversion von ChatGPT ist fürs Geschäftsumfeld tabu, da Anbieter diese Daten für das Training nutzen. Stattdessen setzen wir auf drei sichere Alternativen:

• Google Gemini: Unser bevorzugtes Tool für die meisten Aufgaben – effizient und kostengünstig.
• Open WebUI: Die Schnittstelle für unsere internen Anforderungen – verbunden mit unserer Wissensdatenbank und unserem Zeiterfassungstool.
• Lokale Instanzen: Für das Testen von Small Language Models (SLMs) wie Llama oder Gemma nutzen wir eine lokale Open-WebUI-Umgebung.

Die Kunst des Promptings

Gutes Prompting unterscheidet professionelle Nutzung von einer klassischen Google-Suche. Ein präziser Prompt ist oft umfangreich und fungiert als präzise Arbeitsanweisung. Markus betonte, dass ein perfekter Prompt bei uns idealerweise aus folgenden acht Elementen besteht:

1. Aufgabe: Was genau soll das Modell tun?
2. Kontext: In welchem Umfeld bewegen wir uns? Welche Hintergrundinfos sind nötig?
3. Rolle: In welcher Funktion antwortet das Modell? (z. B. als Senior Software Architect).
4. Tonalität: Wie soll die Antwort klingen? (z. B. sachlich, direkt oder erklärend).
5. Umfang: Wie lang soll die Antwort sein?
6. Format: Welche Struktur wird erwartet? (z. B. Markdown, JSON oder eine Tabelle).
7. Beispiele: konkrete Musterbeispiele verbessert die Treffsicherheit massiv.
8. Gedankenkette: Fordern Sie das Modell explizit auf, Schritt für Schritt zu denken, um logische Fehler bei komplexen Problemen zu vermeiden.

Kontextmanagement & Gemini Gems

Ein häufig unterschätzter Faktor ist der Kontextverlust. Lange Chats führen zu steigenden Kosten und verwirrten Modellen. Wir empfehlen daher, bei jedem Themenwechsel einen neuen Chat zu starten.

Besonders spannend für wiederkehrende Prozesse sind System-Prompts, wie z. B. die Gemini Gems. Diese spezialisierten Instanzen nutzen fest hinterlegte System-Prompts, die niemals aus dem Kontextfenster fallen. Im Gegensatz zu einem normalen Chatverlauf, bei dem wichtige Anweisungen mit der Zeit nach hinten rutschen und vom Modell "vergessen" werden, bleibt die Definition in einem Gem dauerhaft stabil.

Das ist besonders genial, wenn man immer wieder gleiche Tasks mit komplexen Basisinformationen oder spezifischen Cudos-Richtlinien ausführen muss. Man spart sich das mühsame Kopieren repetitiver Prompts und stellt sicher, dass die KI bei jeder neuen Anfrage sofort mit dem vollen Experten-Kontext startet. So verwandeln wir flüchtige Chats in zuverlässige, spezialisierte Werkzeuge für unseren Engineering-Alltag. Markus demonstrierte, wie diese Gems uns durch komplexe Abläufe führen können, um strukturiert alle nötigen Informationen für eine Aufgabe zu sammeln.

💡 Tipp: Nutzen Sie Gems, um Halluzinationen zu minimieren. Wir können dem Gem im System-Prompt explizit anweisen, nur dann eine Antwort zu generieren, wenn es eine verifizierbare Quelle dazu findet – andernfalls soll es ehrlich antworten, dass keine Informationen vorliegen.

Fazit

Wer die Klaviatur des Promptings beherrscht, steigert seine Effizienz im Coding und in der Konzeption massiv. Dank des Formats Brown Bag Lunch konnten wir dieses Wissen nicht nur effizient, sondern auch in bester Gesellschaft bei einem guten Sandwich aufsaugen. Mit den richtigen Tools und spezialisierten Gems passen wir die KI optimal an unseren Cudos-Workflow an.