Dieser Demonstrator bietet eine Experimentierumgebung, in der man die Effekte von Green Prompting in Aktion sehen und sich ausprobieren kann.
Die Idee & Story: Eine fiktive Handwerksfirma, „Tischlerei Holzwurm, mit Daten, Produkten und typischen Herausforderungen (z.B. Upskilling der Auszubildenden, lange Suchzeiten, Bedienerfehler an den Maschinen) beginnt, ihre, mitunter sensiblen Daten mit Hilfe von generativer KI effizienter zu nutzen.
Technischer Aufbau:
Es wurden zwei Hardware-Lösungen verwendet: Ein leistungsfähiger KI-Laptop (linuxbasiert, 24GiB-Grafikleistung/GPU) sowie ein alter Laptop
(Thunderbolt 3-Anschluss, Windows 11) mit leistungsfähiger, externer Grafikkarte (32GiB-Grafikleistung/GPU) dienen als Computer, auf denen die KI-Plattform aufgebaut wurde. Beide Systeme kosten unter 5.000€ in der Anschaffung (Stand Mai 2026).
Mithilfe kostenfreier Open-Source-Programme besteht der Demonstrator aus zwei Dashboards: 1. Prompteingabe und Vergleich: In einem klassischen Chatbotumfeld (basierend auf dem kostenfreien System Open WebUI) kann man mehrere lokal-laufende kleine Sprachmodelle parallel mit dem gleichen Prompt „füttern“.
Die Antworten (und deren Qualität) können so direkt verglichen werden.
2. Vergleich der „grünen Parameter“: Im Dashboard für die Messungen, das ebenfalls auf Open WebUI Basis aufgebaut wurde, werden die Prompts in Echtzeit miteinander verglichen, anhand von den Werten „Stromverbrauch der GPU“, „verwendete Token“ (Kostenfaktor bei der Nutzung proprietärer KI-Systeme), „Latenzzeit“ (Dauer, bis die Antwort vorlag).
So können verschiede Use-Cases getestet werden, man kann die Praxis-Tipps aus dem Green Prompting Guide (https://www.digitalzentrum-zukunftskultur.de/material/green-prompting-guide-15457/) testen, z.B. Prompttechniken wie z.B. Batch-Prompting, Masterprompt, und man kann sehen, für welche Fälle sich kleine Sprachmodelle eignen.
Diese haben gleich mehrere Vorteile: Die kleinen Sprachmodelle sind klein genug, um sie ohne Internetanbindung auf diesen vergleichsweise energiesparenden Grafikkarten laufen zu lassen – somit erhält man eine „grüne“ und sichere, souveräne Lösung.
Die Tests finden im Universum der fiktiven „Tischlerei Holzwurm“ statt, sodass kleine und mittlere Unternehmen realistische Anwendungsfälle wie z.B. das Durchsuchen von technischen Anleitungen oder die Suche nach Informationen in den Aufträgen sehen können.