KI-Agenten im Unternehmen: So testen Sie einen ersten Ablauf

Einen Ablauf wählen, dessen Ergebnis sich prüfen lässt

Ein guter erster Test beginnt mit einer wiederkehrenden Aufgabe. Beispielsweise soll eine eingehende Serviceanfrage einer zuständigen Person zugeordnet werden. Das gewünschte Ergebnis ist dann eine Kategorie, ein Vorschlag für die Zuständigkeit und eine kurze Begründung. Ein allgemeiner Auftrag wie „Entlaste das Team“ ist zu ungenau.

Beschreiben Sie die heutige Arbeit, bevor Sie ein Werkzeug auswählen. Welche Informationen kommen an? Wo fehlen Angaben? Wer entscheidet bei einem Sonderfall? Diese Beschreibung wird später zur Grundlage Ihrer Testfälle. Für Handwerk und SHK könnten das etwa Wartungsanfragen, Störungen und Terminwünsche sein. Das Beispiel ist ein möglicher Testaufbau, keine Behauptung über einen Kundenauftrag.

Vorschlagen und Ausführen getrennt testen

In der ersten Phase erstellt die KI ausschließlich einen Vorschlag. Eine Person prüft ihn. Erst wenn die Ergebnisse im vereinbarten Rahmen passen, können einzelne Aktionen hinzukommen. Das reduziert den Umfang des ersten Projekts und macht Fehler sichtbar.

Freigaben gehören an Stellen mit echten Folgen: Nachrichten an Kunden, Änderungen im Kalender, Löschungen oder Ausgaben. Auch wenn ein Modell eine Aktion technisch ausführen kann, benötigt es dafür nicht automatisch das Recht. Die Sicherheitsdokumentation von OpenAI nennt unter anderem Risiken durch eingeschleuste Anweisungen und Datenabfluss bei Agentenabläufen. Unvertrauenswürdiger Inhalt aus einer E-Mail darf deshalb nicht die Regeln des Arbeitsablaufs ersetzen.

Bei KI-Besprechungsprotokollen mit Google Meet heißt das konkret: Erst Beschlüsse, Zuständigkeiten und Fristen bestätigen, danach Aufgaben übernehmen. Der Ablauf zeigt auch, wie bedingte Zusagen und doppelte Übernahmen geprüft werden. Welche Rechte ein ausführender Agent überhaupt bekommen sollte, steht in Gemini im Fremdsystem: was Agenten dürfen.

Normale Fälle und Ausnahmen zusammen prüfen

Stellen Sie ein kleines, datenschutzgerecht vorbereitetes Testset zusammen. Es sollte die normalen Fälle abbilden und zusätzlich schwierige Beispiele enthalten: fehlende Angaben, widersprüchliche Informationen, eine unpassende Datei oder eine absichtlich irreführende Anweisung. Legen Sie vorab fest, welches Ergebnis jeweils akzeptabel wäre.

Ein konkretes Beispiel liefert unser Ablauf zum Vorbereiten von Eingangsrechnungen mit KI: Dort werden aus Belegen prüfbare Daten, und Dubletten sowie widersprüchliche Beträge gehören ausdrücklich ins Testset.

Bei der Einarbeitung mit NotebookLM und prüfbaren Quellen geht es um eine andere Fehlerklasse: fehlende Regeln, überholte Anleitungen und Antworten, deren Belege die Aussage nicht tragen. Der Ablauf zeigt, wie Sie diese Fälle vorab prüfen.

• Fachliche Richtigkeit: Stimmen Kategorie, Antwort oder extrahierte Daten?
• Unsicherheit: Fragt das System nach oder gibt es offen an, wenn Informationen fehlen?
• Berechtigungen: Bleibt eine gesperrte Aktion auch dann gesperrt, wenn eine E-Mail dazu auffordert?
• Betrieb: Werden Zeitüberschreitungen, doppelte Eingänge und Ausfälle erkennbar behandelt?

Den gesamten Aufwand vergleichen

Messen Sie nicht nur, wie schnell eine Antwort erzeugt wird. Zur Bearbeitungszeit gehören Kontrolle, Korrekturen und spätere Rückfragen. Bei den Kosten zählen neben dem Modell auch Integration, Betrieb und die Pflege von Regeln oder Wissensquellen. Eine feste Ersparnis lässt sich vor diesem Vergleich nicht seriös versprechen.

Legen Sie eine Entscheidung nach dem Test fest: ausbauen, enger begrenzen oder beenden. Auch ein abgebrochener Versuch kann nützlich sein, wenn er zeigt, welche Daten oder Prozesse zuerst verbessert werden müssen. Unser Vorgehen für ein erstes Projekt setzt deshalb bei einer einzelnen Aufgabe an.

Neue Modelle ändern die Testfrage nicht

Die aktuellen KI-News zu Robotik und Astra zeigen, wie schnell sich die verfügbaren Systeme ändern. Ein neues Modell ist ein Anlass für einen Vergleich, kein Ersatz für die Prüfung am eigenen Ablauf.

Für einen Agenten, der auf interne Dokumente zugreift, sind nachvollziehbare Quellen und aktuelle Zugriffsrechte oft wichtiger als eine besonders flüssige Antwort. Mehr zu solchen Einsatzfeldern finden Sie bei internen Agenten und Company Brain. Sobald mehrere Beschäftigte mit dem Ablauf arbeiten, gehört eine kurze Einweisung dazu: Wie der Nachweis der KI-Kompetenz nach Artikel 4 aussieht, steht in einer eigenen Anleitung.