Im AltfriedLAB wurde erprobt, ob ein kleiner Verein mit Rovo Studio einen Assistenten für Fragen zu den eigenen Vereinsunterlagen einrichten kann. Der Assistent soll dem Vorstand Informationen aus Confluence auffindbar machen und dabei die bestehenden Berechtigungen berücksichtigen.
Der Versuch umfasste sowohl die Einrichtung durch einen ChatGPT Work Agent als auch manuelle Funktionstests mit unterschiedlichen Berechtigungen. Die fachlichen Testdaten waren vollständig erfunden.
Ziel des Versuchs
Der Vorstandsassistent sollte:
-
alle Inhalte des Confluence-Bereichs „Förderverein St. Altfried e.V.“ als Wissensbasis nutzen;
-
Fragen zu allen darin dokumentierten Themen beantworten können;
-
Antworten möglichst mit Fundstellen belegen;
-
allgemeines Wissen, etwa zum Vereinsrecht, als allgemeine Information kennzeichnen;
-
Inhalte nur lesend nutzen und keine Seiten oder Daten ändern;
-
die bestehenden Zugriffsrechte der Nutzer berücksichtigen.
Die Wissensbasis wurde auf den einen Confluence-Bereich begrenzt. Andere Confluence-Bereiche und weitere interne Systeme gehörten nicht zum vorgesehenen Umfang.
Vorbereitung der Testdaten
Für den Versuch wurden ein Mitgliederverzeichnis, eine Jahresrechnung und ein Protokoll einer Jahreshauptversammlung eingerichtet. Darin sind Personen, Beträge, Konten, Vorgänge und Versammlungsthemen erfunden.
Diese vollständige Erfindung der Inhalte war wichtig: Nur Namen auszutauschen hätte echte Finanzzahlen, Beschlüsse oder Vereinsvorgänge nicht zu fiktiven Testdaten gemacht. Der Assistent selbst behandelt die Dokumente als die vorliegenden Vereinsunterlagen; die Kennzeichnung als Labordaten gehört zur Dokumentation des Versuchs.
Den Agenten mit einem Work Agent erstellen
Der Arbeitsauftrag für den Rovo-Assistenten wurde zunächst gemeinsam mit ChatGPT entwickelt und nachgeschärft. Anschließend übernahm ein ChatGPT Work Agent mit GPT-6 Astra und Computer Use die Einrichtung in Rovo Studio.
Der Agent führte die wesentlichen Schritte über die Oberfläche aus:
-
Namen und Beschreibung des Assistenten festlegen;
-
benutzerdefiniertes Wissen auswählen;
-
Confluence als Wissensquelle auswählen;
-
den Confluence-Bereich „Förderverein St. Altfried e.V.“ suchen und hinzufügen;
-
die gewünschten Anweisungen für die Antworten eintragen;
-
die Zugriffseinstellung konfigurieren und speichern.
[Screenshot einfügen: Rovo-Studio-Maske des Vorstandsassistenten mit Name, Beschreibung und Wissensquelle. Persönliche Angaben oder nicht benötigte Kontodetails vor der Veröffentlichung unkenntlich machen.]
Die Anmeldung verlangte wiederholt eine Zwei-Faktor-Freigabe; einzelne Schritte mussten bestätigt werden. Bei einer Zugriffseinstellung trat zunächst ein Speicherfehler auf. Die Option „Offen für alle Benutzer“ war noch aktiv. Der Work Agent erkannte das, korrigierte die Einstellung und speicherte sie. Der Nutzer konnte den Ablauf im Browser mitverfolgen.
Wissensumfang und Antwortverhalten
Der Agent erhielt den gesamten genannten Confluence-Bereich als Wissensquelle. Damit konnte er Fragen zu den darin vorhandenen Inhalten beantworten, statt auf ein vorab begrenztes Set von Einzelfragen oder Seiten beschränkt zu sein.
Die Anweisungen sollten dem Assistenten außerdem helfen, die Herkunft seiner Antworten klarzumachen: Aussagen über den Verein sollen sich auf Inhalte des Confluence-Bereichs stützen. Fehlt dort eine Information, soll der Assistent das sagen. Allgemeine Informationen, beispielsweise zum Vereinsrecht, soll er als allgemeines Wissen kennzeichnen und nicht als Regel oder Beschluss des Vereins ausgeben.
Der Rovo-Assistent wurde für Auskünfte eingerichtet. Er erhielt keine Werkzeuge zum Ändern von Seiten oder Daten.
Berechtigungen testen
Für den Berechtigungstest wurden zwei Situationen geprüft:
|
Situation |
Ergebnis |
|---|---|
|
Der Nutzer hatte keinen Zugriff auf den Rovo-Assistenten. |
Der Nutzer konnte den Assistenten nicht öffnen. |
|
Der Nutzer konnte den Assistenten öffnen, hatte aber keinen Zugriff auf die Seite mit dem Mitgliederverzeichnis. |
Der Assistent gab die Mitgliederzahl nicht preis und erklärte, dass die Information in einem internen Bereich steht. |
In beiden geprüften Fällen wurde die Zugriffsbeschränkung eingehalten. Der Test zeigt, dass sowohl der Zugriff auf den Assistenten als auch der Seitenzugriff in Confluence relevant sind. Die Seitenrechte wurden während des Versuchs nicht verändert.
Fachliche Funktion prüfen
Mit einem berechtigten Nutzer wurden dem Assistenten unter anderem diese Fragen gestellt:
|
Frage |
Antwort im Test |
|---|---|
|
Wie viele Mitglieder hat der Verein? |
20 Personen und eine Organisation |
|
Wie hoch ist die Summe der Mitgliedsbeiträge? |
441 Euro |
|
Welche Themen gab es bei der letzten Jahreshauptversammlung? |
Unter anderem das „Orchester aus sieben sprechenden Gießkannen“ |
Die Antworten stimmten mit den fiktiven Testunterlagen überein. Die Gießkannen waren absichtlich Teil des erfundenen Protokolls. Die Fragen prüften damit, ob der Assistent auch ungewöhnliche Angaben aus dem vorhandenen Wissen wiedergeben konnte.
Fazit
Die Einrichtung eines Rovo-Assistenten mit Rovo Studio war im Versuch einfach und ohne Programmierung möglich. Der ChatGPT Work Agent übernahm die Einrichtung über die Oberfläche; die fachlichen Antworten und das Verhalten bei eingeschränkten Berechtigungen wurden anschließend geprüft.
Für den Vorstand kann ein solcher Assistent alltägliche Rückfragen zu dokumentierten Informationen erleichtern. Entscheidend bleibt eine sorgfältige Pflege der Confluence-Seitenrechte. Die Tests waren erfolgreich; sie beziehen sich auf die hier geprüften Nutzer, Seiten und Fragen.