Wizard-of-Oz-Test (Wizard-of-Oz-Prototyping)
Nutzende sehen einen funktionierenden Service. Hinter dem Vorhang erledigt ein Mensch die Arbeit von Hand.
- Zeit
- 60 Min.
- Personen
- 3–5
- Art der Arbeit
- Testen
Kurz gesagt
Ein Wizard-of-Oz-Test zeigt, ob ein Service funktioniert, bevor die Technik gebaut wird. Nutzende arbeiten mit einer einfachen Oberfläche, etwa einem Chatfenster oder Formular, während ein verborgenes Teammitglied die Antworten oder Ergebnisse von Hand erzeugt. Eine Lernfrage festlegen, einige Sitzungen durchführen, das Geschehen festhalten und den Teilnehmenden danach erklären, wie es funktioniert hat.
Worum es geht
Der Name stammt aus dem Film, in dem sich ein mächtiger Zauberer als Mann hinter einem Vorhang entpuppt. Beim Wizard-of-Oz-Test sieht die Nutzerin etwas, das wie ein funktionierendes System aussieht: einen Chat-Assistenten, ein intelligentes Formular, eine automatische Empfehlung. Tatsächlich liest ein Teammitglied, der „Wizard“, jede Eingabe und tippt oder wählt die Antwort in Echtzeit.
So lassen sich Services testen, deren Bau teuer wäre, etwa alles mit künstlicher Intelligenz, komplexen Regeln oder Daten aus mehreren Systemen. Man lernt, was Nutzende tatsächlich fragen, welche Antworten sie brauchen und wie sie reagieren, bevor Monate in die Entwicklung fließen. Weil die Nutzerin während der Sitzung nicht weiß, dass ein Mensch antwortet, müssen Einwilligung und Offenlegung sorgfältig gehandhabt werden. Teilnehmenden vorab sagen, dass sie eine frühe Fassung testen, keine echten personenbezogenen Daten erheben und den Aufbau am Ende erklären.
Wann sie passt
Geeignet, wenn
- Wenn ein Chatbot, ein intelligenter Assistent oder eine automatisierte Beratung erwogen wird und klar werden soll, was Nutzende fragen werden.
- Wenn die Technik teuer oder unsicher ist und Belege gebraucht werden, bevor Budget gebunden wird.
- Wenn Inhalt und Ton automatisierter Antworten getestet werden sollen, bevor Regeln geschrieben oder ein Modell trainiert wird.
- Wenn herausgefunden werden muss, welche Fragen sich automatisieren lassen und welche einen Menschen brauchen.
Ungeeignet, wenn
- Wenn der Test echte Entscheidungen über Rechte, Geld oder Gesundheit von Menschen beträfe. Einen Wizard-of-Oz-Test von echten Fällen fernhalten.
- Wenn sich von Hand nicht schnell genug antworten lässt, um die Erfahrung glaubwürdig zu machen.
- Wenn sich Nutzende auf eine Weise getäuscht fühlen würden, die Vertrauen beschädigt, etwa in einem sensiblen öffentlichen Service. Dann einen Concierge-Test nutzen, bei dem die Handarbeit sichtbar ist.
Was es braucht
- Zeit
- Etwa 60 Minuten für Aufbau und 3 bis 4 kurze Sitzungen, plus Nachbesprechung
- Personen
- Eine moderierende Person bei der Nutzerin, ein oder zwei Wizards außer Sicht, eine Person, die mitschreibt, und 4 bis 6 Teilnehmende
- Material
- Eine einfache Oberfläche (ein Chat-Tool, ein geteiltes Formular, ein simpler Bildschirmentwurf), ein verborgener Laptop für den Wizard, ein vorbereitetes Antwortblatt, ein Einwilligungsformular, Aufzeichnung, falls Teilnehmende zustimmen
So läuft es ab
Schritt 1: Die Lernfrage festlegen
Eine Frage aufschreiben, die der Test beantworten muss, zum Beispiel „Was fragen Gewerbetreibende bei der Verlängerung einer Lizenz, und lässt sich das mit einer kurzen Antwort klären?“ Eine Hypothese ergänzen: „Mindestens 7 von 10 Fragen lassen sich aus unseren vorhandenen Hinweisen beantworten.“
Schritt 2: Den sichtbaren Service bauen
Die dünnste mögliche Oberfläche einrichten: ein Chatfenster auf einem Laptop, ein Formular, das an den Wizard geht, oder einen gedruckten Bildschirm, der von Hand aktualisiert wird. Sie sollte plausibel aussehen, braucht aber keine echte Logik. Testen, ob Nachrichten den Wizard erreichen und Antworten zurückkommen.
Schritt 3: Den Wizard vorbereiten
Dem Wizard einen kurzen Leitfaden geben: den Ton, die Quellen für Antworten, eine Zielzeit für Antworten (zum Beispiel unter 30 Sekunden) und was zu sagen ist, wenn keine Antwort möglich ist. Ein vorbereitetes Blatt mit häufigen Antworten hält die Antworten schnell und einheitlich.
Schritt 4: Teilnehmende sorgfältig einweisen
Teilnehmenden sagen, dass sie eine frühe Fassung eines Service ausprobieren und ihr Feedback ihn prägen wird. Sie bitten, erfundene Angaben statt ihrer echten Daten zu verwenden. Eine schriftliche Einwilligung für die Aufzeichnung einholen. Den vollständigen Aufbau für die Nachbesprechung aufheben, Menschen aber nie über etwas täuschen, das sie betrifft.
Schritt 5: Die Sitzungen durchführen
Jeder teilnehmenden Person eine realistische Aufgabe geben. Der Wizard antwortet in Echtzeit, während die mitschreibende Person jede Frage, Antwort, Verzögerung und Reaktion festhält. Jede Sitzung auf 10 bis 15 Minuten begrenzen. Auf Momente der Verwirrung, wiederholte Fragen oder Aufgeben achten.
Schritt 6: Offenlegen und nachbesprechen
Nach jeder Sitzung erklären, dass ein Mensch die Antworten erzeugt hat und warum so getestet wurde. Fragen, wie die Antworten ankamen und ob dieses Wissen die Sicht verändert. Anbieten, die Aufzeichnung auf Wunsch zu löschen.
Schritt 7: Auswerten und entscheiden
Das Arbeitsblatt ausfüllen: Hypothese, sichtbarer Service, manuelle Ausführung, Beobachtung. Die gestellten Fragen gruppieren und notieren, welche der Wizard leicht beantwortet hat und welche Urteilsvermögen brauchten. Entscheiden, ob die Hypothese trägt und was gebaut, geändert oder verworfen wird.
Praxisbeispiel
Eine Handelskammer erwägt einen Chat-Assistenten, der Fragen kleiner Ladeninhaber zur Verlängerung ihrer Gewerbelizenzen beantwortet. Bevor sie für die Technik bezahlt, führt ein kleines Team in einem Geschäftszentrum einen Wizard-of-Oz-Test mit sechs Ladeninhabern durch.
Die Hypothese: „Mindestens 70 % der Fragen zur Verlängerung lassen sich in unter 30 Sekunden aus den vorhandenen Hinweisseiten beantworten.“ Der sichtbare Service ist ein Chatfenster auf einem Tablet. Zwei Mitarbeitende sitzen als Wizards im Nebenraum, die Hinweisseiten geöffnet.
Den Teilnehmenden wird gesagt, dass sie eine frühe Fassung eines Hilfeservice testen, und sie werden gebeten, einen erfundenen Ladennamen zu verwenden. Jede Person erhält eine Aufgabe: „Ihre Lizenz läuft nächsten Monat ab. Finden Sie heraus, was Sie zur Verlängerung brauchen.“
Über sechs Sitzungen stellen die Teilnehmenden 41 Fragen. Die Wizards beantworten 26 direkt aus den Hinweisen, etwa 63 %. Die übrigen 15 brauchen Urteilsvermögen, meist bei Läden mit mehreren Lizenzen, die zu verschiedenen Terminen ablaufen. Zwei Teilnehmende stellen dieselbe Frage dreimal mit anderen Worten, was zeigt, dass die erste Antwort unklar war.
In der Nachbesprechung sagen die meisten, die Geschwindigkeit sei wichtiger gewesen als die Frage, ob ein Mensch oder ein System antwortet. Das Team schließt, dass die Hypothese knapp verfehlt ist. Es entscheidet, die Hinweise für Läden mit mehreren Lizenzen neu zu schreiben und den Test zu wiederholen, bevor Geld in den Assistenten fließt.
Zur VeranschaulichungTipps und typische Fehler
Tipps
- Bei komplexen Antworten zwei Wizards einsetzen: einer findet die Antwort, der andere tippt sie.
- Die Uhrzeit jeder Antwort protokollieren. Verzögerungen zeigen, welche Fragen schwer zu automatisieren sind.
- Eine Liste der Fragen führen, die der Wizard nicht beantworten konnte. Sie ist oft das nützlichste Ergebnis.
- Vor der ersten echten Teilnehmerin mit einer Kollegin proben.
Typische Fehler
- Mit echten personenbezogenen Daten oder laufenden Fällen testen, was Risiken für Datenschutz und Fairness schafft.
- Die Offenlegung am Ende auslassen, was Vertrauen beschädigt, sobald Menschen es herausfinden.
- Den Wizard Antworten improvisieren lassen, die das echte System nie geben könnte.
- Den Test ohne klare Hypothese durchführen, sodass Eindrücke statt Belege gesammelt werden.
Was am Ende vorliegt
Am Ende stehen eine Liste echter Nutzerfragen, Belege dafür, welche sich einfach beantworten lassen und welche menschliches Urteilsvermögen brauchen, und ein klares Urteil über die Hypothese. Außerdem ist bekannt, welchen Ton und Inhalt Nutzende erwarten. Wirkt der Service vielversprechend, einen formalen Hypothesentest für einen größeren Pilot schreiben oder einen Concierge-Test durchführen, um einigen Nutzenden den vollständigen Service von Hand zu erbringen.
Häufige Fragen
Ist ein Wizard-of-Oz-Test ethisch vertretbar?
Das kann er sein, wenn er sorgfältig durchgeführt wird. Menschen vorab sagen, dass sie eine frühe Fassung testen, keine echten personenbezogenen Daten oder Entscheidungen einbeziehen, den Aufbau danach erklären und ihnen erlauben, ihre Daten zurückzuziehen. Bei sensiblen Services einen Concierge-Test vorziehen, bei dem die Handarbeit sichtbar ist.
Was ist der Unterschied zwischen Wizard-of-Oz-Test und Concierge-Test?
Beim Wizard-of-Oz-Test glauben Nutzende, ein System zu nutzen, während ein verborgener Mensch die Arbeit macht. Beim Concierge-Test wissen Nutzende, dass ihnen ein Mensch direkt hilft. Der Wizard-of-Oz-Test prüft Oberfläche und Automatisierung, der Concierge-Test, ob der Service selbst das Bedürfnis löst.
Wie viele Sitzungen braucht man?
Vier bis sechs Sitzungen zeigen meist die wichtigsten Muster darin, was Nutzende fragen und erwarten. Soll ein Anteil geschätzt werden, etwa wie viele Fragen sich automatisieren lassen, insgesamt mindestens 40 Nutzerfragen anstreben.
Werkzeugkarte
Das Arbeitsblatt, das das Team ausfüllt, ein Kästchen pro Feld.
- Hypothese
- Sichtbarer Service
- Manuelle Ausführung
- Beobachtung