Moderierter Usability-Test
Neben einer Person sitzen, ihr eine echte Aufgabe geben, schweigen und beobachten, wo der Service hilft und wo er im Weg steht.
- Zeit
- 45 Min.
- Personen
- 2–3
- Art der Arbeit
- Testen
Kurz gesagt
Ein moderierter Usability-Test ist eine Sitzung, in der eine Moderation beobachtet, wie eine Testperson realistische Aufgaben mit einem Service, Formular oder Prototyp erledigt, ohne Hinweise zu geben. Jede Aufgabe und ihr Erfolgskriterium werden vorab festgelegt, das Geschehen wird beobachtet und mit der Erwartung verglichen. Fünf Sitzungen zeigen meist die größten Probleme.
Worum es geht
Beim moderierten Usability-Test sitzt man jeweils mit einer Person zusammen, während sie versucht, etwas Reales mit dem Service zu erledigen: eine Lizenz verlängern, einen Termin buchen, eine Gebühr finden. Die Moderation liest eine Aufgabe vor und beobachtet dann. Sie erklärt den Bildschirm nicht und hilft nicht, wenn die Person feststeckt. Zögern, Umwege und Notlösungen sind die eigentlichen Daten.
Moderiert heißt der Test, weil eine Moderation anwesend ist, im Raum oder per Videocall, und nach jeder Aufgabe nachfragen kann. Das ist langsamer als eine Umfrage, aber deutlich aufschlussreicher. Sichtbar wird nicht nur, dass etwas scheitert, sondern auch warum.
Wann sie passt
Geeignet, wenn
- Es gibt einen Prototyp, eine Live-Seite oder ein Papierformular, und die Frage ist, ob Menschen die wichtigsten Aufgaben tatsächlich abschließen können.
- Beschwerden oder Anrufzahlen zeigen, dass etwas nicht stimmt, aber nicht, an welcher Stelle der Customer Journey es hakt.
- Das Team ist sich über ein Design uneinig und braucht Belege von Menschen, die es wirklich nutzen werden.
- Eine Änderung steht kurz vor dem Start, und die schlimmsten Probleme sollen gefunden werden, solange sie sich noch günstig beheben lassen.
Ungeeignet, wenn
- Gebraucht werden Zahlen darüber, wie viele Menschen etwas tun; dann sind Webanalyse oder ein A/B-Testplan das richtige Mittel.
- Es ist noch unklar, was Menschen eigentlich erreichen wollen; dann zuerst Stakeholder-Interviews oder Kontextbeobachtung durchführen.
- Niemand ist erreichbar, der den echten Nutzenden ähnelt; Tests nur mit Kolleginnen und Kollegen führen in die Irre.
Was es braucht
- Zeit
- Etwa 45 Minuten pro Sitzung, dazu eine Stunde für die Vorbereitung der Aufgaben und eine Stunde für die Auswertung nach einer Runde mit fünf Sitzungen.
- Personen
- Eine Moderation, jeweils eine Testperson und idealerweise eine Person für Notizen oder Beobachtung, die schweigt.
- Material
- Prototyp, Seite oder Formular; ein Aufgabenblatt; das Arbeitsblatt mit Aufgabe, Erwarteter Erfolg, Beobachtung und Ergebnis; ein Einwilligungstext; Bildschirmaufzeichnung, sofern die Testperson zustimmt.
So läuft es ab
Schritt 1: Die wichtigsten Aufgaben auswählen
Drei bis fünf Aufgaben wählen, die zeigen, warum Menschen den Service nutzen. Jede als kurzes Szenario in der Sprache der Testperson formulieren, etwa „Die Gewerbelizenz läuft nächste Woche ab. Verlängern Sie sie.“ Begriffe vermeiden, die auf den Schaltflächen stehen, sonst wird nur getestet, ob Menschen Wörter wiedererkennen.
Schritt 2: Das Erfolgskriterium vorher festlegen
Für jede Aufgabe „Erwarteter Erfolg“ ausfüllen: was als erledigt gilt und welche Grenze für Zeit oder Hilfe gilt. Zum Beispiel: „Erreicht die Zahlungsseite mit der richtigen Lizenznummer, ohne um Hilfe zu bitten, innerhalb von vier Minuten.“ Wer das vorab entscheidet, verhindert, dass das Team Ergebnisse später wohlwollend auslegt.
Schritt 3: Passende Testpersonen gewinnen
Fünf Teilnehmende finden, die einen Grund haben, den Service zu nutzen, und ihn nicht selbst gestaltet haben. Eine Person einbeziehen, die ihn selten nutzt, und eine, der digitale Services schwerfallen. Zweck, Dauer und Aufzeichnung erklären und um Einwilligung bitten.
Schritt 4: Die Sitzung eröffnen und den Ton setzen
Der Testperson sagen, dass der Service getestet wird und nicht sie selbst, und dass es keine falschen Antworten gibt. Die Person bitten, laut zu denken. Klar ankündigen, dass es während der Aufgaben keine Hilfe gibt und Fragen am Ende beantwortet werden.
Schritt 5: Jede Aufgabe vorlesen und schweigen
Die Aufgabe vorlesen, dann beobachten. Notieren, was angeklickt wird, wo die Person stockt, was sie sagt und was sie zuerst versucht. Auf Fragen mit einer Gegenfrage antworten: „Was würden Sie tun, wenn ich nicht hier wäre?“ Nur eingreifen, wenn die Person sichtlich belastet ist oder mehrere Minuten völlig feststeckt.
Schritt 6: Kurze Nachfragen stellen
Nach jeder Aufgabe zwei oder drei offene Fragen stellen: was die Person erwartet hat, was verwirrend war, wie sicher sie ist, dass die Aufgabe erledigt ist. Die Fragen neutral halten und das Design nicht erklären.
Schritt 7: Beobachtung und Ergebnis je Aufgabe festhalten
Direkt nach der Sitzung unter Beobachtung die gesehenen Fakten notieren und unter Ergebnis „bestanden“, „mit Mühe bestanden“ oder „nicht bestanden“ gemessen am vorab formulierten Kriterium eintragen. Das vor der nächsten Sitzung erledigen, damit die Erinnerungen nicht verschwimmen.
Schritt 8: Die Runde im Team auswerten
Nach fünf Sitzungen die Arbeitsblätter nebeneinanderlegen. Nach Aufgaben suchen, an denen mehrere Personen gescheitert sind, und nach Momenten der Verwirrung, die sich wiederholen. Die zwei oder drei Probleme festlegen, die zuerst behoben werden, und was als Nächstes getestet wird.
Praxisbeispiel
Ein kommunales Lizenzamt hatte die Online-Verlängerung von Gewerbelizenzen neu gebaut. Das Callcenter meldete viele Anrufe von Inhabern, die bezahlt, aber keine Lizenz erhalten hatten. Das Team führte einen moderierten Usability-Test mit fünf Ladeninhabern auf den neuen Verlängerungsseiten durch.
Das Team wählte vier Aufgaben: Lizenz verlängern, Gebühr bezahlen, verlängerte Lizenz herunterladen und Status der Verlängerung prüfen. Für die Zahlung lautete das Kriterium: erreicht die Bestätigung mit der richtigen Lizenznummer, ohne Hilfe, innerhalb von fünf Minuten.
Vier der fünf Inhaber füllten das Formular schnell aus. Auf der Zahlungsseite gaben drei von ihnen ihre Handelsregisternummer in das Feld für die Lizenznummer ein, weil beide Nummern auf ihrer Papierurkunde dicht beieinander standen.
Die Zahlung lief damit auf die falsche Referenz, was die Anrufe erklärte. Die Feldbeschriftung enthielt kein Beispiel, und die Seite zeigte keine Vorschau der Lizenz, die bezahlt wurde.
Das Team ergänzte Name und Ablaufdatum der Lizenz über dem Zahlungsfeld sowie ein kurzes Beispiel für das Nummernformat. Eine zweite Runde mit fünf Sitzungen zwei Wochen später zeigte, dass alle Teilnehmenden für die richtige Lizenz bezahlten.
Zur VeranschaulichungTipps und typische Fehler
Tipps
- Eine Probesitzung mit jemandem aus einem anderen Team durchführen, um unklare Aufgaben zu finden, bevor echte Testpersonen kommen.
- Die beobachtende Person bitten, nur aufzuschreiben, was sie sieht und hört, nicht was es ihrer Meinung nach bedeutet.
- Die schwierigste Aufgabe in die Mitte der Sitzung legen, wenn die Testperson angekommen, aber noch nicht müde ist.
- Kurze Videoclips der entscheidenden Momente mit Entscheidungstragenden teilen; ein einziger Clip überzeugt oft mehr als ein Bericht.
Typische Fehler
- Der Testperson helfen, wenn sie Mühe hat, und damit genau das Problem verdecken, das gefunden werden sollte.
- Aufgaben formulieren, die Schaltfläche oder Menü nennen, sodass Menschen Wörtern folgen statt echtes Verhalten zu zeigen.
- Erst nach den Sitzungen festlegen, was als Erfolg gilt, sodass das Team ein schwaches Ergebnis als bestanden werten kann.
- Die Meinung einer einzelnen Person zu Farben oder Stil als Erkenntnis behandeln und dabei die Aufgaben übersehen, die sie nicht abschließen konnte.
Was am Ende vorliegt
Am Ende liegt für jede Sitzung ein Arbeitsblatt vor, das Aufgabe für Aufgabe zeigt, was erwartet wurde, was geschah und ob die Aufgabe bestanden wurde. Zusammen ergeben sie eine kurze, belegte Liste der Probleme, die Menschen am Abschluss des Service hindern, geordnet nach der Zahl der Betroffenen und nach Schwere. Das Gehörte in einem Feedback-Capture-Grid sortieren, um die nächste Runde zu planen, und wenn eine Lösung auf einer unsicheren Annahme beruht, diese vor dem Umbau als Hypothesentest formulieren.
Häufige Fragen
Wie viele Testpersonen braucht ein Usability-Test?
Fünf Testpersonen pro Runde decken für eine Nutzergruppe meist die schwerwiegendsten Probleme auf. Bei sehr unterschiedlichen Gruppen, etwa Erst- und Stammnutzenden, jeweils etwa fünf einplanen. Mehrere kleine Runden mit Verbesserungen dazwischen bringen mehr als eine große Runde.
Was ist der Unterschied zwischen moderiertem und unmoderiertem Usability-Test?
Beim moderierten Test ist eine Moderation anwesend und kann nachfragen, so wird sichtbar, warum Menschen Schwierigkeiten haben. Beim unmoderierten Test lösen Menschen die Aufgaben allein mit einem Tool, das sie aufzeichnet. Das erreicht schneller mehr Menschen, aber die Möglichkeit zum Nachfragen fehlt.
Lässt sich ein moderierter Usability-Test remote durchführen?
Ja. Ein Videocall mit Bildschirmfreigabe funktioniert für digitale Services gut. Vorher die technische Ausstattung der Testperson prüfen und den Link zum Prototyp erst teilen, wenn die Aufgabe beginnt. Papierformulare oder Schalterprozesse besser vor Ort testen.
Werkzeugkarte
Das Arbeitsblatt, das das Team ausfüllt, ein Kästchen pro Feld.
- Aufgabe
- Erwarteter Erfolg
- Beobachtung
- Ergebnis