Wie Sie eine Idee testen, bevor Sie sie bauen

Um eine Idee zu testen, bevor Sie sie bauen, listen Sie auf, was wahr sein muss, damit sie funktioniert, wählen die Annahme, die zugleich am wichtigsten und am wenigsten belegt ist, und führen den günstigsten Test durch, der zeigen könnte, dass sie falsch ist. Legen Sie vorab fest, welches Ergebnis als bestanden gilt, testen Sie mit echten Menschen unter echten Bedingungen und entscheiden Sie dann: fortsetzen, ändern oder beenden. Sie testen nicht, ob die Idee gefällt. Sie testen, ob das Riskanteste, was Sie über sie glauben, standhält.

Warum „Wir haben es Leuten gezeigt, und es hat ihnen gefallen“ kein Test ist

Die häufigste Validierung ist eine Präsentation mit anschließendem Applaus. Menschen sind höflich, besonders gegenüber Kolleginnen und Kollegen und besonders, wenn die Idee sorgfältig präsentiert wird. Was Menschen zu tun behaupten und was sie tatsächlich tun, liegt oft weit auseinander.

Ein echter Test hat drei Merkmale. Er zielt auf eine bestimmte Annahme. Er hat eine Erfolgsschwelle, die vereinbart wurde, bevor jemand Ergebnisse sieht. Und er verlangt von Menschen, etwas zu tun, etwa Zeit zu geben, Informationen preiszugeben, eine Gewohnheit zu ändern oder sich festzulegen, statt eine Meinung abzugeben. Wenn Ihr Test nicht scheitern kann, ist er eine Vorführung.

Eine Idee testen: sieben Schritte

1. Die Idee als einen Satz mit einem Wer und einer Veränderung formulieren

„Eine App für Studierende“ ist eine Kategorie, keine Idee, die sich testen lässt. „Studierende im ersten Semester, die Vorlesungen verpassen, können innerhalb von 24 Stunden über eine kurze aufgezeichnete Zusammenfassung der Lehrenden aufholen“ ist testbar. Benennen Sie, für wen die Idee ist, was diese Menschen anders machen werden und was sich für sie verbessert.

2. Jede Annahme dahinter auflisten

Fragen Sie das Team: Was muss wahr sein, damit das funktioniert? Drängen Sie auf mindestens fünfzehn Annahmen. Ordnen Sie sie drei Fragen zu, die in der Designpraxis häufig genutzt werden: Wollen Menschen das (Begehrtheit), können wir es liefern (Machbarkeit), und können wir es dauerhaft tragen (Wirtschaftlichkeit)? Teams listen meist zuerst Machbarkeitsrisiken auf, weil man bequem darüber sprechen kann. Die Risiken, an denen Ideen scheitern, liegen häufiger bei Begehrtheit und Wirtschaftlichkeit.

Ein Pre-Mortem, Gary Kleins Technik, sich vorzustellen, dass das Projekt bereits gescheitert ist, und nach dem Warum zu fragen, bringt schnell Annahmen ans Licht, die Menschen ungern laut aussprechen.

3. Die riskanteste Annahme finden

Platzieren Sie jede Annahme auf zwei Achsen: wie wichtig sie für die Idee ist und wie viel Evidenz Sie bereits haben. Das ist Assumption Mapping, bekannt gemacht von David J. Bland. Die Ecke oben links, kritisch und unbelegt, ist der Ort, an dem Sie zuerst testen. Wählen Sie eine, höchstens zwei. Alles andere wartet.

Eine nützliche Prüffrage: „Wenn sich das als falsch herausstellt, stirbt die Idee, oder verändert sie sich nur?“ Testen Sie die Annahmen, an denen sie sterben würde.

4. Daraus eine Hypothese mit Erfolgsschwelle machen

Formulieren Sie sie als Hypothese in dieser Form: Wir glauben, dass [wer] [was tun] wird, weil [Grund]. Wir wissen, dass es stimmt, wenn [messbares Ergebnis] innerhalb von [Zeitraum].

Legen Sie die Erfolgsschwelle fest, bevor Sie testen, und schreiben Sie sie auf. „Mindestens 8 von 20 Studierenden, die eine Vorlesung verpasst haben, öffnen die Zusammenfassung innerhalb eines Tages“ ist eine Erfolgsschwelle. „Die Studierenden reagieren gut“ ist keine. Vereinbaren Sie auch, was Sie tun, wenn das Ergebnis darunter oder dazwischen liegt. Teams, die das auslassen, finden immer einen Weg, das Ergebnis als gute Nachricht zu lesen.

5. Den günstigsten Test wählen, der Sie widerlegen könnte

Passen Sie den Test an die Annahme an, nicht an das Werkzeug, das Sie mögen:

• Wollen Menschen das? Eine Fake Door (bieten Sie den Service oder Button an, zählen Sie, wer ihn nutzen will, und erklären Sie es dann ehrlich), eine Anmeldeseite oder eine Vorab-Zusage wie das Buchen eines Termins.
• Nutzen sie es so, wie wir erwarten? Ein Papierprototyp oder ein Moderierter Usability-Test mit einer groben Version.
• Hält der Nutzen im echten Gebrauch? Ein Concierge-Test: Erbringen Sie den Service für einige Menschen offen von Hand, bevor Sie irgendetwas automatisieren.
• Funktioniert das Erlebnis, bevor es die Technik gibt? Ein Wizard-of-Oz-Test: Der Nutzer interagiert mit etwas, das wie ein funktionierender Service aussieht, während hinter den Kulissen ein Mensch die Arbeit erledigt. Der Begriff wurde um 1980 von John F. Kelley in der Forschung zur Mensch-Computer-Interaktion geprägt.
• Welche von zwei Versionen funktioniert besser? Ein A/B-Test, sobald Sie genug Traffic oder Nutzer für einen Vergleich haben.

Kosten werden in Tagen gemessen, nicht in Geld. Ein guter erster Test dauert ein bis zehn Tage. Wenn er eine Budgetfreigabe braucht, bauen Sie vermutlich, statt zu testen. Ideen, wie Sie das Testobjekt selbst herstellen, finden Sie in Der günstigste Prototyp, den Sie diese Woche bauen können.

6. Mit echten Menschen testen und genau hinsehen

Testen Sie mit den Menschen, für die die Idee gedacht ist, nicht mit Kolleginnen und Kollegen, die für sie einspringen. Halten Sie die Bedingungen so realitätsnah wie möglich: ihr Ort, ihr Gerät, ihr Zeitdruck. Achten Sie mehr darauf, was sie tun, als darauf, was sie sagen.

Halten Sie fest, was Sie sehen, in einem Feedback-Capture-Grid: was funktioniert hat, was nicht, aufgeworfene Fragen und neue Ideen. Notieren Sie Überraschungen sofort; am nächsten Tag sind sie verblasst.

Wenn ein Test die Öffentlichkeit einbezieht, sagen Sie den Menschen klar, was ausprobiert wird, und holen Sie alle Freigaben ein, die Ihre Organisation verlangt. Ein Test entschuldigt nicht, jemanden in die Irre zu führen.

7. Entscheiden: fortsetzen, ändern oder beenden

Vergleichen Sie das Ergebnis mit der festgelegten Erfolgsschwelle. Treffen Sie dann laut eine von drei Entscheidungen:

• Fortsetzen: Die Annahme hat gehalten. Gehen Sie zur nächstriskanteren über.
• Ändern: Sie hat teilweise gehalten oder für eine andere Gruppe. Passen Sie die Idee an und testen Sie erneut.
• Beenden: Sie hat nicht gehalten. Halten Sie fest, was Sie gelernt haben, und schließen Sie die Idee ab. Eine Idee nach einem zweiwöchigen Test zu beenden, ist ein gutes Ergebnis; sie nach einem Jahr Entwicklung zu beenden, ist es nicht.

Schreiben Sie eine kurze Notiz: was Sie getestet haben, was passiert ist, was Sie entschieden haben und warum. Diese Aufzeichnung ermöglicht es einem Team, über Ideen hinweg zu lernen, statt jedes Mal von vorn anzufangen.

Praxisbeispiel

Illustrativ. Eine Universität in Australien wollte eine Peer-Tutoring-App für Ingenieurstudierende im ersten Jahr bauen. Der Planentwurf sah sechs Monate Entwicklung vor.

Das Team listete 22 Annahmen auf. Auf der Annahmen-Map war die riskanteste nicht technischer Natur. Sie lautete: „Studierende im zweiten Jahr geben eine Stunde pro Woche, um Erstsemester für Studienpunkte statt für Bezahlung zu betreuen.“ Wenn das nicht stimmte, hatte die App nichts, was sie verbinden konnte.

Die Hypothese: „Wenn wir Studienpunkte anbieten, melden sich innerhalb einer Woche mindestens 15 Studierende im zweiten Jahr für einen Tutoring-Termin an.“ Das Team stellte ein einfaches Anmeldeformular in den Newsletter des zweiten Studienjahrs, führte das Ganze als Concierge-Test von Hand durch und brachte Tutorinnen, Tutoren und Studierende per E-Mail zusammen.

Neun meldeten sich an, unter der Erfolgsschwelle. Doch die Folgegespräche waren aufschlussreich: Mehrere sagten, sie würden zu zweit betreuen, nicht allein, weil sie sich ihres eigenen Wissens unsicher waren. Das Team änderte die Idee zu Tutoring im Tandem, verschickte das Formular erneut und bekam 21 Anmeldungen. Die App war immer noch nicht gebaut. Der nächste Test war, ob die Erstsemester tatsächlich erscheinen würden.

Was Sie tun und was Sie lassen sollten

Tun

• Testen Sie jeweils eine Annahme und benennen Sie sie im Testplan.
• Legen Sie Erfolgsschwelle und Entscheidungsregel fest, bevor Sie Ergebnisse sehen.
• Bevorzugen Sie Tests, bei denen Menschen handeln, gegenüber Tests, bei denen sie kommentieren.
• Halten Sie den ersten Test unter zwei Wochen.
• Behandeln Sie „Beenden“ als nützliches Ergebnis und halten Sie fest, warum.

Lassen

• Präsentieren Sie die Idee nicht und zählen Sie Komplimente.
• Testen Sie nicht mit Kolleginnen und Kollegen, wenn die Idee für Kunden oder Bürger gedacht ist.
• Bauen Sie keinen ausgefeilten Prototyp, um zu testen, ob überhaupt jemand das will.
• Verschieben Sie die Erfolgsschwelle nicht, nachdem die Ergebnisse da sind.
• Führen Sie Teilnehmende nicht in die Irre; eine Fake Door muss mit einer ehrlichen Erklärung enden.

Häufige Fragen

Wie lässt sich eine Idee am schnellsten validieren? Finden Sie die eine Annahme, an der die Idee sterben würde, wenn sie falsch ist, und führen Sie dann einen Test durch, der echte Menschen zum Handeln auffordert, etwa einen Termin zu buchen, sich anzumelden oder eine von Hand betriebene Version zu nutzen. Viele solcher Tests lassen sich in einer Woche durchführen.

Was ist der Unterschied zwischen einem Concierge-Test und einem Wizard-of-Oz-Test? Beim Concierge-Test wissen die Menschen, dass jemand den Service von Hand erbringt. Beim Wizard-of-Oz-Test wirkt der Service für den Nutzer automatisiert, während hinter den Kulissen ein Mensch arbeitet. Der Concierge-Test prüft den Nutzen; der Wizard-of-Oz-Test prüft das Erlebnis eines künftigen Systems.

Mit wie vielen Menschen muss ich eine Idee testen? Bei frühen Tests, die Probleme in einem Erlebnis aufdecken sollen, zeigt oft schon eine Handvoll Teilnehmender die wichtigsten Schwachstellen. Bei Tests, die Nachfrage messen, legen Sie zuerst eine Erfolgsschwelle in Zahlen fest und erreichen dann genug Menschen, damit diese Zahl etwas aussagt.

Wie es weitergeht

Beginnen Sie mit dem Leitfaden zum Assumption Mapping und zum Hypothesentest und wählen Sie dann je nachdem, was Sie lernen müssen, zwischen Concierge-Test und Wizard-of-Oz-Test. Wenn Sie noch auswählen, welche Ideen Sie testen, lesen Sie Ideen priorisieren, und für alle Methoden im Überblick Welche Innovationsmethode passt?.