A/B-Testplan (A/B-Experiment planen)
Festlegen, was getestet wird, wie gemessen wird und wann Schluss ist, bevor auch nur eine Person eine der beiden Versionen sieht.
- Zeit
- 45 Min.
- Personen
- 3–5
- Art der Arbeit
- Testen
Kurz gesagt
Ein A/B-Testplan ist ein kurzes, abgestimmtes Dokument, das entsteht, bevor zwei Versionen eines Service mit echten Nutzenden verglichen werden. Er nennt eine Hypothese, die beiden Varianten, die Hauptkennzahl, die Aufteilung der Menschen auf die Versionen und die Abbruchregel. Wer ihn zuerst schreibt, schützt das Ergebnis vor späterem Wunschdenken.
Worum es geht
Ein A/B-Experiment zeigt einer Gruppe Version A und einer anderen gleichzeitig Version B und vergleicht, was beide Gruppen tun. Weil die Zuordnung zufällig erfolgt, lässt sich ein Unterschied im Ergebnis auf den Unterschied zwischen den Versionen zurückführen. Der Plan ist alles, was davor geschieht: die Entscheidungen, die das Ergebnis vertrauenswürdig machen.
Die meisten gescheiterten Experimente scheitern schon in der Planung. Teams ändern zwei Dinge auf einmal, wählen die Kennzahl erst nach Blick auf die Daten oder beenden den Test an dem Tag, an dem er gut aussieht. Ein einseitiger Plan mit fünf Feldern verhindert das meiste davon. Er erzwingt außerdem ein nützliches Gespräch mit einer Analystin oder einem Analysten darüber, ob überhaupt genug Daten zusammenkommen, um etwas zu lernen.
Wann sie passt
Geeignet, wenn
- Es gibt zwei glaubwürdige Versionen einer Seite, Nachricht oder eines Schritts, und die Frage ist, welche für echte Nutzende besser funktioniert.
- Der Service hat genug Traffic oder Fallzahlen, damit sich ein Unterschied innerhalb weniger Wochen zeigt.
- Eine Entscheidung ist umstritten, und das Team will Belege, auf die es sich vorab geeinigt hat.
- Das relevante Ergebnis lässt sich automatisch und zuverlässig messen.
Ungeeignet, wenn
- Die Fallzahlen sind klein, etwa bei einem Service mit ein paar Dutzend Nutzenden im Monat; der Test kommt zu keinem klaren Ergebnis.
- Es ist noch unklar, warum Menschen Schwierigkeiten haben; dann zuerst einen moderierten Usability-Test durchführen, um das Problem zu finden.
- Eine schlechtere Version könnte einer Gruppe echten Schaden zufügen, etwa durch verpasste medizinische oder rechtliche Fristen.
Was es braucht
- Zeit
- Etwa 45 Minuten, um den Plan gemeinsam zu schreiben, plus Zeit mit der Analyse, um den Datenbedarf zu prüfen.
- Personen
- Drei bis fünf Personen: Service-Verantwortliche, jemand aus Design oder Content, jemand, der die Varianten bauen kann, und jemand aus der Analyse.
- Material
- Das Arbeitsblatt mit Hypothese, Varianten, Kennzahl, Aufteilung und Abbruchregel; aktuelle Werte der Kennzahl; eine Beschreibung oder ein Mock-up jeder Version.
So läuft es ab
Schritt 1: Eine Hypothese formulieren
Die Änderung und die erwartete Wirkung samt Begründung festhalten. Zum Beispiel: „Wenn die Gesamtgebühr vor Beginn des Formulars angezeigt wird, schließen mehr Antragstellende die Zahlung ab, weil die Überraschung über die Gebühr der Hauptgrund für den Abbruch ist.“ Eine Hypothese pro Experiment hält das Ergebnis lesbar.
Schritt 2: Die beiden Varianten beschreiben
Nebeneinander festhalten, wie A (die aktuelle Version) und B (die neue) aussehen. Nur eine wesentliche Sache ändern. Unterscheidet sich B gleichzeitig in Text, Layout und Zeitpunkt, bleibt unklar, welche Änderung den Unterschied gemacht hat.
Schritt 3: Hauptkennzahl und eine Schutzkennzahl wählen
Die eine Messgröße wählen, die über das Ergebnis entscheidet, etwa den Anteil begonnener Anträge, die bis zur Zahlung kommen. Eine Schutzkennzahl ergänzen, die sich nicht verschlechtern darf, etwa Anrufe bei der Hotline. Den aktuellen Wert beider Kennzahlen notieren.
Schritt 4: Die Aufteilung mit der Analyse abstimmen
Festlegen, wie Menschen aufgeteilt werden, meist zufällig halb und halb, und wer einbezogen wird. Mit der Analyse klären, wie viele Menschen jede Version braucht, um den kleinsten Unterschied zu erkennen, der eine Handlung rechtfertigt, und wie lange das bei den aktuellen Fallzahlen dauert.
Schritt 5: Die Abbruchregel festlegen
Notieren, wann der Test endet: an einem festen Datum oder nach einer festen Zahl von Menschen, je nach Empfehlung der Analyse. Bedingungen für einen vorzeitigen Abbruch ergänzen, etwa wenn sich die Schutzkennzahl um einen festgelegten Wert verschlechtert. Nicht abbrechen, nur weil das Ergebnis am dritten Tag gut aussieht.
Schritt 6: Festlegen, was jedes Ergebnis bedeutet
Vor dem Start aufschreiben, was geschieht, wenn B gewinnt, wenn A gewinnt und wenn es keinen klaren Unterschied gibt. So wird das Experiment zu einer Entscheidung, und das Team wiederholt es nicht so lange, bis die gewünschte Antwort herauskommt.
Schritt 7: Freigabe einholen, dann starten
Den einseitigen Plan mit der entscheidenden Person und der Analyse teilen und einfrieren. Jede Änderung nach dem Start, etwa eine neue Kennzahl, wird als Änderung mit Begründung dokumentiert.
Praxisbeispiel
Eine Privatkundenbank wollte, dass mehr Kundinnen und Kunden die Online-Eröffnung eines Sparkontos abschließen. Etwa 40 Prozent brachen bei dem Schritt ab, in dem ein Adressnachweis verlangt wurde. Das Digitalteam vermutete, dass die Menschen nicht wussten, welche Dokumente zählen.
Hypothese: Wenn der Schritt die akzeptierten Dokumente mit kleinen Abbildungen auflistet, laden mehr Antragstellende eines hoch und machen weiter, weil Unsicherheit über gültige Nachweise der Hauptgrund für den Abbruch ist.
Variante A war der bisherige Upload-Schritt. Variante B ergänzte eine Liste von vier akzeptierten Dokumenten mit Abbildungen. Sonst änderte sich nichts. Hauptkennzahl war der Anteil derer, die den Schritt erreichten und abschlossen; Schutzkennzahl war der Anteil der Uploads, die von Mitarbeitenden abgelehnt wurden.
Die Analyse schätzte, dass bei rund 3.000 Menschen pro Woche, die den Schritt erreichen, eine 50/50-Aufteilung drei Wochen bräuchte, um eine Verbesserung um fünf Prozentpunkte zu erkennen. Die Abbruchregel lautete drei volle Wochen, mit vorzeitigem Abbruch, falls die abgelehnten Uploads um mehr als ein Viertel stiegen.
Nach drei Wochen stieg der Abschluss in B von 60 auf 66 Prozent, die abgelehnten Uploads blieben unverändert. Wie im Plan vereinbart, führte das Team B für alle ein und wandte sich dem nächsten Schritt der Journey zu.
Zur VeranschaulichungTipps und typische Fehler
Tipps
- Den Plan in einfacher Sprache schreiben, die eine Führungskraft außerhalb des Teams in zwei Minuten lesen kann.
- Beide Versionen über volle Wochen laufen lassen, weil sich das Verhalten an Wochenenden und Werktagen oft unterscheidet.
- Vor dem Start prüfen, ob die Aufteilung funktioniert, indem ein kleiner Anteil der Menschen durch beide Versionen geleitet wird.
- Ein einfaches Protokoll der Experimente und ihrer Ergebnisse führen, damit die Organisation alte Ideen nicht immer wieder testet.
Typische Fehler
- Die Kennzahl erst nach Blick auf die Daten wählen, was fast immer etwas findet, das wie ein Erfolg aussieht.
- Vorzeitig abbrechen, weil das Ergebnis gut aussieht, bevor genug Menschen beide Versionen gesehen haben.
- In B mehrere Dinge ändern, sodass sich ein Erfolg weder erklären noch wiederholen lässt.
- Einen Test mit zu wenig Traffic durchführen und das Fehlen eines klaren Unterschieds als Beweis werten, dass die Änderung keine Rolle spielt.
Was am Ende vorliegt
Am Ende steht ein freigegebener, einseitiger Plan: eine einzige Hypothese, zwei klar beschriebene Varianten, eine Haupt- und eine Schutzkennzahl mit aktuellen Werten, eine mit der Analyse abgestimmte Aufteilung und eine Abbruchregel samt der Entscheidung, die jedes Ergebnis auslöst. Nach dem Experiment wird das Ergebnis gegen den Plan dokumentiert. Ist unklar, welche Kennzahl das Ergebnis wirklich treibt, zuerst einen KPI-Baum aufbauen, und ist die Änderung noch eine Vermutung, sie als Hypothesentest formulieren.
Häufige Fragen
Wie lange sollte ein A/B-Test laufen?
So lange, bis die von der Analyse berechnete Zahl von Menschen erreicht ist, und mindestens ein bis zwei volle Wochen, um normale Wochenmuster abzudecken. Die Dauer vor dem Start festlegen. Den Test zu beenden, sobald eine Version vorn liegt, ist der häufigste Weg zu einem falschen Ergebnis.
Was ist der Unterschied zwischen A/B-Test und Hypothesentest?
Ein Hypothesentest ist jeder kleine Test einer einzelnen Annahme und kann ein Interview, ein Prototyp oder eine Zählung sein. Ein A/B-Experiment ist eine bestimmte Form davon: zwei Versionen, die zufällig aufgeteilten Gruppen echter Nutzender gezeigt und anhand einer Kennzahl verglichen werden. Es eignet sich, wenn die Fallzahlen reichen.
Braucht es für die Planung eines A/B-Tests eine Statistikerin oder einen Statistiker?
Gebraucht wird jemand, der abschätzen kann, wie viele Menschen jede Version braucht und wie das Ergebnis zu lesen ist. Das kann auch jemand aus der Datenanalyse sein. Der Rest des Plans, also Hypothese, Varianten und Entscheidungen, liegt beim Service-Team.
Werkzeugkarte
Das Arbeitsblatt, das das Team ausfüllt, ein Kästchen pro Feld.
- Hypothese
- Varianten
- Kennzahl
- Aufteilung
- Abbruchregel