A/B Tests – Einfach und effizient an wertvolle Daten kommen

A/B Tests sind häufig genutzte Evaluationsmöglichkeiten innerhalb einer User Research. In den Sozialwissenschaften ist dieser Test als Paarvergleichstest bekannt. Dabei werden zwei unterschiedliche Versionen miteinander verglichen. Dabei können auch mehr als 2 Versionen verglichen werden. Im Gegensatz zu einem Usability Test, ist ein A/B Test meist eine quantitative Messung und wird oft über Analytics Programme unterstützt.

Ziel

In einem A/B Test versuchst du herauszufinden, welche deiner Varianten am besten bei deinem Kunden ankommt. Der Test und der Testaufbau sind sehr einfach. Das Ergebnis ist aber sehr wertvoll für die weitere Entwicklung deines Produkts.

Aufbau eines A/B Test

Du baust 2 oder mehr Varianten einer Seite oder eines Produkts. Diese sollten sich nach Möglichkeit nur in einer Komponente unterscheiden. Zum Beispiel im Wording eines Buttons. Oder in der Farbe eines Elements. Auch ob eine Listendarstellung besser als eine Kacheldarstellung ist, lässt sich darüber gut testen.

Du kannst einen A/B Test mit einem Prototypen machen oder aber auch im Live – System integrieren. Wichtig ist, dass du deine Teilnehmer zufällig zuordnest. Präsentierst du einem Teilnehmer mehrere Versionen, dann nennt sich dies ‚Testwiederholung‘. Das ist bei einer statistischen Auswertung wichtig. Der Vorteil ist, dass du weniger Teilnehmer benötigst. Der Nachteil besteht in User Research Biases.

Wenn du die Möglichkeit hast am Live System zu testen, dann empfehle ich dir jedem Teilnehmer nur eine Version zu zeigen. Messe mit diversen Analytics Tools, welche Variante besser abschneidet. Dazu musst du vorher KPIs definieren um dies adäquat zu messen. Ein Beispiel wäre die Anzahl verkaufter Produkte oder die Bounce – Rate. Je nachdem was dein Ziel ist.

Was du vermeiden solltest

Vermeide mehrere Komponenten gleichzeitig zu testen. Gerade bei einer quantitativen Erhebung, weißt du nachher nicht, was genau den Unterschied gemacht hat. Mache stattdessen lieber mehrere A/B Tests hintereinander. Eine andere Möglichkeit besteht darin, alle möglichen Varianten abzutesten. Das können aber sehr schnell sehr viele werden.

Ein Beispiel:

Sagen wir du hast eine Ergebnisseite. Du willst nun wissen welche Variante am besten ankommt. Du hast dir eine Liste und eine Kacheldarstellung überlegt. Um zu den Details zu kommen hast du für den Button das Wording ‚Mehr‘ und ‚Details‘ gewählt. Den Button willst du Blau, Rot oder Grün einfärben. Daraus ergeben sich 2x2x3 also 12 mögliche Kombinationen. Je mehr Komponenten du in einem A/B Test änderst, desto mehr Varianten musst du erstellen.

Typische User Research Biases beim A/B Test

Der A/B Test hat nicht allzu viele User Research Biases. Eine Rolle spielt der Primacy-Recency-Effekt, sowie der Reihenfolgeneffekt. Achte darauf diese zu vermeiden. Wie du User Research Biases vermeiden kannst, kannst du hier nachlesen.

Auswertung

Die Auswertung kannst du in diesem Fall statistisch machen. Je nach Anzahl der Teilnehmer kannst du einen t-Test oder eine Varianzanalyse verwenden. Schaue vorher aber nach, ob deine Gruppe die Bedingungen für diese Tests erfüllt. Alternativ kannst du auch sogenannte nonparametrische Tests verwenden, wie den Wilcoxon-Rangsummen Test oder den Mann-Whitney-U Test. In der Grafik kannst du sehen, wann du welchen Test verwenden solltest.

Zusammenfassung A/B Test

Ein A/B Test ist eine sehr effiziente Methode, um datenbasierte Entscheidungen zu treffen. Wenn du die Möglichkeit hast, versuche dies direkt am Live – System. Schau ob sich deine Ergebnisse ändern. Es gibt jede Menge Analytics Tools die dich dabei unterstützen. Der A/B – Test kann aber auch in der frühen Konzeption genutzt werden. Auch eine qualitative Variante davon ist denkbar.