10 typische User Research Biases

Ein User Research Bias ist eine Verzerrung der Daten aufgrund eines Seiteneffekts. Grob gesagt ist ein Bias ein Fehler in den Daten. Oftmals sind diese systematisch oder auch bedingt durch das Setting der User Research. Diese User Research Biases finden sich in Usability Tests, KANO Fragebögen, A/B Tests und jeder anderen Form der Datenerhebung. Wenn man diese Verzerrungen kennt, lassen sich die Ergebnisse besser und valider interpretieren. Anbei findest du typische Biases und wie diese auf unterschiedliche User Research Methoden in UX wirken.

Hawthorne Effekt

Der Hawthorne Effekt oder auch als Beobachtungseffekt bezeichnet, sagt aus, dass sich das Verhalten von Menschen ändert, sobald dieses beobachtet wird. Menschen handeln unterschiedlich wenn sie wissen, dass sie gerade beobachtet werden. Du kannst das ganz einfach selbst testen. Nimm dein Smartphone und sag einer anderen Person, dass du nun ein Video von ihr machst. Das Verhalten wird sich abrupt ändern. Bedenke also bei jeder Laboruntersuchung, dass das gezeigte Verhalten der Versuchsperson nicht unbedingt seinem normalen Nutzungsverhalten in seinem Nutzungskontext entspricht.

Tipp: Versuche immer eine Atmosphäre zu schaffen, durch die er zumindest zeitweise vergisst, dass er beobachtet wird.

Soziale Erwünschtheit

Menschen tendieren dazu sozial erwünscht zu antworten. Das bedeutet, dass Teilnehmer zum Beispiel Fragebögen über Ihre Persönlichkeit so beantworten, wie sie gerne gesehen wollen werden. Nicht unbedingt wie sie sind. Dies kann auch dazu führen, dass ein Teilnehmer in einer Untersuchung dein Produkt nicht wirklich kritisiert, weil er dich als Versuchsleiter nicht verletzen will.

Tipp: Führe niemals Untersuchungen selbst an deinem eigenen Produkt aus. Mache deinem Teilnehmer klar, dass er dich nicht verletzen kann. Bei Fragebögen mache deutlich, dass seine Antworten anonymisiert werden und diese nachher auf gar keinen Fall mehr zugeordnet werden können. Im Zweifel mache die Befragung digital und online.

Heuristik

Heuristiken sind grobe Faustregeln nach denen Menschen handeln und sich auch erinnern. Unser Gehirn nutzt dies um im allgemeinen Energie und kognitive Kapazitäten zu sparen. Heuristiken verzerren allerdings oft die Erinnerungen.

Verfügbarkeitsheuristik: Der Teil deiner Erinnerung der dir schnell einfällt, verzerrt alle anderen Ereignisse die ähnlich waren.

Repräsentativitätsheuristik: Ein Ereignis wird als Stereotyp herangezogen, weil dieses Ereignis alles andere überschatten. Wobei denkst du bei Terroranschlag? An den 11.09.2001 oder an das Bombenattentat beim Boston Marathon? Aber nicht nur Ereignisse sind so abrufbar. Es gibt starke allgemeine Assoziationen. Denke zum Beispiel an ein Werkzeug, eine Farbe, eine Blume.

War es Hammer oder Schraubenzieher, Rot oder Blau und war die Blume eine Rose oder vielleicht eine Tulpe?

Ankerheuristik: Wenn wir einen mentalen Anker haben (meist eine Zahl), dann werden die Erinnerungen dahingehend verzerrt. Wenn ich dich frage, wie viel dein letzter Restaurantbesuch gekostet hat und du in deinem Kopf hast, dass dieser normalerweise 25,-€ kostet, dann wirst du die Zahl in deinem Kopf an diese 25,-€ automatisch anpassen.

Tipp: Versuche Daten direkt zu erheben und nicht aus der Erinnerung deiner Teilnehmer. Erinnerungen abzufragen führen zwangsläufig zu einem User Research Bias.

Rosenthal Effekt oder Versuchsleitereffekt

Der Rosenthal Effekt trifft immer dann als User Research Bias auf, wenn du selbst deine Studien an deinem Konzept oder Produkt durchführst. Aber auch wenn andere Personen dies machen. Er besagt, dass der Versuchsleiter automatisch auch das Antwortverhalten des Probanden beeinflusst. Am einfachsten ist dies über Sympathie zu erklären. Allerdings wirken auch leitende oder gar Suggestivfragen auf diesen Effekt ein. Versuche daher als Versuchsleiter so wenig Informationen wie möglich zu geben.

Tipp: Bereite dir standardisierte Sätze vor, welche du wie ein Mantra wiederholst. Gib ansonsten keine weiteren Informationen. Dies kannst du deinem Teilnehmer auch vor der Studie so mitteilen, damit er weiß, dass es nicht an ihm liegt. Ein Beispiel: „Bitte sprechen Sie aus, was Sie gerade denken.“

Pygmalion Effekt

Ein ähnlicher User Research Bias zum Rosenthal Effekt ist der Pygmalion Effekt. Dabei wird die Erwartung des Versuchsleiters subtil und implizit auf die Versuchsperson übertragen. Erwartet also der Versuchsleiter, dass der Teilnehmer scheitert, dann führt dies auch eher zum Scheitern. Dieser Effekt lässt sich bei einer Untersuchung mit direktem Kontakt kaum ausschalten. Ähnlich wie beim Rosenthal Effekt sollte der Versuchsleiter so neutral wie möglich auftreten und seine implizite Erwartung korrigieren

Tipp: Wenn du die Möglichkeit hast, dann setze unterschiedliche Versuchsleiter bei den Probanden ein. Achte darauf, dass nicht beide die gleichen impliziten Annahmen über dein Produkt haben.

Halo Effekt

Der Halo – Effekt ist ein recht häufiger, allerdings oft missachteter User Research Bias. Dabei ist ein Ereignis so gut oder schlecht, dass dies das gesamte Urteil über ein Produkt, vielleicht sogar eine Marke beeinflusst. Im Internet tritt dieser Effekt vor allem dann auf, wenn eine Seite sehr langsam lädt. Dieser Umstand kann dazu führen, dass das gesamte Produkt als schlecht empfunden wird. Auch wenn die Seite zum Beispiel nur dem Verkauf des Produkts dient. Noch schlimmer ist es, wenn eine solch langsame Ladezeit dazu führt, dass der Nutzer das Vertrauen in die Seite und somit auch die Firma verliert. Aber auch andere Teile deines Produkts können besonders positiv oder besonders negativ herausstechen. Dies wirkt sich dann auf die Gesamtwertung aus. Bei besonders Positiven Halo – Effekten kann es dann sein, dass du Details übersiehst, die andere Nutzer stören würden.

Tipp: Achte darauf, was Probanden zu dir sagen. Wenn sie immer wieder ein bestimmtes Thema wiederholen, dann handelt es sich hierbei mit hoher Wahrscheinlichkeit um einen Halo – Effekt. Wenn dieser besonders negativ ist, solltest du unbedingt genau daran arbeiten. Bei besonders positivem Halo – Effekt missachte nicht die anderen Ergebnisse.

Priming

Unser Gehirn kann geprimt werden. Das bedeutet, es nimmt bestimmte Sachen im Voraus an. Es berechnet die Wahrscheinlichkeit eines eintreffenden Ereignisses. Lese zum Beispiel folgende Zahlen laut vor:

1, 2, 3, 4, 5, 8

Hast du bei der 8 kurz gezögert?

Eine andere Form wäre Folgendes, was du an einem Kollegen ausprobieren kannst:

Welche Farbe haben Wolken? Die Farbe von Schnee? Die Farbe von einem Blatt Papier? Welche Farbe haben Zähne? Was trinkt eine Kuh?

Hat dein Kollege mit Milch geantwortet? Zumindest sollte er kurz gezögert haben, wenn er dieses kleine ‚Spielchen‘ noch nicht kennt. Genau das ist Priming. Dein Gehirn legt sich schon im Voraus auf einen Wert fest. Dieser Effekt kann auch bei deinen Studien auftreten. Gerade bei Inkonsistenz in der Usability kannst du diesen Effekt immer wieder beobachten.

Tipp: Achte darauf keine Informationen vorab an deinen Teilnehmer zu geben, damit dieser nicht ausversehen geprimt wird. Falls du vor deinem Produkt den Teilnehmer zu einem Konkurrenzprodukt befragst, achte darauf, dass genügend Zeit zwischen den Wertungen verstreicht, damit dieser nicht mehr geprimt ist.

Ein weiterer Effekt der Priming ganz anschaulich darstellt, ist der Stroop Effekt. Dieser Effekt zeigt auch wie stark unsere Automatisierung beim Lesen abläuft. Hier kannst du den Stroop Test mal selbst ausprobieren (Englisch).

Reihenfolgeeffekt

Der Reihenfolgeneffekt tritt gehäuft bei A/B – Tests auf. Als User Research Bias lässt sich dieser aber oft einfach vermeiden, in dem du die Reihenfolge umkehrst. Der Effekt kann auftreten, wenn dein Teilnehmer immer erst Produktseite A anschaut und im Anschluss Produktseite B. Durch die erste Produktseite schaffst du eine Referenz, mit der der Teilnehmer die zweie Seite vergleicht. Dies kann zu Effekten führen. Ich empfehle dir einfach die Reihenfolge zu rotieren. Solltest du nicht nur 2 Ausprägungen haben, sondern zum Beispiel 8, dann mach die Anordnung in einem lateinischen Quadrat Sinn. Noch besser ist es, wenn du den Zufall entscheiden lässt.

Tipp: Vermeide Reihenfolge – Effekte durch zufällige Darbietung oder durch ein lateinisches Quadrat bei der Zuordnung der Teilnehmer.

Lerneffekt

Lerneffekte sind häufig ein User Research Bias. Allerdings kann dieser auch nützlich sein, falls du die Lernfähigkeit (eines des 7 Dialogprinzipien) deines Systems untersuchst. Gerade bei Usability Tests treten diese Lerneffekte immer wieder auf. Das gilt vor allem für einzelne Elemente wie Buttons, Navigationsleisten usw. Der Nutzer ist daran gewohnt, wie diese Elemente funktionieren. Ändere dieses allgemeine Verhalten daher nur mit Bedacht. Für deine Studien bedeutet dies, falls du den Status Quo untersuchen willst, dass du dir neue Teilnehmer suchen musst. Da vorherige Teilnehmer dein System schon ‚gelernt‘ haben könnten.

Je nach Nutzergruppe und nach deinem Produkt solltest du also entscheiden, ob du Teilnehmer gehäuft an deinen Studien teilnehmen lassen willst. Achte zudem darauf, dass deine Teilnehmer im Allgemeinen nicht zu viel an Studien deiner Art teilnehmen, denn auch dabei können Lerneffekte entstehen. Hattest du schon einmal einen Teilnehmer der an einigen Usability Tests teilgenommen hat? Du musst ihn nie erinnern laut zu sprechen, er macht dies schon automatisch. Das ist ein Lerneffekt.

Tipp: Achte bei der Auswahl deiner Probanden darauf, was du untersuchen willst. Gerade bei wiederholter Testung empfiehlt sich oft ein Mix aus vorherigen und neuen Probanden. Achte darauf, was der Nutzer gegebenenfalls an deinem System schon gelernt haben könnte.

Primacy – Recency Effekt

Unser Gedächtnis merkt sich meist die ersten und die letzten Dinge einer Reihenfolge. Die Dinge in der Mitte werden nicht so gut erinnert. Das könnte dir schon einmal bei deinem eigenen Lernverhalten aufgefallen sein, falls du etwas auswendig lernen musstest, zum Beispiel beim Lernen von Vokabeln. Falls nicht empfehle ich dir eine Runde Memory zu spielen. Auch da wirst du genau diesen Effekt bei dir selbst erleben. Das bedeutet aber auch, dass deine Teilnehmer sich vor allem in einer abschließenden Befragung an den ersten und letzten Eindruck deines Produkts erinnern werden. Vorausgesetzt natürlich das kein anderer Effekt wie der Halo – Effekt dazwischen kommt.

Tipp: Wenn dein Teilnehmer sich nicht mehr so genau an die Teile in der Mitte deiner Untersuchung erinnern kann, ist dies kein negatives Zeichen. Denn ihm ist nichts besonders Negatives aufgefallen. Das Gleiche gilt allerdings auch für das Positive. Achte bei einer abschließenden Befragung darauf, dass der Teilnehmer ausreichend Zeit hat, sich an diesen Teil der Untersuchung wirklich zu erinnern. Notfalls beschreibe diesen Teil der Untersuchung ohne weitere Informationen zu geben. Oder führe Ihn falls möglich noch einmal an die entsprechende Stelle. Bei einem Fragebogen nutze online die Funktion der zufälligen Reihenfolge, um diesen Effekt auszugleichen.

Fazit

Jede Studie hat mit User Research Biases zu kämpfen. Wenn du diese kennst, kannst du deine Ergebnisse besser validieren. Zusätzlich hast du die Möglichkeit bei der Versuchsanordnung darauf zu achten, diese zu vermeiden. Des Weiteren ist das Wichtigste an den Ergebnissen immer die Interpretation. Mit dem Wissen über die oben genannten User Research Biases kannst du deine Ergebnisse besser interpretieren und kommst zu besseren Entscheidungen.