Speed Usability Tests: Kostenlos 6 Probanden in 90 Minuten
- Autor Björn Frieling
- Kategorien User Research
- Date 1. März 2019
Zusammenfassung
Das Usability Testessen kann zum Durchführen von 6 Usability Tests mit 6 unterschiedlichen Nutzern innerhalb von 90 Minuten genutzt werden. Die Methodik hat einige Vorteile. Sie ist u.a. kostenlos und liefert gute Ergebnisse. Ein Testessen ist allerdings zeitlich eingeschränkt und nicht jede Komplexität lässt sich damit vernünftig abtesten. Um einen ersten Entwicklungsansatz zu hinterfragen, ist das Usability Testessen bzw. das Speed Usability Testing allerdings ein probates Mittel, das vor allem von kleineren Firmen und Startups genutzt werden sollte.
Was ist ein Usability Test?
Ein Usability Test ist eine qualitative Evaluationsform, um ein System auf seine Gebrauchstauglichkeit zu testen. Ein Usability Test wird zum Beispiel in der Softwareentwicklung dazu verwendet, um herauszufinden, ob ein System für einen Anwender effektiv, effizient und zufriedenstellend ist.
- Der Nutzer muss seine Aufgabe bzw. sein Ziel erfüllen können (effektiv).
- Der Nutzer soll dabei so wenig Ressourcen, wie kognitive Kapazitäten oder mobile Daten bei mobilen Apps, wie möglich aufwenden müssen (effizient).
- Die gesamte Bedienung und das gesamte Erlebnis (während der Nutzung), sollte für den User zufriedenstellend sein und nach Möglichkeit Spaß machen
Usability ist im Allgemeinen ein Teilbereich des Nutzererlebnis bzw. der User Experience (UX). Wie man UX und Usability voneinander abgrenzt, könnt ihr hier nachlesen: Was ist User Experience (UX)?.Bei einem Usability Test werden neben der Bedienfreundlichkeit der Oberfläche automatisch auch andere Aspekte getestet. So spielen gerade die Erwartungen an das System eine große Rolle bei der Nutzung und dessen Bewertung. Wenn man einem langjährigen iPhone Nutzer beispielsweise ein Android Handy in die Hand drückt, kann Spannendes passieren. Der iPhone Nutzer erwartet die standardmäßige ‘Zurück-Funktion’ links oben am Bildschirm. Der Android Nutzer rechnet mit einen Button am unteren Rand seines Smartphones.
Der Usability Test ist ein sehr häufig eingesetztes Mittel von UX Professionals, User Researchern oder UX Engineers. Es wird überprüft, ob das Konzept oder System alle Erwartungen der User erfüllt.
Wie ein Usability Test standardmäßig abläuft ist, kannst du hier nachlesen.
Usability Tests sind teuer
Oftmals hört man, dass Usability Tests sehr teuer sind. Gerade Startups haben oft nicht das notwendige Kapital, um sich solche Tests leisten zu können. Kurzfristig bzw. rein monetär gedacht, ist das sicherlich korrekt. Die Kosten einer monatelangen Fehlentwicklung sind am Ende aber weitaus höher und können gerade bei Startups zur Insolvenz führen. Umso wichtiger ist es frühzeitig im Entwicklungsprozess zu testen, ob man auf dem richtigen Weg ist.
Der User Centered Design Prozess ist ein Vorgehensmodell in der Entwicklung. Im Zentrum steht dabei der User. Wenn alle Phasen des Prozesses richtig angewendet werden, entsteht am Ende ein System, das genau auf die Bedürfnisse des Users zugeschnitten ist.
Labortest
Es lassen sich drei unterschiedliche Formen des Usability Tests unterscheiden. Wir beginnen mit dem klassischen Usability Labortest. Probanden, Nutzer oder Kunden der eigenen Nutzergruppe werden in ein ‚Labor‘ eingeladen. Oft werden diese Tests gerade in kleineren Firmen, die nicht das notwendige Know-How zur Durchführung haben, extern vergeben. Bei einer externen Vergabe wird in der Regel pro Teilnehmer abgerechnet. Je mehr Teilnehmer man dann testen möchte, desto teurer wird der Usability Test.
Remote Test
Eine andere Variante ist der sogenannte Remote Test. Dabei sitzen die Teilnehmer der echten Nutzergruppe beim Test nicht im Labor, sondern zuhause an ihrem eigenen Arbeitsplatz. Der Kontakt zwischen dem Moderator und dem Teilnehmer findet über das Telefon oder Videokonferenz-Systeme (z.B. Skype) statt. Der Vorteil ist, dass für den Test örtlich unabhängig agiert werden kann. Nachteilig ist, dass sich der Nutzer selbst um das notwendige Equipment und Software kümmern muss, damit er an einem solchen Usability Test teilnehmen kann. Da sich der Nutzer in seiner gewohnten Umgebung befindet, wird das Produkt realitätsnaher als im Labor getestet. Die Testergebnisse sind also sehr aussagekräftig.
Asynchroner Remote Test
Eine dritte Form des Usability Tests ist der sogenannte asynchrone Remote Test. Der Nutzer bekommt bestimmte Aufgaben gestellt, die er an eurem System oder an eurem Prototypen ausführen muss. Diese Aufgaben werden in Textform zur Verfügung gestellt. Es besteht kein telefonischer Kontakt zwischen dem Moderator und dem Teilnehmer. Oft ist der Prototyp für den Test über das Internet erreichbar. Die Aufzeichnung erfolgt über Video.
Einem großen Vorteil stellt hier die zeitliche Unabhängigkeit dar. Wie beim Remote Test ist man auch hier örtlich unabhängig. Ein gravierender Nachteil ist allerdings, dass ihr während des Tests niemals die Möglichkeit habt, Rückfragen zu stellen. Sollte euer Prototyp einmal nicht funktionieren, könnt ihr nicht gegensteuern und habt salopp ausgedrückt "Pech gehabt". Auch für diese Form des Testens gibt es einige Anbieter auf dem Markt, die auch die Rekrutierung der Probanden für euch übernehmen. Meist wird pro Teilnehmer abgerechnet. Im Allgemeinen sind diese Tests allerdings meist kostengünstiger.
Fazit der unterschiedlichen Usability Tests
Je nachdem welche Methode ihr wählt und wie viele Nutzer ihr benötigt, sind solche Tests teuer oder eben nicht. Wir legen euch ans Herz regelmäßig (im Sinne des User Centered Design Prozesses) zu testen. Denkt darüber nach, ob ihr den Test wirklich jedes Mal extern vergeben wollt. Alternativ könnt ihr auch eigene Räumlichkeiten anmieten. Ein Mix aus den 3 verschiedenen Usability Testmethoden ist sinnvoll.
Wie viele Probanden benötige ich für einen Usability Test?
Gerade wenn Usability Tests extern vergeben werden, kann es schnell ins Geld gehen und teuer werden. Viele Anbieter rechnen einen Grundbetrag ab und addieren pro Teilnehmer nochmals einen variablen Anteil. Manche Dienstleister geben eine Mindestanzahl an Teilnehmern vor, die man sowieso in jedem Fall buchen muss.
Oft steckt also primär ein monetäres Anliegen dahinter. Je mehr Teilnehmer, desto lukrativer für den Anbieter. Oft wird behauptet, dass eine hohe Anzahl an Probanden für valide Aussagen im Test zwangsläufig von Nöten ist. Aus sozialwissenschaftlicher Sicht ist diese Argumentation nicht korrekt.
Qualitative Methode
Ein Usability Test ist eine qualitative Methode, bei der ein halbstrukturiertes Interview mit offenen Fragen zum Einsatz kommt. Eine Aussage wird nicht mehr oder weniger valide, ob diese nun von 2 oder 3 Personen getätigt wird und dies vollkommen unabhängig von der Grundgesamtheit aller Teilnehmer des Usability Tests. Wenn man die Ergebnisse eines Usability Tests streng wissenschaftlich betrachtet, darf man die Aussagen, die darin getätigt werden, nicht quantifizieren. Selbstverständlich ist es praktisch gesehen legitim Aussagen, die nahezu jeder Teilnehmer macht, höher zu gewichten als Einzelnennungen. Ihr solltet allerdings die reine Anzahl nicht zu hoch bewerten.
Daher ist es wichtig, dass eure Kollegen aus dem Entwicklungsteam an einem solchen Test teilnehmen und diesen beobachten. Besitzt das ein oder andere Teammitglied bereits UX Erfahrung, sollte dieses zwangsläufig zu den Beobachtern gehören. Die Person kann später dabei helfen die Ergebnisse korrekt einzuordnen. Nicht alles was der Nutzer sagt, muss genau so wie er es sich wünscht umgesetzt werden. Die Ergebnisse sollten im Anschluss immer fachmännisch bewertet werden.
5 Nutzer reichen
Also wie viele Nutzer benötigt man nun für einen Usability Test? Nach Jacob Nielsen, liegt die kritische Masse bei lediglich 5 Nutzern*.
Wenn das System durch 5 Nutzer getestet wird, dann ist man in der Lage 80% aller großen Usability Probleme eines Systems aufzudecken.
Steve Krug geht in seinem Buch noch einen Schritt weiter. Wenn das System alle 4 Wochen einen Vormittag durch 3 Nutzer getestet wird, reicht das aus, um den Rest des Entwicklungsteams wieder für 4 Wochen neu zu beschäftigen*. Eine ähnliche Aussage tätigt auch Jacob Nielsen in seinem Artikel Usability for $200*. Nach genügend Iterationen gemäß des User Centered Design Prozesses, sollten sich schließlich immer weniger Usability Fehler finden, vorausgesetzt es ändert sich am System nichts Grundlegendes.
Eine gute Erklärung warum man besser öfters testet und diese Tests dafür mit weniger Nutzern durchführt, liefert Jacob Nielsen in diesem Video:
Kostenloses und effizientes Speed Usability Testing
Aufgrund der oben beschriebenen Kosten von Usability Labortests, hat sich die digitale Agentur quäntchen + glück eine neue Methode ausgedacht. Das sogenannte Usability Testessen. Das Usability Testessen ist mittlerweile in vielen Städten Deutschlands und über seine Grenzen hinaus in Österreich vertreten.
Wie läuft ein Usability Testessen ab?
Bei einem Usability Testessen gibt es mindestens 6 Teststationen und 6 Teilnehmer. Die Stationen testen ihre Produkte. Die freiwilligen Teilnehmer testen die Produkte. Das Ganze ist für alle Seiten kostenlos. Der Veranstalter spendiert Pizza und Getränke und stellt seine Räumlichkeiten zur Verfügung. Das Testessen findet jedes Mal bei einem anderen Veranstalter statt.
Das Prinzip ist ähnlich wie beim Speed Dating. Jeder Teilnehmer hat am Ende 6 Stationen besucht und deren Produkte getestet. Sollte es mehr Teilnehmer und Teststationen geben (die Anzahl von Stationen entspricht der Anzahl an Teilnehmern), dann nimmt der Teilnehmer dennoch nur an 6 Tests teil. Jede Runde dauert 12 Minuten + 3 Minuten Zeit, um die Station zu wechseln. 12 Minuten lang kann das System/App/Website einer Teststationen durch einen Probanden getestet werden. Für die Stationen bedeutet das natürlich, dass sie vom Standardablauf eines Usability Tests abweichen müssen. Im Prinzip habt ihr genau für eine Testaufgabe Zeit. Das ganze System abzutesten ist in 12 Minuten oft schwer. Der Fokus sollte somit auf einem Teil der Software liegen.
Vorteile des Speed Usability Testing
Das Event selbst bietet einige Vorteile. Man lernt Kollegen und UX Professionals anderer Firmen kennen. In recht ausgelassener Atmosphäre können neue Kontakte geknüpft und sich ausgetauscht werden. Ihr könnt schnell und kostenlos Usability Tests durchführen und eure Erkenntnisse daraus ziehen.
Nach Steve Krug und dem stimme ich zu, ist es besser eine Person am Anfang der Entwicklung zu testen, als 100 am Ende*. Genau dafür ist das Usability Testessen sehr gut geeignet. Auch der Arbeitsaufwand für eine Auswertung von 6 Probanden hält sich in Grenzen und ist in 2-3 Arbeitsstunden erledigt. Die Arbeitsergebnisse sind dennoch genauso valide, wie bei einem groß angelegten Labortest. Der Unterschied besteht hauptsächlich darin, dass der Labortest von externen Firmen in der internen Kommunikation meist höher angesehen wird.
Nachteile des Speed Usability Testing
Natürlich hat diese Methode auch Nachteile. Ein gravierender Nachteil ist die zeitliche Einschränkung auf 12 Minuten. Nicht alles und vor allem nicht jede Komplexität, die ein Produkt oder eine Software oft mit sich bringt, kann innerhalb von 12 Minuten in vollem Umfang getestet werden.
Bei einem Usability Testessen trefft ihr oft Personen, die nicht in eure Nutzergruppe passen. Meist sind es Menschen, die im digitalen Bereich arbeiten. Teilweise sind dort Designer, UX Engineers oder Entwickler anwesend und ihr erhaltet teilweise ein Expertenfeedback und kein richtiges Nutzerfeedback. Mit etwas Erfahrung könnt ihr dies aber auch gut filtern und wisst welche Ergebnisse zu berücksichtigen sind und welche nicht.
Nutzergruppe vs. Situation
Viele behaupten, dass die Usability Testteilnehmer unbedingt aus der eigenen Nutzergruppe stammen müssen. Das ist prinzipiell korrekt, die größten Usability Probleme können aber durch andere Nutzer genauso festgestellt werden. In der Psychologie wird der Situation meist wesentlich mehr Bedeutung zugeschrieben, als der Persönlichkeit. Der Teilbereich Sozialpsychologie beschäftigt sich nahezu ausschließlich mit der Untersuchung, wie unterschiedliche Situationen auf Menschen wirken. Die eindrucksvollsten Beispiele stammen sicherlich von Zimbardo et. al. mit seinem Stanford-Prison-Experiment oder von Milgram das Milgram-Experiment zum untersuchen von Gehorsam.
Es ist also viel wichtiger in 12 Minuten den richtigen Nutzungskontext herzustellen. Was bedeutet das? Beschreibt eure Aufgabe narrativ, damit der Teilnehmer sich in die Situation hineinversetzen kann. Gebt ihm realistische Ziele und Aufgaben vor, wie sich eure Nutzergruppe charakterisiert. Wenn der Nutzer weitere Hintergrundinformationen benötigt, dann gebt ihm diese mit. Versucht die Situation so realistisch wie möglich für ihn darzustellen. Habt ihr eine Handy App, dann testet auch auf dem Handy und nicht am Notebook.
Usability Testessen: Wann und wo?
Das Usability Testessen erfreut sich immer größerer Beliebtheit und findet wie oben schon erwähnt, mittlerweile regelmäßig in vielen Städten statt.
- Aachen
- Berlin
- Bielefeld
- Bonn
- Bremen
- Darmstadt
- Düsseldorf
- Erfurt
- Frankfurt
- Göttingen
- Hamburg
- Karlsruhe
- Koblenz
- Köln
- München
- Nürnberg
- Region Rosenheim
- Stuttgart
- Tirol
- Wien
- Wiesbaden / Mainz
Die Termine und alle weiteren Informationen dazu findet ihr unter www.usability-testessen.de.
Quellen
- Jakob Nielsen: Why You Only Need to Test With 5 Users.. 19. März 2000, abgerufen 21.01.2019.
- Jakob Nielsen: How Many Test Users in a Usability Study?. 04. Juni 2012, abgerufen 21.01.2019.
- Jakob Nielsen: Usability for $200. 02. Juni 2003, abgerufen 21.01.2019.
- Steve Krug: Don't make me think: A Common Sense Approach to Web Usability, Revised Edition, New Riders, 2013.
- Steve Krug: Rocket Surgery Made Easy: The Do-it-yourself Guide to Finding and Fixing Usability Problems, Auflage 1, New Riders, 2009.