Im Rahmen des 4. UI/UX Meetups führten wir ein Usability Testessen für unser Produkt Exply durch. Mehr zum Meetup findet ihr hier.
Dieser Artikel beschreibt im Detail wie wir den Usability Test für Exply vorbereitet und durchgeführt haben. Nutzt gern die Links für den direkten Einstieg in die einzelnen Themen:
In der Theorie ist eine Usability Testessen einfach umzusetzen. Laut einschlägiger Literatur reichen bereits 5 User aus, um 85% der Usability Probleme zu entdecken. Die restlichen 15% bedürfen weiterer 15 User. Idealerweise ist der Testablauf iterativ. Das heißt, der erste Test wird mit 5 Usern durchgeführt, danach wird verbessert, um anschließend wieder mit 5 Usern zu testen und so weiter.
Fragebögen sind ein probates Mittel zur Informationsgewinnung. Oftmals beinhalten sie jedoch grundlegende Designfehler oder sind schlichtweg zu lang. Ohne groß ins Detail zu gehen sollte auf folgende Punkte geachtet werden:
In der Literatur finden sich mehrere Varianten standardisierter Fragebögen zur Inspiration:
Einen Fragebogen um des Fragebogenswillen zu haben, war nicht unser Ziel. Durch weitere Recherche stießen wir auf zwei einfache Fragen von Jared Spool, welche er nach jedem Usability Test stellt:
Anmerkung: User dürfen für die Beantwortung der Fragen gern ein bisschen durch die Anwendung "touren", um ihr Gedächtnis aufzufrischen.
Um die Testergebnisse besser bewerten zu können, bietet es sich an zu Beginn ein paar allgemeine Angaben abzufragen:
Jeder Fragebogen sollte zudem durch den Moderator zufällig nummeriert bzw. benannt werden, um die Antworten später dem Screenrecording zuzuordnen.
Die Bezeichnung lässt bereits erahnen, wie diese Methode funktioniert. Grundsätzlich sollen die Probanden während des Tests zu jeder Zeit sagen, was sie denken und erwarten, wenn sie bspw. auf etwas klicken wollen oder geklickt haben.
In der Praxis funktioniert dies von User zu User unterschiedlich gut. Der häufigere Fall ist, dass User während der Szenarien an bestimmten Dingen scheitern und aufhören. Sollte dies passieren, dann fragen die Moderatoren:
Wichtig dabei ist, dass die Lösung nicht direkt genannt wird, sondern erfragt wird, was unklar ist. Damit lassen sich Schwachstellen unmittelbar erkennen. Suggestivfragen sind kontraproduktiv.
Die urpsrüngliche Gestaltung der Szenarien erfolgte "aus dem Bauch heraus". Wir wollten den Einstieg eines neuen Exply-Nutzers nachempfinden, um herauszufinden, wie gut sie sich in Exply zurechtfinden und ob sie die innovativen Konzepte ohne Erklärungen verstehen.
Dafür teilten wir die Nutzer in 2 Gruppen ein (A/B-Test):
Der Grad der Komplexität sowie der inhaltliche Tiefgang sollten von Aufgabe zu Aufgabe zunehmen und einem roten Faden folgen, um ein natürliches Verhalten neuer Nutzer der Anwendung zu simulieren. Diese Art der Gestaltung ist kein Muss. Für unser Ziel war es ideal.
Die Aufgaben werden im Umfang eines Tutorials beschrieben. Jeder Moderator sollte die Szenarien mindestens einmal selber probieren und die Lösung kennen. Gerade bei Anwendungen, die keine Massenprodukte sind (wie bspw. Online-Shops), darf der Moderator auch Hinweise geben, wenn das Testende erreicht ist. Am obigen Beispiel der Bestellung von drei gelben Quietscheenten ist dies hinfällig.
Mit 8 Test Stationen und 25 Testern war klar, dass das ursprüngliche Setup keinen Bestand mehr hatte, wenn wir das Testessen kurz, knackig und mit Spaß durchführen wollten. Um diesen Konflikt zu lösen, gab es mehrere Lösungswege:
Schnell war klar, dass wir die Testszenarien sowohl in der Anzahl als auch in sich selbst reduzieren mussten. Eine Stunde pro Testlauf war in Anbetracht der obigen Umstände viel zu viel.
Mehere User gleichzeitig an einen Test zu lassen, schien uns eine gute Option, wenn sie sich a) nichts gegenseitig vorsagen und b) die Teilaufgaben abwechselnd selbstständig lösen. Nach Rücksprache mit Janina Peissig (Danke nochmals für den Austausch!) ließen wir die Finger davon. Usability Tester fühlen sich auch innerhalb lockerer Test-Atmosphäre beobachtet. Weitere User an der selben Teststation verstärken diesen Effekt und können das Ergebnis erheblich verzerren und damit unbrauchbar machen.
Die Abhängigkeit der Szenarien untereinander sorgte auch dafür, dass User alle Szenarien hintereinander an einer Station bearbeiteten. Diese Herangehensweise hatte den positiven Nebeneffekt, Zeitverluste und Organisationsaufwand durch Stationswechsel minimal zu halten.
Nachfolgend findet ihr unsere Testszenarien für Exply als Inspiration:
Willkommen in Exply. Du willst eine bessere Übersicht über dein Unternehmen bekommen. Exply stellt dir dafür eine Plattform zur Verfügung, die du mit Dashboards zu verschiedenen Bereichen füllen kannst, z.B. für einzelne Geschäftsbereiche oder Kunden. Es ist wichtig, dass du die Grundfunktionen von Exply kennst. Bewältige bitte die nachfolgenden Fragen:
Als erstes willst du wissen, an welchen Aufgaben dein Team gerade arbeitet und wieviele Arbeitsstunden in welches Projekt fließen. Lege dafür ein neues Team-Dashboard an, dass dir dafür verschiedene Auswertungen für diesen Monat zeigt. Welche Widgets du für die Darstellung nutzt, steht an der jeweiligen Aufgabe. Gib deinem Dashboard und den Widgets je einen aussagekräftigen Titel.
Erstelle je ein Widget, dass dir
Dein Dashboard zeigt nun bereits die wichtigsten Informationen an. Nun willst du dein Team Dashboard um einen Vergleich zum Vormonat erweitern. Dazu duplizierst du die vorherige Widget Gruppe.
Dein Dashboard ist nun fertig und du willst es verschiedenen Nutzern freigeben. Dafür erstellst du neue User für den Kunden "LexCorp" sowie dein Team mit den Berechtigungen für die entsprechenden Dashboards und testest anschließend, ob die Zugriffe richtig eingestellt sind.
Logisch, auf die Pflicht folgt die Kür - die Auswertung des Usability Tests ;-)
Klar war auch, dass es viele Mehrfachnennungen geben wird, also ist es unnötig, dass jeder seine händischen Mitschriften digitalisiert und einer sie dann zusammenfasst. Wie in unserem Blog zum Thema User Experience als Team-Effort beschrieben, ist ein gemeinsames Verständnis und "an einem Strang ziehen" für Usability und UX sehr hilfreich. Ebenso können die Problemstellen im Gespräch einfach reproduziert und in den Kontext gesetzt werden.
Also setzten wir uns zusammen. Einer beginnt und listet der Reihe nach die Stolpersteine der Tester auf. Wichtig ist hierbei, dass die Runde im sogennanten Problem-Space bleibt und nicht direkt über Lösungen diskutiert. Um fokusiert zum Ziel zu kommen, ist für Letzteres ein separater Rahmen besser geeignet.
Insgesamt beschrieben wir knapp 90 Klebezettel mit Anmerkungen der Tester. Nach einem entspannten Wochenende und somit einigen Tagen Abstand clusterte eine kleinere Gruppe sämtliche Zettel in sinnvolle Kategorien:
Interessanterweise fielen lediglich 3 Anmerkungen in die Kategorie "Won't fix", die wir nicht ändern werden, da sie in anderen etablierten Anwendung genauso umgesetzt sind. Im nächsten Schritt widmen wir uns den Quick Fixes, da diese schnell umgesetzt werden können (ggfs. "zwischendurch") und keiner großen Konzeption bedürfen.
Im Nachhinein stellte sich auch heraus, dass die Annahme, dass User mit Guided Tour deutlich besser in Exply zurecht kommen als ohne, falsch war. Die aktuelle Guided Tour ist für Neueinsteiger zu lang, passiert zu viele Bereiche und verwirrt dadurch.
Wir Sandstormer helfen anderen den Status Quo infrage zu stellen und über sich hinaus zu wachsen. Also geht raus, lernt neue Konzepte & Ideen kennen, hinterfragt sie und macht etwas eigenes.
Wenn dir dieser Artikel gefallen hat, dann schau in unserem Blog vorbei. Wir schreiben über technische Lösungen, Neos & Flow, Veranstaltungen und alle möglichen Dinge, die unsere tägliche Arbeit betreffen. Folgt uns auf Twitter & Facebook, um über neue Artikel benachrichtigt zu werden.
Und wenn es ein Projekt gibt, bei dem wir dir helfen können, dann kontaktiere uns einfach. Wir freuen uns, von dir zu hören!
Dein Besuch auf unserer Website produziert laut der Messung auf websitecarbon.com nur 0,28 g CO₂.
