Exply Usability Testessen

04.06.2018

Im Rahmen des 4. UI/UX Meetups führten wir ein Usability Testessen für unser Produkt Exply durch. Mehr zum Meetup findet ihr hier.

Dieser Artikel beschreibt im Detail wie wir den Usability Test für Exply vorbereitet und durchgeführt haben. Nutzt gern die Links für den direkten Einstieg in die einzelnen Themen:

Das die Summe der Stunden bei der Präsentation markiert werden mussten, war sehr bezeichnend.
User zur Lesbarkeit der Werte in Exply
12 Partypizzen für unser Usability Testessen

Theorie Usability Testessen Vorbereitung

In der Theorie ist eine Usability Testessen einfach umzusetzen. Laut einschlägiger Literatur reichen bereits 5 User aus, um 85% der Usability Probleme zu entdecken. Die restlichen 15% bedürfen weiterer 15 User. Idealerweise ist der Testablauf iterativ. Das heißt, der erste Test wird mit 5 Usern durchgeführt, danach wird verbessert, um anschließend wieder mit 5 Usern zu testen und so weiter.

Was wird benötigt?

  • Test-Stationen und betreuende Moderatoren:
    Klar, die User sollen/wollen irgendwo testen. Je nachdem wieviele Tester sich anmelden, sollte die Anzahl der Stationen größer werden. Prinzipiell gilt: je mehr desto besser! Natürlich sollte jede Station auch einen betreuenden Moderator haben.
  • Vorbereitete Test Szenarien:
    Das klassische Usability Testessen wird mit "6 Runden à 12 Minuten" beschrieben. Die Herausforderung liegt hierbei in der Gesamtdauer der Szenarien. Besonders bei deutlich mehr Testern als Test-Stationen ist wichtig, dass die Szenarien nicht zu lang und komplex sind. Dies gilt umso mehr für Andwendungen, mit denen User im Alltag eher weniger zu tun haben. Werden bspw. Shop-Systeme getestet und Tester sollen 3 gelbe Quietscheenten in den Warenkorb legen (Danke für das Beispiel Tobias) ist der Mehrheit klar, wie dies grundsätzlich funktioniert.
  • 3-4 Partypizzen (50% vegetarisch)
    Denkt auch an Servietten bzw. Pappteller, wenn ihr zu wenig "normale" Teller in eurer Küche habt ;-)
  • Getränke (50% alkoholfrei)
    In der Sommerzeit kommt Radler sehr gut an ;-)

Nicht vergessen!

  • Briefing der Test-Moderatoren
  • Fragebogen für Tester anfertigen (mehr dazu unten)
  • Gleicher Stand der Software auf allen Geräten
  • Software zum Aufzeichnen des Bildschirms und Mauszeigers - Mac: QuickTime (zusätzliches Eye-Tracking ist Bonus)
  • Handout für Tester mit Hilfestellungen
  • Testet die Szenarien vorher mit einer externen Person bspw. mit Freunden oder Familie
  • NICHT mehrere User gleichzeitig an einem Platz testen lassen!

Usability Testessen Ablauf

  1. Willkommen heißen
  2. Kurzer Vortrag zum Produkt
  3. Testen - 60 min - 6 Stationen á 10 min
  4. Kurzer Fragebogen nach den Tests
  5. Debriefing (optional)

Usability Test Fragebogen

Fragebögen sind ein probates Mittel zur Informationsgewinnung. Oftmals beinhalten sie jedoch grundlegende Designfehler oder sind schlichtweg zu lang. Ohne groß ins Detail zu gehen sollte auf folgende Punkte geachtet werden:

  • Offene Fragen stellen
  • Liker-Skala
    • bipolare Behauptungen aufstellen
    • Rating (Skala 1-5)
  • Einige negierte Aussagen können zur Lügenerkennung eingesetzt werden (Auf Fragebogenlänge achten)
  • Aussagekräftige Fragen stellen
  • Klare, eindeutige Fragen - keine Rückfragen!
  • Keine doppelte Verneinung
  • Keine Suggestivfragen

In der Literatur finden sich mehrere Varianten standardisierter Fragebögen zur Inspiration:

Einen Fragebogen um des Fragebogenswillen zu haben, war nicht unser Ziel. Durch weitere Recherche stießen wir auf zwei einfache Fragen von Jared Spool, welche er nach jedem Usability Test stellt:

  1. Was sind die zwei Dinge, die dir am Design außerordentlich gefallen haben?
  2. Was sind die zwei Dinge, die dir am Design überhaupt nicht gefallen haben?

Anmerkung: User dürfen für die Beantwortung der Fragen gern ein bisschen durch die Anwendung "touren", um ihr Gedächtnis aufzufrischen.

Um die Testergebnisse besser bewerten zu können, bietet es sich an zu Beginn ein paar allgemeine Angaben abzufragen:

  • Branche
  • Alter
  • Hast du bereits mit einem Daten Analysetool gearbeitet?

Jeder Fragebogen sollte zudem durch den Moderator zufällig nummeriert bzw. benannt werden, um die Antworten später dem Screenrecording zuzuordnen.

Während des Tests - Thinking Aloud Methode

Die Bezeichnung lässt bereits erahnen, wie diese Methode funktioniert. Grundsätzlich sollen die Probanden während des Tests zu jeder Zeit sagen, was sie denken und erwarten, wenn sie bspw. auf etwas klicken wollen oder geklickt haben.

In der Praxis funktioniert dies von User zu User unterschiedlich gut. Der häufigere Fall ist, dass User während der Szenarien an bestimmten Dingen scheitern und aufhören. Sollte dies passieren, dann fragen die Moderatoren:

  • Was denkst du gerade?
  • Was würdest du erwarten?
  • Was denkst du, was diese Meldung zu bedeuten hat?
  • Was denkst du, was passieren wird?
  • Welche Reaktionen hast du erwartet?

Wichtig dabei ist, dass die Lösung nicht direkt genannt wird, sondern erfragt wird, was unklar ist. Damit lassen sich Schwachstellen unmittelbar erkennen. Suggestivfragen sind kontraproduktiv.

User Test Szenarien

Die urpsrüngliche Gestaltung der Szenarien erfolgte "aus dem Bauch heraus". Wir wollten den Einstieg eines neuen Exply-Nutzers nachempfinden, um herauszufinden, wie gut sie sich in Exply zurechtfinden und ob sie die innovativen Konzepte ohne Erklärungen verstehen.

Dafür teilten wir die Nutzer in 2 Gruppen ein (A/B-Test):

  • Gruppe A nutzt die Guided Tour, die grundlegende Funktionen der Anwendung erklärt
  • Gruppe B startet ohne Guided Tour

Der Grad der Komplexität sowie der inhaltliche Tiefgang sollten von Aufgabe zu Aufgabe zunehmen und einem roten Faden folgen, um ein natürliches Verhalten neuer Nutzer der Anwendung zu simulieren. Diese Art der Gestaltung ist kein Muss. Für unser Ziel war es ideal.

Die Aufgaben werden im Umfang eines Tutorials beschrieben. Jeder Moderator sollte die Szenarien mindestens einmal selber probieren und die Lösung kennen. Gerade bei Anwendungen, die keine Massenprodukte sind (wie bspw. Online-Shops), darf der Moderator auch Hinweise geben, wenn das Testende erreicht ist. Am obigen Beispiel der Bestellung von drei gelben Quietscheenten ist dies hinfällig.

Mit 8 Test Stationen und 25 Testern war klar, dass das ursprüngliche Setup keinen Bestand mehr hatte, wenn wir das Testessen kurz, knackig und mit Spaß durchführen wollten. Um diesen Konflikt zu lösen, gab es mehrere Lösungswege:

  1. Szenarien kürzen
  2. Mehrere Tester gleichzeitig je Station
  3. Mehr Stationen

Schnell war klar, dass wir die Testszenarien sowohl in der Anzahl als auch in sich selbst reduzieren mussten. Eine Stunde pro Testlauf war in Anbetracht der obigen Umstände viel zu viel.

Mehere User gleichzeitig an einen Test zu lassen, schien uns eine gute Option, wenn sie sich a) nichts gegenseitig vorsagen und b) die Teilaufgaben abwechselnd selbstständig lösen. Nach Rücksprache mit Janina Peissig (Danke nochmals für den Austausch!) ließen wir die Finger davon. Usability Tester fühlen sich auch innerhalb lockerer Test-Atmosphäre beobachtet. Weitere User an der selben Teststation verstärken diesen Effekt und können das Ergebnis erheblich verzerren und damit unbrauchbar machen.

Die Abhängigkeit der Szenarien untereinander sorgte auch dafür, dass User alle Szenarien hintereinander an einer Station bearbeiteten. Diese Herangehensweise hatte den positiven Nebeneffekt, Zeitverluste und Organisationsaufwand durch Stationswechsel minimal zu halten.

Exply Usability Test Szenarien

Nachfolgend findet ihr unsere Testszenarien für Exply als Inspiration:

Szenario 1 - Wilkommen in Exply

Willkommen in Exply. Du willst eine bessere Übersicht über dein Unternehmen bekommen. Exply stellt dir dafür eine Plattform zur Verfügung, die du mit Dashboards zu verschiedenen Bereichen füllen kannst, z.B. für einzelne Geschäftsbereiche oder Kunden. Es ist wichtig, dass du die Grundfunktionen von Exply kennst. Bewältige bitte die nachfolgenden Fragen:

  • Wo ist die Dashboard-Übersicht?
  • Wo erstellt man ein neues Dashboard?
  • Wo können neue Benutzer hinzugefügt und bestehende bearbeitet werden?

Szenario 2 - Team Dashboard

Als erstes willst du wissen, an welchen Aufgaben dein Team gerade arbeitet und wieviele Arbeitsstunden in welches Projekt fließen. Lege dafür ein neues Team-Dashboard an, dass dir dafür verschiedene Auswertungen für diesen Monat zeigt. Welche Widgets du für die Darstellung nutzt, steht an der jeweiligen Aufgabe. Gib deinem Dashboard und den Widgets je einen aussagekräftigen Titel.

Erstelle je ein Widget, dass dir 

  • die Verteilung der täglichen Arbeitszeit für den aktuellen Monat anzeigt (Timeline Chart)
  • die Verteilung der Arbeitszeiten über die Projekte anzeigt (Row Chart)
  • den Vergleich der billable und logged Hours pro Team Mitglied anzeigt (Pivot Table oder Row Chart)

Szenario 3 - Team Dashboard Erweiterung

Dein Dashboard zeigt nun bereits die wichtigsten Informationen an. Nun willst du dein Team Dashboard um einen Vergleich zum Vormonat erweitern. Dazu duplizierst du die vorherige Widget Gruppe.

  • Dupliziere die im vorherigen Szenario erstellte Widget Gruppe
  • Stelle den Time Selector der neuen Gruppe standardmäßig auf letzten Monat ein
  • Füge eine neue Widget Gruppe hinzu, die du als globale Gruppe einstellst und ganz oben platzierst
  • Füge der globalen Gruppe einen Personenfilter in Form eines Row Charts hinzu
  • Füge der globalen Gruppe einen Filter hinzu, der das Projekt "internal" ausschließt

Szenario 4 - User Management

Dein Dashboard ist nun fertig und du willst es verschiedenen Nutzern freigeben. Dafür erstellst du neue User für den Kunden "LexCorp" sowie dein Team mit den Berechtigungen für die entsprechenden Dashboards und testest anschließend, ob die Zugriffe richtig eingestellt sind.

  • Nutzer LexCorp mit Zugriff auf das „Team Dashboard“ mit Freigabe für die Projekte LexCorp und Barrytron
  • Gruppe für dein „Team“ mit vollem Lesezugriff auf alle Daten
  • Nutzer „Team Member“ mit Zuweisung zur Gruppe „Team“

84 Anmerkungen und 5 Bugs

Usability Testessen Auswertung

Logisch, auf die Pflicht folgt die Kür - die Auswertung des Usability Tests ;-)

Klar war auch, dass es viele Mehrfachnennungen geben wird, also ist es unnötig, dass jeder seine händischen Mitschriften digitalisiert und einer sie dann zusammenfasst. Wie in unserem Blog zum Thema User Experience als Team-Effort beschrieben, ist ein gemeinsames Verständnis und "an einem Strang ziehen" für Usability und UX sehr hilfreich. Ebenso können die Problemstellen im Gespräch einfach reproduziert und in den Kontext gesetzt werden.

Also setzten wir uns zusammen. Einer beginnt und listet der Reihe nach die Stolpersteine der Tester auf. Wichtig ist hierbei, dass die Runde im sogennanten Problem-Space bleibt und nicht direkt über Lösungen diskutiert. Um fokusiert zum Ziel zu kommen, ist für Letzteres ein separater Rahmen besser geeignet.

Insgesamt beschrieben wir knapp 90 Klebezettel mit Anmerkungen der Tester. Nach einem entspannten Wochenende und somit einigen Tagen Abstand clusterte eine kleinere Gruppe sämtliche Zettel in sinnvolle Kategorien:

  • Guided Tour / Zusätzliche Informationen
  • Widget/Dashboard Konfiguration
  • Widget Gruppen
  • User Management
  • Feature Wünsche
  • Quick Fixes
  • Won't fix
  • Sonstiges

Interessanterweise fielen lediglich 3 Anmerkungen in die Kategorie "Won't fix", die wir nicht ändern werden, da sie in anderen etablierten Anwendung genauso umgesetzt sind. Im nächsten Schritt widmen wir uns den Quick Fixes, da diese schnell umgesetzt werden können (ggfs. "zwischendurch") und keiner großen Konzeption bedürfen.

Im Nachhinein stellte sich auch heraus, dass die Annahme, dass User mit Guided Tour deutlich besser in Exply zurecht kommen als ohne, falsch war. Die aktuelle Guided Tour ist für Neueinsteiger zu lang, passiert zu viele Bereiche und verwirrt dadurch.

Gruppierte Usability Anmerkungen zu Exply

Usability Test Learnings

  • Kürzere & einfachere Szenarien ausdenken
  • Kill you Darling - manchmal muss man sich von liebgewonnen Features trennen
  • User Testing Ergebnisse sorgen für höheren Druck zur Umsetzung
  • Fokus auf ein Thema pro Abend

Weitere Leseempfehlungen:

 

Wir Sandstormer helfen anderen den Status Quo infrage zu stellen und über sich hinaus zu wachsen. Also geht raus, lernt neue Konzepte & Ideen kennen, hinterfragt sie und macht etwas eigenes.

Wenn dir dieser Artikel gefallen hat, dann schau in unserem Blog vorbei. Wir schreiben über technische Lösungen, Neos & Flow, Veranstaltungen und alle möglichen Dinge, die unsere tägliche Arbeit betreffen. Folgt uns auf Twitter & Facebook, um über neue Artikel benachrichtigt zu werden.

Und wenn es ein Projekt gibt, bei dem wir dir helfen können, dann kontaktiere uns einfach. Wir freuen uns, von dir zu hören!