UUX Umfragen im Internet durchführen, ohne Menschen zu verschrecken

Wie gut ist die digitale Employee Experience unserer Beschäftigten? Jede gute Umfrage beginnt immer mit einer guten Planung: Wenn wir bereits im Vorfeld genau definieren, was erforscht werden soll, wer dafür befragt wird, welche Methoden wir nutzen und wie es ausgewertet wird, dann wird der gesamte Prozess später umso einfacher fallen. Dabei müssen wir folgende zentrale Fragen beantworten:

• Was soll erforscht werden?
• Welche Methoden nutzen wir?
• Welche Werkzeuge nutzen wir für die Datenerhebung?
• Wer ist unsere Zielgruppe und wie erreichen wir sie?
• Wie werten wir die Ergebnisse aus?

Was ist die Forschungsfrage?

Der erste Schritt vor jeder Umfrage sollte sein, dass wir unsere Forschungsfrage definieren und uns vor Augen führen, wie diese genau erforscht werden soll. In unserem Fall ist dies recht schnell geklärt: Wir bei Nestler UUX Consulting untersuchen im Kontext der Employee Experience erster Linie Probleme aus den Bereichen Usability, User Experience und Barrierefreiheit und da wir uns in diesem Blogbeitrag mit UUX Umfragen beschäftigen, lautet diese häufig wie folgt: “Wie zufrieden sind die Benutzer*innen mit der Fachanwendung, dem Modul oder dem Webportal?”

Welche Methoden nutzen wir?

Bevor wir die Umfrage gestalten und erstellen können, müssen wir uns kurz Gedanken über die Methodik machen. Wie wollen wir unsere Fragen stellen? Was müssen wir beachten? Wie werten wir unsere Ergebnisse später aus?

Wie möchte ich Zufriedenheit quantitativ messen?

Es war noch nie eine einfache Aufgabe, die Zufriedenheit von Benutzern und Benutzerinnen zu quantifizieren. Daher müssen wir uns die Frage stellen, welche Werkzeuge wir hierfür nutzen. Aber zum Glück handelt es sich hier um ein wiederkehrendes Problem und niemand muss das Rad neu erfinden: Es gibt bereits vorhandene und erprobte Metriken und Vorlagen, welche uns viel Arbeit bei der Vorbereitung und später der Auswertung ersparen. Die zwei Methoden, welche wir bei der Nestler UUX Consulting regelmäßig nutzen, sind der SUS und der UEQ.

System Usability Scale (SUS)

Der System Usability Scale ist eine besonders effektive und effiziente Methode, um schnell eine solide subjektive Bewertung eines Produkt zu erhalten. Das Motto ist hier vor allem “Fast and Dirty” (dt.: “schnell und dreckig”), also sollen schnell viele Daten gesammelt werden, die nicht zwingend perfekt sein müssen. Hierfür werden 10 Fragen an die Teilnehmer*innen gestellt, von denen 5 positiv und 5 negativ formuliert wurden. Anschließend werden die Antworten mit einem Wert von 0 bis 5 kodiert und mit Hilfe einer vorgefertigten Formel ausgewertet.

Am Ende erhält man einen sogenannten “SUS-Score”, einen Wert zwischen 0 und 100, welcher die Zufriedenheit der Befragten wiedergibt. Je höher dieser ist, desto besser hat die Fachanwendung oder das Webportal abgeschnitten. Dieser Wert ist dabei kein absolutes und unanfechtbares Ergebnis. Es ist nicht als Schulnote zu verstehen, welche anhand fester Kriterien und Bewertungsmerkmale bestimmt wurde und somit objektiv und final aussagt, ob ein Produkt gut oder schlecht ist. Es handelt sich dabei um ein subjektive, quantitative Bewertung, welche widerspiegelt, ob die Umfrageteilnehmer*innen das Produkt ohne Probleme verwenden konnten.

Aus dem SUS lassen sich wichtige Informationen über das Produkt erlangen. Ein schlechter SUS kann dazu anstoßen, genauer nachzuhaken, welche Faktoren für dieses Ergebnis verantwortlich sind. Eine Überprüfung mit Hilfe des SUS kann aber auch der Start für eine Reihe an Usability-Tests sein, die sich auf konkrete Fragen des Fragebogens beziehen.

User Experience Questionnaire (UEQ)

Zusätzlich zu dem SUS nutzen wir den User Experience Questionnaire [1], eine weitere, wissenschaftlich fundierte Prüfmethode, um Teilbereiche der User Experience genauer zu betrachten. Der UEQ ist hierbei eine Sammlung von 26 Gegenteil-Paaren, welche eine Software beziehungsweise ein Produkt beschreiben. Das besondere am UEQ: Es gibt gute Unterstützung bei der Auswertung; wir müssen die Daten vorher lediglich bereinigen und anschließend interpretieren. Zum Schluss kann man das zu untersuchende Produkt in verschiedenen Dimensionen (Attraktivität, Verständlichkeit, Effizienz, Verlässlichkeit, Stimulation und Innovation) mit mehreren tausend anderen Testergebnissen vergleichen und sehen, wie gut das eigene Produkt tatsächlich abgeschnitten hat. Diese Methode ist eine gute Ergänzung zu dem SUS, da die Perspektive um die verschiedenen Dimensionen der User Experience erweitert wird.

Was macht man mit qualitativen Daten?

Qualitative Daten, wie zum Beispiel Freitextantworten, sind ein weiterer, wichtiger Bestandteil einer Befragung. Unsere quantitativen Daten werden nur so gut sein, wie die Methoden und Metriken, welche wir zur Erhebung nutzen. Sie werden zudem immer durch fehlerhafte oder unvollständige Eingaben verzerrt.

Qualitative Daten und direkte Rückmeldung von Umfrageteilnehmer*innen sind wertvoll, da sie uns auf Dinge hinweisen können, an die wir nicht gedacht haben. Sie liefern tiefere Einblicke in die Welt der Teilnehmer*innen, sowie in ihre Frustrationen und Probleme. Doch gleichzeitig werden Freitext-Antworten bei uns für Frustrationen sorgen, wenn wir diese auswerten müssen.

Qualitative Daten auswerten

Freitextantworten auszuwerten ist ein langwieriger und manchmal sehr langsamer Prozess, welcher sich aufgrund der vielen interessanten Informationen durch Benutzer*innen aber absolut lohnt. Hierbei ist es wichtig, dass man seine Arbeitsweise und Daten im Vorfeld organisiert und dann entsprechend seinem Plan vorgeht. Eine bekannte Methode ist der Ansatz nach Philipp Mayring [2]. Der Psychologe und Soziologe entwickelte einen Prozess, mit welchem man leitfadengeleitet eine qualitative Inhaltsanalyse durchführen kann. Die Methode wurde übrigens für die Auswertung jeder Art von qualitativen Daten entwickelt, aber funktioniert auch sehr gut für die Auswertung von Umfrageergebnissen.

Hierfür muss zuerst der Datensatz gesichtet und für diesen ein Kodierleitfaden erstellt werden. Dieser Leitfaden gibt vor, welchen Kriterien die einzelnen Antworten zugeordnet werden. Er bildet die Grundlage für die inhaltliche Analyse. Bei der Erstellung des Leitfadens können wir dabei entweder induktiv oder deduktiv vorgehen. Dies bedeutet konkret, dass wir entweder die Kategorien vorher festlegen (deduktiv) oder beim Sichten der Freitextantworten Schnittmengen finden und aus diesen übergeordnete Themen ableiten (induktiv). Welche Methode wir hier wählen, hängt stark von der Situation, der Menge und Qualität der Daten ab.

Haben wir unseren Kodierleitfaden fertiggestellt, können wir nun jede Freitextantwort einer oder mehreren Kategorien zuordnen. Hierbei ist wichtig, dass wir circa in der Mitte des Prozesses eine kurze Pause machen und unsere Kategorien noch einmal verifizieren. Dies stellt sicher, dass die vorher getroffene Einteilung auch wirklich Sinn ergibt: Sind es genug Kategorien? Können Kategorien zusammengefasst werden? Müssen Kategorien umformuliert werden?

Auf diese Art und Weise werden alle Freitextantworten unter übergeordneten Themen gesammelt und können anschließend ausgewertet und interpretiert werden. Hierbei ist wichtig, dass folgende drei Gütekriterien sichergestellt sind:

• Transparenz: Wird klar kommuniziert, wieso der Datensatz bzw. die Teilnehmer*innengruppe gewählt wurde?
• Reichweite: Ist die Erhebung bei einer weiteren Durchführung reproduzierbar? 
• Intersubjektivität: Kann eine andere unabhängige Person zu denselben Schlüssen kommen?

Pflichtfragen oder keine Pflichtfragen?

Eine der grundlegendsten Entscheidungen bei der Planung einer Umfrage ist die Auswahl zwischen freien und verpflichtenden Fragen. Beide Varianten haben ihre Vor- und Nachteile, weshalb wir hier vorher sorgfältig abwägen: Pflichtfragen garantieren vollständige Daten und zwingen Teilnehmer*innen dazu, eine Umfrage vollständig auszufüllen. Gleichzeitig zeigt unsere Erfahrung, dass die Daten dadurch deutlich an Qualität verlieren, weil unbeliebte Fragen nicht wahrheitsgetreu beantwortet werden, um diese schnell abzuhandeln. Zudem ist es üblich, dass die Teilnehmer*innen bei zu vielen Pflichtfragen frühzeitig abbrechen und so vor allem die Fragen am Ende der Umfrage nicht mehr beantwortet werden. Unsere Devise lautet daher: So wenige Pflichtfragen wie nur möglich!

Welche Werkzeuge werden für die Datenerhebung genutzt?

Nachdem die Umfrage soweit geplant ist, müssen wir entscheiden, welche Plattform wir für die Durchführung der Umfrage nutzen wollen. Dieser Schritt ist sehr individuell und hängt von der Art der Umfrage und den verwendeten Methoden ab. Dabei achten wir unter anderem auf folgende Punkte:

• Wo werden die Daten gespeichert? Wo steht der Server? Ist die Plattform DSGVO konform?
• Ist die Plattform für meinen Zweck geeignet? Können wir unsere Methoden (zum Beispiel UEQ und SUS) umsetzen?
• Was sind die Kosten für den Dienst? Gibt es verschiedene Abos? Gibt es eine maximale Anzahl an Teilnehmer*innen pro Umfrage?

Wie formulieren wir eine passende Anrede?

Nachdem wir eine Umfrage geplant und erstellt haben, kommt der nächste große Schritt: Die Umfrage wird an verschiedene Teilnehmer und Teilnehmerinnen versendet. Und hier zählt vor allem der erste Eindruck!

Wie kommunizieren wir adäquat mit unserer Zielgruppe?

Schon Paul Watzlawick stellte zu seiner Zeit das bekannte Axiom der menschlichen Kommunikation “Man kann nicht nicht kommunizieren” [3] auf. Und wir Menschen kommunizieren viel häufiger Dinge, die wir eigentlich niemals kommunizieren wollten, als es uns eigentlich angenehm ist. Wenn wir also schon in der ersten E-Mail, welche Teilnehmer*innen erhalten, nicht klar und deutlich Informationen und Intentionen kommunizieren können, dann wird dies negative Auswirkungen auf die Umfrageergebnisse haben.

Eine klar und deutlich (gleichzeitig aber freundlich und höflich) formulierte Anrede kommt unseren potenziellen Teilnehmern und Teilnehmerinnen natürlich immer besser an, als ein unverständlicher Text. Unsere Aufgabe, als Moderator*innen der Umfrage ist es, den Teilnehmer*innen ein adäquates Gefühl von Vertrauenswürdigkeit und Sicherheit zu vermitteln. Wir nennen unsere Intentionen, den Zweck unserer Befragung und verweisen auf Informationen zu unserem Unternehmen bzw. unserer Organisation. Wir sind dabei so transparent wie nur möglich!

Falls wir eine Umfrage für einen Kunden oder eine Kundin durchführen, welche*r bereits ein vertrauensvolles Verhältnis zu unserer Zielgruppe hat, dann involvieren wir diesen*diese. Potenzielle Teilnehmer*innen werden Menschen, die sie bereits kennen, wahrscheinlicher zuhören, als einem ihnen unbekannten Unternehmen.

Wie bewegen wir Personen dazu, tatsächlich an unserer Umfrage teilzunehmen?

Schlussendlich bringt aber die beste und am klarsten formulierte Anrede nicht viel, wenn die Personen kein Interesse daran haben, an unserer Umfrage teilzunehmen. Doch können wir als Moderator*innen der Umfrage etwas daran ändern?

Hierfür bedienen wir uns den Prinzipien der zwischenmenschlichen Interaktion des amerikanischen Autors und Redners Dale Carnegie und seinem Buch “How To Win Friends And Influence People” [4], in welchem er ein paar interessante Denkanstöße liefert:

Be a good listener. Encourage people to talk about themselves.

Dale Carnegie in “How To Win Friends And Influence People” [4]

Wir Menschen sind soziale Wesen und teilen gerne unsere Standpunkte und Frustrationen. Vor allem, wenn wir Daten sammeln, um eine Anwendung oder Software zu verbessern, sind diese Informationen unfassbar wertvoll! Wir formulieren unsere Anrede so, dass potenzielle Teilnehmer und Teilnehmerinnen wissen, dass sie sich bei uns offen aussprechen können. Und wir zeigen, dass wir aufrichtig an der Meinung interessiert sind! Nicht umsonst ist “Become genuinely interested in other people” ein weiterer Grundsatz von Dale Carnegie [4].

Talk in terms of the other person’s interest.

Dale Carnegie in “How To Win Friends And Influence People” [4]

Manchmal sind wir Menschen auch etwas egoistisch: Wieso sollten wir aktiv unsere Zeit damit verbringen, Umfragen auszufüllen, wenn wir diese Zeit auch damit verbringen könnten, unsere persönlichen Interessen zu verfolgen? Nur wenn wir unsere Ziele so formulieren können, dass diese sich mit den Wünschen unserer Zielgruppe decken, dann werden auf lange Sicht beide Parteien davon profitieren. Konkret bedeutet das folgendes: Wir möchten Daten erheben, um die Anwendung zu verbessern und eine bessere User Experience bieten zu können. Unsere Zielgruppe wiederum möchte eine Anwendung nutzen können, welche eine wunderbare User Experience bietet und gut funktioniert. Wir haben dasselbe Ziel, nur betrachten wir es aus unterschiedlichen Blickwinkeln. Wenn wir es nun schaffen unseren Teilnehmer*innen zu kommunizieren, dass ihre Teilnahme an unserer Umfrage auch sie näher zu ihren Zielen bringt, dann werden sie deutlich lieber an ihr teilnehmen!

Make the other person feel important – and do it sincerely.

Dale Carnegie in “How To Win Friends And Influence People” [4]

Als dritten und letzten Punkt dieses Kapitels möchten wir noch darauf eingehen, dass die Zielgruppe schlussendlich die wichtigste Komponente einer jeden Umfrage ist. Bei jeder Datenerhebung im Kontext der Mensch-Computer-Interaktion geht es immer um die Menschen. Ohne die Erfahrungen zahlreicher Nutzer und Nutzerinnen können wir nicht allzu viel über die Anwendung erfahren. Die Teilnehmer und Teilnehmerinnen sind enorm wichtig für unsere Arbeit – also lassen wir diese das auch wissen! Doch wir müssen aufpassen: Der Grad zwischen Anerkennung und Schmeichelei ist äußerst schmal und wenn wir zu sehr “schleimen”, dann können wir potenzielle Teilnehmer*innen auch wieder vergraulen.

Fazit

Wenn wir eine Umfrage durchführen, dann sollten wir immer auf zwei Aspekte achten: Kommunikation und Methodik. 

Gute Kommunikation vermittelt Vertrauen und unsere Teilnehmer*innen werden sich automatisch besser fühlen, wenn sie unsere Umfragen ausfüllen. Dies wird zu mehr abgeschlossenen Umfragen und qualitativ hochwertigeren Ergebnissen führen, welche dann wiederum unsere Kunden und Kundinnen zufriedenstellen.

Und eine gute Methodik stellt sicher, dass unsere Ergebnisse auch tatsächlich sinnvolle Einblicke in die Probleme und Frustrationen unserer Zielgruppe gewähren. Gleichzeitig macht sie unser Leben auch deutlich einfacher: Sie spart uns Zeit bei der Auswertung der Daten und damit gewinnen wir mehr Zeit für deren Interpretation.

Weiterführende Quellen

• [1] https://www.ueq-online.org
• [2] https://www.scribbr.de/methodik/qualitative-inhaltsanalyse/
• [3] https://www.paulwatzlawick.de/axiome.html
• [4] Dale Carnegie (1953): “How To Win Friends And Influence People”, Vermilion, ISBN: 978-0-09-190635-1