Donnerstag, 20 August 2015 14:15

Frageformulierung

Für die Formulierung von Fragen besteht in der Forschung traditionellerweise eine Reihe von Faustregeln (siehe Schnell, Hill & Esser 2011 basierend auf Payne 1951), um ein standardisiertes und unabhängiges Ergebnis mittels der Befragung zu erhalten.
Ein Fragebogen sollte für jeden Befragten gleichermaßen sowohl hinsichtlich der Fragen als auch der Antwortvorgaben verständlich sein. Aus diesem Grund sollte man nur einfache und uneindeutige Worte wählen. Also ohne die Verwendung von nicht allgemein bekannten Fachausdrücken und Fremdworten auskommen, sowie keine Abkürzungen und auch keine Umgangssprache oder Slangausdrücke nutzen. Ferner wird auch von doppelten Negationen und Verneinung innerhalb der Frageformulierung abgeraten. Wenn der Befragte die Frage wegen der Wortwahl nicht verstehen kann, dann ist von ihm auch keine adäquate Antwort auf die Frage zu erwarten. Es gilt hier den kleinsten gemeinsamen Nenner zu wählen, so dass auch weniger gebildete Personen den Fragebogen verstehen können. In der Praxis ist es manchmal leichter gesagt als getan, denn Personen definieren beispielsweise einfache Gefühlszustände sehr unterschiedlich.

Ferner sollten Fragen konkret gestellt werden, daher darf die Ausführung auch nicht zu allgemein beschreibend ausfallen, wobei entsprechend abstrakte Begriffe (wie z.B. „diese Sache“, „in etwa“) vermieden werden sollten. Die Regeln der deutschen Sprache müssen eingehalten werden, und die Fragen sollte eher kurz formuliert werden, um für die Befragten verständlich zu bleiben. Zu lange und komplexe Satzstrukturen können den Probanden verwirren. Auch aufwendige Erklärungen zur Frage schaden eher, weil sie entweder gar nicht erst gelesen werden, oder eine zu hohe kognitive Herausforderung für den Befragten darstellen. Überfordern Sie Ihre Befragten nicht, in dem Sie zu aufwendige Aufgaben stellen. Trotzdem müssen Sie vielleicht unklare, aber für die Frage notwendige Begriffe für den Befragten definieren.
Schlechtes Beispiel für eine Frage

Generell sollten Fragen neutral und eindeutig formuliert werden, also einen klaren Bezug zu dem darzustellenden Sachverhalt in der Frage herstellen. Neutral bedeutet keine bereits bewerteten Formulierungen oder belastete Wörter zu verwenden, wie z.B. „unglaubwürdige Politiker“, denn damit beeinflussen Sie den Probanden hinsichtlich seines Antwortverhaltens. Eindeutig sollte der Bezug der Frage hinsichtlich Zeit und Gegenstand sein, also auch keine doppelten Stimuli in einer Frage verwenden. Eine Frage, wie z.B. „wie bewerten Sie die Politik und Wirtschaft in Deutschland?“, muss getrennt und zeitlich konkreter formuliert werden („wie bewerten Sie die Politik in Deutschland in den letzten 12 Monaten?“). Eine Mehrdimensionalität der Frage gilt es unbedingt zu vermeiden, weil sonst während der Datenanalyse nicht erkennbar wird, auf welchen Teil die Antwort des Probanden sich bezieht.

Soziale Erwünschtheit bei kritischen Fragen

Ein Fragebogen sollte unabhängig auf das Antwortverhalten des Befragten wirken. Aus diesem Grund müssen Unterstellungen und suggestive Fragen vermieden werden, wie z.B. „haben auch Sie schon …“, „gehören Sie auch zu den wenigen Personen…“. Diskriminieren Sie den Befragten nicht, indem Sie ihn als Minderheit oder unnormal darstellen. Der Befragte wird durch seine Antwort sonst bemüht sein, sich sozial anzupassen und konform der Mehrheit zu antworten. Auch Zitate von Autoritäten und Experten rufen entsprechende Reaktionen beim Probanden hervor, so dass diese sich minderwertiger fühlen könnten, und die Motivation an der weiteren Umfrageteilnahme verlieren. Provozieren Sie niemals bereits aufgrund der Frageformulierung ein vermutetes oder wünschenswertes Ergebnis.
Es existiert allgemein eine Tendenz zur Abgabe sozial erwünschter Antworten durch den Befragten, d.h. bei kritischen Fragen (z.B. zum Alkoholkonsum) wird der tatsächliche Sachverhalt häufig verschwiegen oder beschönigt, um keine sozialen Konsequenzen befürchten zu müssen, oder um im Interview soziale Anerkennung zu erlangen. Dieses Antwortverhalten zu identifizieren, um eine Verzerrung der Studienergebnisse zu vermeiden, stellt sich als sehr schwierig dar. Es wird angenommen, dass speziell Personen mit geringem Selbstbewusstsein entsprechend den vermuteten Erwartungen antworten. Ich musste ferner feststellen, dass beispielsweise bei Akademikern mit einem ausgeprägten Selbstbewusstsein ebenfalls häufiger soziale Erwünschtheit nachweisbar war, weil zu dem Bild eines erfolgreichen Menschen kein Übermaß an Konsum (z.B. Alkohol oder Essen) akzeptiert ist. Der Einsatz von sogenannten „kritische Fragen“, die dem Befragten unangenehm sind zu beantworten, weil sie ein tabuisiertes Thema (wie Sexualleben, Krankheiten, Drogenkonsum etc.) ansprechen, stellt grundsätzlich ein Problem der Befragung dar. Daher sollten kritische Fragen auch eher an das Ende eines Fragebogens gestellt werden, aber trotzdem muss man mit Falschangaben oder einer Verweigerung der Antwort rechnen. Aus diesem Grund eignet sich für solche Befragungsthemen auch die Durchführung einer Online-Umfrage, wo dem Probanden eine höhere Anonymität suggeriert wird. Denn kein Interviewer beeinflusst die Aussagen des Probanden allein durch seine Anwesenheit, da der Befragte seine Angaben allein vor dem Computer tätigen kann.
Suggestivfrage und unausgeglichene Skala

Hypothetische und fiktive Fragen

Es wird ferner empfohlen keine hypothetischen Fragen zu stellen, wie z.B. „stellen Sie sich vor …“ oder „angenommen Sie hätten gestern …“, weil sich nicht jeder gleichermaßen in eine ihm unbekannte Situationen hineinversetzen kann, und das Antwortverhalten primär von der Phantasie des Befragten und dessen Fähigkeit zum abstrakten Denkens abhängt. Ich persönlich finde diesen Ansatz aber legitim, insoweit die hypothetische Situation vom Probanden bereits in der Vergangenheit erfahren worden ist. Ich versetze beispielsweise kaufentscheidende Computeranwender gern in die Situation „Wenn Sie heute einen Computer kaufen würden …“, aber ich würde niemals fragen „Wenn Sie heute 6 Richtige im Lotto gewinnen würden …“. Weil jeder kaufentscheidende Computeranwender über die eigene Erfahrung zu einem Computerkauf verfügt, aber kaum jemand bereits einen Lottogewinn erlebt hat. Bei dieser Art der hypothetischen Frage ist für mich die situative Anwendung von Erfahrungen relevant, und nicht die Fähigkeit des abstrakten Denkens seitens des Befragten.

Zur Kontrolle des Antwortverhaltens der Befragten werden manchmal fiktive Fragen, die keine real existierende Situation abbilden, im Fragebogen aufgenommen. Zum Beispiel wird bei einer Liste an möglichen bekannten Markennamen eine nicht existente Marke mit aufgeführt. Nun lässt sich aber beobachten, dass diese gar nicht existente Marke einigen Personen bekannt ist, und jene sogar eher unzufrieden mit deren Angeboten sind. Die Ursache liegt aber nicht in einer mangelnden Aufmerksamkeit der Befragten, sondern sie gehen grundsätzlich davon aus, dass eine Umfrage Sinn ergibt, und auch alle darin enthaltenden Fragen. Also geht der Proband von der Existenz dieser Marke aus, und um nicht seine Unkenntnis zu zeigen, wird diese Marke auch als bekannt markiert. Bei der Nachfrage zur Zufriedenheit mit dieser Marke kann die Person keine Angaben tätigen, aber deren Angebote können kaum vorteilhaft sein, sonst hätte man als Befragter bereits davon gehört.
Meiner Meinung nach muss das Antwortverhalten dieser Personen nicht auch zwingend für die restliche Umfrage angezweifelt werden, nur weil bei dieser Frage Wissen vorgetäuscht wurde. Denn mit dieser Art der Fragestellung wurde ein solches Verhalten provoziert, weil der Proband nun eben an die Sinnhaftigkeit der Frage glaubt, und die Reaktion in der Natur des Menschen - genauso wie z.B. die soziale Erwünschtheit - liegen kann. Ich persönlich empfehle Ihnen nicht nur solche fiktiven Fragen zu vermeiden, sondern ich warne Sie sogar vor deren Einsatz. Ich musste in der Praxis immer wieder erfahren, dass Auftraggeber eine ganze Studie grundsätzlich in Frage gestellt haben, weil 5% der Befragten angaben, etwas zu kennen oder sogar zu nutzen, das noch gar nicht existierte. Sie könnten sich mit einer einzigen Frage und dessen zweifelhaften Ergebnis Ihre ganze Forschungsarbeit zu Nichte machen. Und leider wird Ihre Arbeit eine Erklärung dieser Diskrepanz mittels der Kognitionspsychologie auch nicht retten.

Donnerstag, 20 August 2015 14:09

Anweisungen im Fragebogen

Auch der beste Fragebogen kann kaum selbsterklärend sein, daher sind Anweisungen im Fragebogen für eine erfolgreiche Befragung notwendig. Grundsätzlich muss zwischen Hinweise für den Probanden bei einer schriftlichen Befragung, für den Interviewer bei einer mündlichen Befragung und für eine computergestützte Befragung, bei der Anweisungen zur Programmierung des Fragebogens förderlich sind, unterschieden werden.

Es ist für den Probanden für eine schnelle Erfassung der Aufgabe hilfreich, wenn er bei einer schriftlichen Befragung grundlegende Hinweise zum Ausfüllen des Fragebogens vorfindet. Bei Fragen mit nur einer Antwortmöglichkeit kann z.B. als Hinweis „Bitte wählen Sie nur eine Antwort aus“ stehen, oder bei Fragen mit Mehreren einfach nur „Mehrfachnennungen möglich“. Diese Hinweise sollten in der Regel kurz und klar formuliert sein, um in keinem Fall von der eigentlichen Fragestellung abzulenken. Ich persönlich empfehle daher, keine umfassenden Erklärungen beispielsweise zur Anwendung einer Skala aufzuführen, die sowieso sprachlich nur umständlich und zu umfangreich formuliert werden könnten. Natürlich ist es sinnvoll bei besonderen Anforderungen innerhalb des Fragebogens eine detaillierte Erläuterung der zu erwartenden Aufgabe zu geben, damit der Proband genau nach den Vorgaben des Forschers handeln und diese Fragen beantworten kann. Dann aber sollte diese im Optimalfall getrennt zu einer Frage, explizit zu Beginn des entsprechenden Frageteils aufgeführt werden.
Textliche Erklärung zur Skala in einer schriftlichen Befragung

Bei mündlichen Befragungen dienen Anweisungen im Fragebogen dem Interviewer zur präzisen und unmissverständlichen Durchführung der Befragung. Um eine Einflussnahme des Interviewers auf die Antworten des Probanden, einen „Interviewereffekt“ so niedrig wie möglich zu halten, und jede einzelne Befragung innerhalb einer Studie so standardisiert wie möglich ablaufen zu lassen, bedarf es häufig Regeln für den Interviewer. Fehlen ihm diese Hinweise, beginnt der Interviewer bei uneindeutigen Fragesituationen zumeist die Intention des Forschers zu interpretieren, und verliert ferner die für jede Studie notwendige Neutralität gegenüber dem Probanden. Beispielsweise sollte bei einer Antwortliste zu der Angabe „Andere“ als Interviewerhinweis stehen, „Nachfragen und wörtlich in das offene Feld notieren, was mit andere genau gemeint ist“. Auch Vorgaben zu den Antwortmöglichkeiten sollten aufgeführt werden, wie z.B. „nur eine Antwort pro Zeile erlaubt“, oder „nur den höchsten Schulabschluss angeben lassen“. Entsprechend den verschiedenen Fragentypen existiert eine Vielzahl an möglichen Befragungsfehlern durch den Interviewer, die unbedingt alle durch genaue Anweisungen im Fragebogen minimiert werden müssen. Die einzelnen Interviews verlieren anderenfalls ihren standardisierten Ablauf und die Studie wird folglich empirisch untauglich.

Hinweise zur Programmierung

Bei computergestützten Befragungen (online per Umfragesoftware oder telefonisch per CATI) werden die Interviewerhinweise durch Programmierhinweise ersetzt, um einen Befragungsablauf entsprechend der Intention des Forschers zu gewährleisten. Durch die zunehmende Komplexität dieser Umfragen empfehle ich genaue Anweisungen zum erlaubten Antwortverhalten pro Frage, ggf. zur gedachten Filterführung innerhalb des Fragebogens und zu den Restriktionen für den Probanden zu geben. Ferner sollten auch schriftliche Befragtenhinweise zum Ausfüllen des Fragebogens aufgeführt werden, weil bei einer Online-Umfrage der Proband den Fragebogen eben selbst an einem Computer ausfüllt.

Vorteilhafterweise kann eine Umfrage-Software nur eindeutig programmiert werden, so dass bereits mit der Programmierung festgelegt wird, ob bei einer Frage nur eine oder mehrerer Antworten erlaubt sind. Denn eine programmierte Frage mit nur einer Antwortmöglichkeit kann technisch niemals mehrere Angaben aufnehmen. Der Proband bei Online-Umfragen oder bei CATI-Umfragen wird durch die Technik zu einer standardisierten Befragungsform gezwungen. Automatische Fehlermeldungen des Systems weisen den Probanden oder Interviewer auf Abweichungen hin, und blockieren gleichzeitig auch den weiteren Verlauf der Umfrage. Es entsteht für den Befragten ein Beantwortungszwang nach der Vorgabe des Forschers.
Noch wichtiger sind detaillierte Programmieranweisungen bei komplexeren Befragungsabläufen, wie z.B. der Filterführung von Fragen. Es ist für diesen Fall sinnvoll die einzelnen Fragen und deren Antwortmöglichkeiten durchzunummerieren, um beispielsweise „Wenn bei Frage 1 Antwort gleich 3, dann Frage 2 auslassen und mit Frage 3 weitermachen“ als Anweisungen für einen Filter „auf Frage 1“ aufführen zu können. Diese Anweisungen für Filter werden häufig in „Wenn-Dann“ Bedingungen formuliert, die damit bereits einen mathematischen Charakter (z.B. per numerischer Operationen) für die Programmierung aufweisen. Umso klarer diese Anweisungen formuliert sind, desto besser werden diese von den Programmieren verstanden und auch richtig umgesetzt, die selten selbst Sozial- oder Marktforscher sind.
Hinweise zur Programmierung eines Fragebogens

Einsatz von Computern zur Befragung

Die technische Unterstützung durch Computer ermöglicht eine verbesserte Steuerung des Befragten durch den Fragebogen sowie eine automatische Plausibilitätskontrolle der Antwortangaben. Bei heute immer üblicheren komplexen Fragestellungen und -strukturen bedarf es sowohl einer Vielfalt als auch hohen Flexibilität in der Filterführung von Fragen im Rahmen des Fragebogens, die dem differenzierten Antwortverhalten der Probanden gerecht wird. Durch Online-Umfragen wird daher eine höhere Forschungseffizienz erzielt. Automatisch werden beispielsweise Filterführungen, Rotation von Fragen und Items, die Wiedergabe von offenen Antwortangaben u.a. ermöglicht, wodurch sich die Fehleranfälligkeit im Vergleich zu mündlichen Umfragen durch Interviewer sowie auch deren persönliche Einflussnahme maßgeblich reduziert.

Durch die vielfältigeren Kontrollmöglichkeiten der Antwortangaben auf Plausibilität gewinnen die Studien zudem an Datenqualität durch den Einsatz der Umfragensoftware. Zum Beispiel eine Zeitmessung zur Beantwortung von Fragen kontrolliert hinsichtlich Genauigkeit beim Lesen und Solidität bei Antwortangaben. Benötigt ein Proband nur wenige Sekunden für eine Frage, so hat er diese zumeist nicht richtig gelesen und kann gar nicht adäquat auf die Fragestellung geantwortet haben (ein sogenannter “Durchklicker”). Eine automatische Plausibilitätskontrolle während der Online-Umfrage kann ferner einem Fehlverhalten seitens des Befragten direkt entgegenwirken. Beim Online-Tests von Werbespots, Produkten u.a. muss die Konfrontation mit dem Testobjekt sichergestellt sein, so sollte eine Umfrage-Software eine Mindestverweildauer pro Frage oder Testobjekt gewährleisten, d.h. praxisbezogen ein kurzzeitiges Sperren des Fragebogens für die Betrachtung des Testobjekts.
Dagegen können vom Befragten direkt motivierte Täuschungsversuche häufig erst bei der Datenaufbereitung identifiziert werden, wo die Durchführung von umfassenden Plausibilitätskontrollen ebenfalls Standard sein sollte. Eine Varianzanalyse über das Antwortverhalten beispielsweise bei Fragen mit metrischen Skalen zeigt meist eindeutige Indizien, wenn die Antwortangaben eines Befragten bei einer sechsstufigen Skala mit Positiv und Negativ-Statements immer den gleichen Wert haben, also die Varianz gleich Null ist.

Donnerstag, 20 August 2015 12:22

Aufbau eines Fragebogens

Der Aufbau eines Fragebogens sollte immer einer Dramaturgie folgen. Die Fragen sollten nicht ungeordnet und beliebig aneinander gefügt werden, sondern in eine sinnvolle Reihenfolge gestellt werden. Denn diese Fragensuzzession nimmt nachweislich Einfluss auf die Datenqualität einer Befragung. Jeder Fragebogen sollte eine textliche Einleitung, einen Befragungseinstieg und/oder Filter- sowie Rekrutierungsfragen zur Identifikation und Selektion der Zielpersonen, einen Befragungshauptteil mit anschließenden demographischen Fragen zur Person, und als Letztes eine Danksagung an die Teilnehmer beinhalten.
Sinnvoller Aufbau eines Fragebogens

Eine Umfragestruktur in Themenblöcken von allgemeinen Verhaltens- und Einstellungsfragen zu vertiefenden Fragestellungen fördert die Auseinandersetzung beim Probanden. Die Logik des Befragungsablaufs sollte dabei für den Probanden nachvollziehbar sein, z.B. sollte der Befragte jeweils erkennen, wenn neue thematische Abschnitte beginnen, um sich entsprechend gedanklich neu einzustellen. Das erleichtert auch die Verständlichkeit der einzelnen Fragen, weil das thematische Umfeld einen inhaltlichen Bezug zur Frage herstellt. Dagegen würde ein permanenter Wechsel der Themen im Fragebogen eine erhöhte Aufmerksamkeit und Konzentration seitens des Probanden erfordern, so dass Fragen missverständlich aufgenommen und beantwortet werden könnten. Ferner nimmt der Befragte seiner Meinung nach ein gewisses Chaos im Fragebogen war, so dass er seine Bemühungen einer konzentrierten Situation zur Befragung aufgibt. Wenn Sie als Forscher nicht einer nachvollziehbaren Logik folgen, warum sollte der Befragte dann diese Mühe auf sich nehmen.

Nutzen Sie daher textliche Einleitungen als Übergänge zu neuen Themenblöcken, wie z.B. „Nun stellen wir Ihnen einige Fragen zum Thema …“. Bei schriftlichen Befragungen können auch Überschriften mit der Nennung des Themas zu Beginn eines neuen Blocks diese Aufgabe übernehmen.
Für die Aktivierung der potenziellen Befragten zu einer Umfrageteilnahme ist speziell der Befragungseinstieg inklusive der textlichen Einleitung und den ersten Fragen von großer Bedeutung. Schaffen Sie für die Person zu Beginn der Umfrage eine vertrauliche Kommunikationssituation, die dessen Interesse an der Umfrage weckt, und ihm einen Nutzen verspricht. Gestalten Sie den Einstieg spannend.

Demographische Fragen, wie z.B. zum Alter, zur Bildung oder zum Familienstand, gehören an das Ende einer Befragung, weil diese Fragen persönlicher Natur sind, und daher eher ungern beantwortet werden. Ferner sind diese Fragen für den Teilnehmenden nicht interessant, so dass die Motivation für die Teilnahme verloren gehen könnte, und somit ein Befragungsabbruch droht. Am Ende des Fragebogens sinkt zudem auch der Widerwille diese persönlichen Fragen zu beantworten, weil der Proband wahrnimmt, dass dies nur noch die abschließenden Fragen sind. Der Proband will die Umfrage nicht umsonst beantwortet haben, nur weil er sich nun zum Schluss verweigert und die Umfrage unvollständig lässt. Mit diesem Prinzip kann man als Forscher auch die Beantwortung von kritischen Fragen bewirken, so dass noch persönlichere Fragen, wie z.B. zu Krankheiten oder zum Sexualleben, grundsätzlich am Ende eines Fragebogens gestellt werden sollten.
Während einer mündlichen Befragung entsteht ein Vertrauensverhältnis zwischen Befragten und Interviewer, das eine Antwort auf intime Fragen erleichtert. Bei schriftlichen Befragungen „schützt“ den Probanden die von ihm wahrgenommene Anonymität, das sowohl die Antwort während des Ausfüllens kein anderer sieht, als auch online nur ein Computer auf der anderen Seite im Internet ist.

Die Zusammenstellung und Verteilung der einzelnen Themenblöcke ergibt sich häufig fast automatisch durch die Forschungsfrage und -ziele der Umfrage. Man wird konkrete Fragen beispielsweise zur Bewertung einer speziellen Webseite erst nach allgemeinen Fragen zur Internetnutzung stellen können, denn es muss festgestellt werden, ob die konkrete Webseite überhaupt bekannt ist und auch genutzt wird. Es ergibt sich also aus der Natur der Logik, dass man zumeist von allgemeinen zu konkreten Fragen wechselt. In jedem Fall sollten die wichtigsten Fragen aus Sicht des Forschers nicht zu spät im Fragebogen aufgeführt werden. Gegen Ende kann bereits eine Ermüdung des Befragten eingetreten sein, so dass komplexe Fragestellungen schwieriger aufgenommen und beantwortet werden können.

Optimale Länge eines Fragebogens

Meiner Erfahrung nach existiert eine Aufmerksamkeits- und Konzentrationskurve bei den Befragten, die einer „normalverteilten Kurve“ entspricht, d.h. diese steigt zu Beginn der Umfrage an, weist ihren Höhepunkt ungefähr zur Mitte der Umfrage auf, und fällt dann gegen Ende stetig ab. Dieses Phänomen ist natürlich auch von der Länge der Umfrage abhängig, denn ein einstündiges Interview ermüdet den Befragten selbstverständlich früher als eine zehnminütige Umfrage. Eine sehr häufig von meinen Auftraggebern gestellte Frage ist, was eine optimale oder auch maximale Frageanzahl für eine Umfrage wäre, was im Endeffekt auf die mögliche Befragungsdauer in Minuten abzielt. Aus meiner Erfahrung empfiehlt sich in der Regel ein Fragebogen mit nicht mehr als 20 kalkulatorische Fragen zu entwickeln, um keine erhöhte Anzahl an Abbrüchen unter den Teilnehmern zu provozieren. Ich selbst habe ich aber auch längere Umfragen entwickelt, weil ich sonst dem Forschungsziel nicht gerecht geworden wäre. In diesem Fall muss einem als Forscher nur bewusst sein, dass die Datenqualität bei den hinteren Fragen im Fragebogen leiden kann, also die Fragen nicht mehr genau gelesen werden, Fragen missverständlich verstanden werden und deren Beantwortung vom Probanden oberflächlicher vorgenommen wird. Aus diesem Grund lasse ich solche längeren Umfragen für den Teilnehmenden eher „entspannt“ ausklingen, d.h. mit einfacheren Fragen, eindimensionaleren Antwortkategorien und für das Forschungsziel weniger wichtige Fragen.