Panel Conditioning

Michael Bergmann:
Panel Conditioning. Wirkungsmechanismen und Konsequenzen wiederholter Befragungen
Deutschland
Baden-Baden 2015: Nomos
352 S., EUR 64,00
ISBN 9783848720163

Michael Bergmann untersucht in seiner Dissertation das Phänomen des Panel Conditioning, er interessiert sich also dafür, wie die bloße Teilnahme an einer Befragung das Antwortverhalten in Folgebefragungen beeinflusst. Das Phänomen ist für die empirische Sozialforschung höchst relevant, da es neben dem möglichen Ausfall eines Teils der Personen bei einer wiederholten Befragung (Panelattrition) eines der beiden zentralen Probleme bei der Analyse von Paneldaten darstellt.

Paneldaten, d.h. die wiederholte Messung identischer Sachverhalte bei denselben Personen über die Zeit hinweg, haben den Vorteil, dass sich Veränderungen und die zeitliche Reihenfolge von Ursache und Wirkung nachvollziehen lassen. Die Messung von Veränderungen eröffnet einen Zugang zu Untersuchungsgegenständen, die mit Querschnittsdaten überhaupt nicht sichtbar sind. Beispielsweise lassen sich damit die Auswirkungen von krisenhaften Erfahrungen wie Scheidung, Tod des Partners, Arbeitsplatzverlust untersuchen. Betrachtet man dagegen Geschiedene, Verwitwete oder Arbeitslose zu einem einzigen Zeitpunkt, erweisen sich die Befunde häufig als irreführend. Wenn man vermutet, dass ein Lebensaspekt einen anderen kausal beeinflusst, kann man nur bei Betrachtung des Zeitverlaufs unterscheiden, ob der Effekt durch den Unterschied im Niveau zustande kommt (verheiratet vs. unverheiratet) oder ob der Effekt aus der Veränderung (Scheidung vs. keine Scheidung) resultiert. Auch sind Lebensverläufe und deren Muster erst mithilfe von Längsschnittdaten sichtbar. Ein weiterer Vorteil solcher Daten besteht darin, dass die Messungen zu verschiedenen Zeitpunkten ähnlich wie Experimente betrachtet werden können. Während sich z.B. verheiratete und unverheiratete Personen in vielen Faktoren voneinander unterscheiden, unterscheidet sich eine Person nach ihrer Heirat in sehr viel weniger Faktoren von ihrem früheren, unverheirateten Ich. Daher kann man z.B. den Effekt des veränderten Faktors (der Ehe) ähnlich wie bei einem Experiment untersuchen, bei dem durch die zufällige Gruppenzuordnung alle Merkmale, die nicht von der experimentellen Variation beeinflusst werden, im Mittel in der Experimental- und Kontrollgruppe gleich sind.

Um Erinnerungsfehler bei den Befragten zu vermeiden, werden solche Daten vorzugsweise nicht in einer einzigen Befragung rückblickend erfasst, sondern mit Panelbefragungen gemessen. Die wiederholte Befragung kann allerdings dazu führen, dass Befragte allein durch die Erfahrung der Teilnahme an der ersten Befragung in den Folgewellen anders antworten. Bei kognitiven Tests treten beispielsweise Lerneffekte auf, bei Fragen nach Finanzen halten Befragte in den Folgebefragungen ihre Bankunterlagen bereit, bei langwierigen Fragen über Beziehungen zu Freunden lernen die Befragten, das Verfahren abzukürzen, indem sie einen kleineren Freundeskreis vorgeben als beim ersten Gespräch. Diese Antwortmechanismen erzeugen scheinbare Veränderungsmessungen, die alleine aus der Befragungstechnik resultieren und schließlich ein verfälschtes Abbild der Gesellschaft produzieren. Obwohl das Phänomen bereits 1940 von Paul Lazarsfeld als Problem für Panelbefragungen identifiziert wurde – “The big problem yet unsolved is whether repeated interviews are likely, in themselves, to influence a respondent’s opinions” (Zitat auf S. 19), ist es immer noch kaum erforscht. Insoweit widmet sich Michael Bergmann einem wichtigen Thema im Bereich der Erhebungsmethoden, das starke Implikationen für einen großen Teil der empirischen Sozialforschung hat.

Das Werk ist wie eine klassische ‚Buchdissertation‘ aufgebaut. Der Autor stellt eingangs klar und explizit dar, dass er untersuchen möchte, wie sich die bloße Präsentation von Fragen, die mit der Teilnahme an einer Befragung verbunden ist, auf die Messung von Einstellungen und berichtetem Verhalten in zukünftigen Panelwellen auswirkt. Die Klarheit hier ist im Vergleich zu anderen Arbeiten in diesem Bereich vorbildlich. Ebenso klar listet der Autor seine Forschungsfragen auf: Wie beeinflussen wiederholte Befragungen politische Einstellungen und das Wahlverhalten? In welchem theoretischen Rahmen ist der Befragungseffekt zu betrachten? Wie lässt sich Panel Conditioning empirisch erfassen und insbesondere von konfundierenden Effekten trennen? Wie groß ist der Panel-Conditioning-Effekt auf die Stärke von Einstellungen, auf die Inhalte der Einstellungen selbst und auf das von den Teilnehmenden berichtete Verhalten? Und welche Konsequenzen ergeben sich daraus für die Umfrageforschung zu Panelerhebungen im Allgemeinen?

Die Entscheidung des Autors, den Effekt der wiederholten Befragung an sich und nicht den Effekt der Wiederholung identischer Fragen über mehrere Befragungen hinweg zu untersuchen, hat wesentliche Folgen für das Analysedesign. Im letzteren Fall hätte der Autor experimentelle Untersuchungen durchführen können, indem er in der Folgewelle statt der identischen Frage eine Placebo-Ersatzfrage gestellt hätte. Im ersten Fall ist das jedoch nicht möglich, da in der Kontrollgruppe, die keine Erstbefragung mitgemacht hat, keine Informationen über die Einstellungen und das Verhalten per Definition messbar sind. Die vermutlich größere praktische Relevanz seines Unterfangens erkauft sich der Autor damit, dass dessen Ergebnisse durch Fehleinflüsse verzerrt sein können (s.u.).

Im Literaturüberblick werden Arbeiten aus der Umfrageforschung, aus der Marktforschung, aus der Kognitionspsychologie, aus der Politikwissenschaft, und aus der Medizin rezipiert. Einerseits ist auch hier der Blick über die Disziplingrenzen hinweg im Vergleich zu anderen Arbeiten in der Umfrageforschung vorbildlich, andererseits fehlen einzelne Arbeiten aus der Ökonomie. Die Sortierung der Literatur nach theoretischen Prozessen ist wenig hilfreich, zumal im Rest der Arbeit keine Integration dieser Mechanismen im Modell des Autors vorgenommen wird.

Das theoretische Modell, das den Ausgangspunkt der empirischen Untersuchungen Bergmanns bildet, bezieht sich auf kognitionspsychologische Erkenntnisse. Es knüpft an klassische Modelle des Interviews an, die am Informationsabruf und an der Urteilsbildung ansetzen. Der Autor geht dabei davon aus, dass mentale Informationsverarbeitung durch assoziative Netzwerke erklärt werden kann. Die Befragung in einer Welle stellt demnach die Aktivierung einer oder mehrerer Informationen im assoziativen Netzwerk dar, wodurch es „zu einer Veränderung der mit dem Objekt [der Information] direkt assoziierten Sammelbewertung komm[t]” (112). Zwar ist es sehr verdienstvoll, dass Bergmann Panel Conditioning in ein Modell überführt und daraus überprüfbare Hypothesen ableitet. In einem Großteil der Umfrageforschung sucht man derartige theoretische Ausarbeitungen vergeblich. Allerdings ist seine Verbindung zwischen dem allgemeinen Modell und den konkreten Hypothesen sowie den entsprechenden empirischen Analysen etwas dünn, so dass man sich die Frage stellen muss, welche Aspekte des komplexen allgemeinen Modells notwendig sind, um die einzelnen Hypothesen daraus abzuleiten. Etwas konkreter gesprochen, betrachtet der Autor beim allgemeinen Modell das Gedächtnis als assoziatives Netzwerk, dagegen begründet er bei der Formulierung der konkreten Hypothesen die kognitiven Prozesse mit kognitiver Dissonanz und Satisficing. So ist zwar vorstellbar, dass kognitive Dissonanz und Satisficing daraus folgen, dass das Gedächtnis als assoziatives Netzwerk funktioniert, diese Brücke wird aber vom Autor nicht geschlagen. Umgekehrt lässt sich aus den Ergebnissen damit auch nicht ableiten, ob zur Erklärung von Panel Conditioning die Betrachtung des Gedächtnisses als kognitives Netzwerk notwendig ist und welche Aspekte des Netzwerks relevant sind. An dieser Stelle wäre die Besinnung auf Siegwart Lindenbergs Prinzip der abnehmenden Abstraktion vermutlich hilfreich gewesen.^[1]

Der Autor verwendet zur empirischen Prüfung seiner Hypothesen Daten zur Bundestagswahl 2009 aus der German Longitudinal Election Study.^[2] Grundsätzlich sieht er die wiederholte Befragung mit identischen Fragen als relevanten Stimulus in seiner Arbeit an und versucht, dessen Auswirkungen auf Einstellungen und Verhaltensweisen nachzuweisen. Dabei verfolgt er zwei Analysestrategien parallel: Einerseits wird das Antwortverhalten der Befragten in den einzelnen Panelwellen mit den gleichzeitig erhobenen Querschnittsstichproben im Aggregat verglichen. D.h., unterscheiden sich die Messungen bei den Befragten in einer Panelstudie in den Folgebefragungen im Mittel von den Messungen bei Befragten, die in anderen Befragungen zur gleichen Zeit das erste Mal teilnehmen? Andererseits untersucht er in der Panelstichprobe, wie sich das Antwortverhalten einzelner Individuen mit zunehmenden Wiederholungen verändert.

Der Autor fasst die Befunde seiner zahlreichen, ausführlich dargestellten Analysen damit zusammen, dass ein Panel-Conditioning-Effekt sowohl hinsichtlich der Einstellungen als auch des berichteten Verhaltens vorliege, dass also sowohl die prinzipielle Parteipräferenz als auch das tatsächliche Wahlverhalten betroffen seien. Obschon das Gesamturteil des Autors plausibel ist, finden sich in den zahlreichen Analysen durchaus auch Einzelbefunde, bei denen kein Panel Conditioning-Effekt auftritt. An dieser Stelle wäre eine ausführlichere Bewertung des Gesamtbilds der Ergebnisse wünschenswert gewesen. Ein weiterer Kritikpunkt der Analysen ist die Auswahl der Stichprobe. Da die GLES-Daten in einem Accesspanel erhoben werden, besteht das Problem, dass die Befragten überdurchschnittlich viel Erfahrung mit Umfragen haben, dass also auch die Kontrollgruppe der vermeintlich Erstbefragten höchstwahrscheinlich schon in anderen Befragungen ähnliche Fragen beantwortet haben wird. Der problematischere Punkt ist aber das grundsätzliche Analysedesign. Die allmählichen Veränderungen des Antwortverhaltens lassen sich auf das Panel Conditioning zurückführen, aber auch auf selektiven Ausfall aus der Befragung. Der Autor versucht dieses Problem durch Gewichtung zu lösen. Dazu verwendet der Autor verschiedene Informationen aus den vorherigen Befragungswellen, um für jeden Befragten die Teilnahmewahrscheinlichkeiten in den zukünftigen Befragungswellen zu schätzen. Bei der Untersuchung der Unterschiede des Antwortverhaltens werden Befragte mit geringer geschätzter Wahrscheinlichkeit dann höher gewichtet als Befragte mit hoher geschätzter Wahrscheinlichkeit, so dass sich der Unterschied alleine aus der wiederholten Befragung ergeben sollte. Dieser Ansatz ist in der Umfrageforschung weit verbreitet, die Qualität der Korrektur des selektiven Ausfalls hängt aber davon ab, ob die Informationen aus den Vorwellen auch mit Variablen in den Folgewellen zusammenhängen. Es erscheint plausibel, dass man Indikatoren finden kann, die die Unterschiede in der Beantwortungsgeschwindigkeit ausgleichen. Bei den Einstellungs- und Wahlabsichtsfragen ist dagegen zweifelhaft, dass alle Variablen im Gewichtungsmodell enthalten sind.

Nimmt man das Gesamtergebnis der Analysen ernst, stellt sich die Frage, wie verzerrt die inhaltlichen Befunde zumindest aus den GLES-Daten sind, wenn nicht auch aus anderen Panelbefragungen. Ein Teil der Forschergemeinde mag Bergmanns Ergebnis insofern als begrüßenswert interpretieren, als die Befragten in den späteren Erhebungswellen vielleicht stärker über die Inhalte nachgedacht haben, sodass man elaboriertere Urteile erhält. Bergmann hingegen betont, eine veränderte Messung aufgrund der stärkeren Prozessierung dürfe keineswegs allgemein als bessere Messqualität betrachtet werden, weshalb z.B. eine Löschung früherer Wellen keine adäquate Lösung darstelle. Er empfiehlt, dass sich Forscher die Auswirkungen von Panel Conditioning stärker bewusst machen und die individuelle kognitive Abrufbarkeit von Einstellungen in den Analysen berücksichtigen sollten.

Weiterer Forschungsbedarf besteht seiner Ansicht nach in der Berücksichtigung längerer Wellenabstände. Mit Experimenten könnte zudem differenzierter untersucht werden, wie Befragte die Teilnahme an Panels kognitiv verarbeiten. Ferner weist der Autor darauf hin, dass eine durch wiederholte Befragungen ausgelöste Verhaltensänderung bisweilen ein ethisches Problem aufwerfen kann, da sich diese auch in schädlichem Verhalten ausdrücken kann. Dennoch sollten seine Ergebnisse nicht so missverstanden werden, als seien „Befunde auf der Grundlage von Paneldaten generell in Zweifel [zu ziehen] […] [Vielmehr] sollten die dargelegten Ergebnisse […] als Ansporn verstanden werden, die Vorteile von Paneldaten noch konsequenter zu nutzen.” (298).

Trotz aller angesprochenen Probleme ist die vorliegende Dissertation zu Panel Conditioning begrüßenswert, da es sich um ein viel zu wenig erforschtes Thema mit wichtigen Implikationen für die empirische Sozialforschung handelt. Versteht man Wissenschaft im Sinne eines inkrementellen Prozesses, stellt die Arbeit von Michael Bergmann einen wichtigen Ausgangspunkt für weitere Forschung dar. Der Literaturüberblick bietet einen sehr guten Einstieg in die relevante Literatur. Da der Autor uns den Gefallen getan hat, ein prinzipiell überprüfbares theoretisches Modell zu entwerfen, können Folgearbeiten untersuchen, wo dessen Probleme liegen und wo man einen sicheren Stand für weitere theoretische Ausarbeitungen hat.