Experimente in den Sozialwissenschaften

Ein Sammelband über Experimente als Forschungsmethode

Die Bemühungen empirisch arbeitender Sozialwissenschaftler, Kausalzusammenhänge in unterschiedlichen Bereichen des menschlichen Lebens zu entdecken, haben in den letzten Jahren eine Aufwertung des Experiments als Forschungsmethode herbeigeführt. Wie die Herausgeber des Sammelbandes in ihrem Einleitungsbeitrag feststellen, weisen „Experimente […] gegenüber anderen Untersuchungsdesigns einen entscheidenden methodischen Vorteil auf: Der Dreiklang von Gruppenbildung, Randomisierung und Manipulation unter Konstanthaltung der weiteren Entscheidungsumwelt erleichtert die Überprüfung kausaler Verhaltensaussagen“ (7).

Zwar können repräsentative Bevölkerungsumfragen weiterhin als wichtigste Form der sozialwissenschaftlichen Datenerhebung gelten, doch kommen mittlerweile auf vielen Feldern der empirischen Forschung experimentelle Methoden zum Einsatz. Neben den klassischen Versuch, mit dem im Labor durch den Vergleich von Einstellungs- oder Verhaltensänderungen in einer Experimental- und einer Kontrollgruppe Ursache-Wirkungs-Zusammenhänge identifiziert werden sollen, sind Feld- und Survey-Experimente getreten. Den Bedeutungsgewinn der experimentellen Forschung nahm die Soziale Welt zum Anlass, in einem von Marc Keuschnigg und Tobias Wolbring herausgegebenen Sonderheft ein breiteres Publikum mit den Möglichkeiten und Grenzen experimenteller Verfahren vertraut zu machen. In fünfzehn Beiträgen behandeln einschlägig ausgewiesene Wissenschaftler die Methodologie und die Anwendungsgebiete des Experiments. Darüber hinaus stellt der Band mit dem Laborexperiment, dem Experiment in natürlicher Umgebung und dem faktoriellen Surveyexperiment die am weitesten verbreiteten Varianten der experimentellen Forschung vor. Diese Varianten des Experiments unterscheiden sich hinsichtlich der Merkmale der Zufallszuweisung der Probanden zu den Experimental- und Kontrollgruppen sowie der gezielten Manipulation der Versuchsbedingungen.

Die Gliederung des Buchs erscheint auf den ersten Blick plausibel, vermag in der Umsetzung aber nicht zu überzeugen. Dies betrifft vor allem die Zuordnung der Beiträge zu den fünf Themenblöcken sowie die Strukturierung dieser Blöcke. Während der Beitrag „Das Laborexperiment als sozialer Prozess“ (Roger Berger) dem Teil über „Methodologie“ zugeordnet ist, findet sich der Artikel „Anonymisierungstechniken in sozialwissenschaftlichen Laborexperimenten“ (Axel Franzen und Sonja Pointner) unter der Überschrift „Laborexperimente“. Der Überblick über die Anwendungsgebiete des Experiments enthält drei Beiträge zu relativ willkürlich ausgewählten Teilgebieten der Soziologie, der Wirtschafts- (Kittel), Bildungs- (Becker und Zanger) und Umweltsoziologie (Liebe). Weitere anwendungsbezogene Beiträge mit einem engeren thematischen Fokus finden sich aber in den Teilen über Labor- bzw. Surveyexperimente.

Schwächen manifestieren sich darüber hinaus im Aufbau der Themenblöcke über die Varianten der experimentellen Forschung. Im Gegensatz zu den Abschnitten über die Feld- und die Surveyexperimente enthält der Teil über Laborexperimente keinen Überblicksartikel, vielmehr stehen neben dem erwähnten Aufsatz über Anonymisierungstechniken zwei anwendungsbezogene Beiträge. Die Feldexperimente werden dagegen in gleich zwei Überblicksartikeln sowie einem methodologisch ausgerichteten Aufsatz über das Spannungsfeld von Natürlichkeit und Generalisierbarkeit präsentiert. Den faktoriellen Surveyexperimenten sind wiederum neben einem einführenden Kapitel zwei Beiträge über spezifische Anwendungsfelder gewidmet. Ebenso bedauerlich wie das Fehlen einer Bilanz des Ertrags der experimentellen Forschung für die Sozialwissenschaften ist, dass es den Herausgebern lediglich um die soziologische Forschung zu tun ist, weshalb mögliche Impulse aus den Nachbardisziplinen, insbesondere aus der Politik- und Kommunikationswissenschaft, weitgehend unberücksichtigt bleiben.

Die editorischen Mängel sind nicht zuletzt deshalb bedauerlich, weil die überwiegend lesens­werten Einzelbeiträge nicht zu einem überzeugenden Gesamtkonzept zusammengeführt werden. Zudem bleiben die Berichte über den aktuellen Stand der experimentellen Forschung lückenhaft. Bei Konferenzbänden lassen sich derartige Probleme in der Regel nur schwer vermeiden, Themenhefte einer Zeitschrift sollten jedoch ein schlüssiges Gesamtkonzept aufweisen.

Angesichts der Zahl und Heterogenität der Beiträge erscheint eine vollständige Besprechung nicht sinnvoll. Stattdessen soll der Akzent im Folgenden auf den Beiträgen über grundlegende Probleme der experimentellen Forschung und ausgewählten Artikeln über Anwendungsfelder liegen.

In seinem Grundlagentext behandelt Ekkhart Zimmermann die Entwicklung wie auch die Leistungen der experimentellen Forschung und stellt deren wichtigste Varianten (natürliches Experiment, Feldexperiment, Laborexperiment) vor. Wie er zu Recht betont, handelt es sich beim Experiment um eine spezielle Form der Untersuchungsplanung, auf die die Wahl der Methode der Datenerhebung erst folge. Als Ziele des Experiments nennt er die Faktenermittlung, die Theorieprüfung und die praktische Anwendung der Ergebnisse. Nachdem er als wichtigste Charakteristika der experimentellen Forschung den Vergleich der Wirkung eines gezielt eingesetzten Stimulus in der Experimental- und der Kontrollgruppe und die randomisierte Zuweisung der Probanden zur Experimental- und Kontrollgruppe angeführt hat, diskutiert der Verfasser die grundlegenden Herausforderungen bei der Durchführung von Experimenten. Das bewusste Herstellen strenger Kontrollbedingungen sei ebenso wichtig wie die Kontrolle der Wirkung des Treatments unmittelbar nach dessen Anwendung. Weitere Anforderungen an ein gutes Experiment sieht er in der Auswahl einer Stichprobe, deren Struktur Rückschlüsse auf die Grundgesamtheit erlaube, über die Aussagen gemacht werden sollen. Außerdem müsse die Versuchsanordnung die von der zu prüfenden Theorie postulierten Bedingungen in der Realität widerspiegeln, also dem Kriterium der ökologischen Gültigkeit genügen. Wolle man kausale Erklärungen erarbeiten, seien schließlich wiederholte Messungen erforderlich.

Freilich entsprechen seine Ausführungen über die Anwendungsfelder des Experiments in der Sozialpsychologie, der Politikwissenschaft und der Wirtschaftswissenschaft, zumindest was die Politikwissenschaft betrifft, nicht mehr dem aktuellen Forschungsstand. In diesem Fach – wie auch in der nicht behandelten Kommunikationswissenschaft – erfuhren Experimente in den letzten Jahren eine beachtliche Aufwertung und brachten eine Reihe von Anregungen für eine verbesserte Datenerhebung mit sich. Zudem ist anzumerken, dass Zimmermann die bei der Sicherung der externen und internen Validität von Experimenten auftretenden Probleme nur sehr knapp behandelt.

Roger Berger und Tobias Wolbring greifen einige der von Zimmermann diskutierten Probleme auf. Sie umreißen die mit der Analyse „kontrafaktischer Kausalität“ verbundenen Ziele und Probleme wie folgt: „Ein Ereignis A verursacht ein anderes Ereignis B genau dann, wenn – unter sonst unveränderten Umständen – B nicht eingetreten wäre, hätte A nicht stattgefunden.“ Wie die Autoren darstellen, scheitert die Umsetzung einer auf den Nachweis kontrafaktischer Kausalität angelegten experimentellen Versuchsanordnung in der Praxis an einer Reihe von Tatbeständen. Insbesondere ließen sich die Bedingungen des Nachweises einer kausalen Wirkung, das Auftreten von A und Nicht-A, nicht gleichzeitig herstellen. Dank seiner typischen Struktur, zu der die Manipulation des Stimulus durch den Forscher, der Einsatz des Treatments bei der Experimental-, aber nicht bei der Kontrollgruppe sowie die zufallsgesteuerte Zuweisung der Probanden zu diesen Gruppen gehören, komme das echte Experiment oder Laborexperiment den für den Nachweis kausaler Zusammenhänge erforderlichen Bedingungen zwar nahe, könne sie aber nicht garantieren.

Im folgenden Abschnitt gehen die Autoren den Problemen nach, die sich für Laborexperimente, Vignettenexperimente, Experimente in natürlicher Umgebung, Feldexperimente und natürliche Experimente aus dem Fehlen einzelner oder mehrerer Merkmale echter Experimente ergäben. Sie diskutieren diese Frage mit Blick auf vier Gütekriterien des Experiments, nämlich die externe Validität, die interne Validität, die Replizierbarkeit und die aus ihm zu ziehenden Rückschlüsse auf das Verhalten des Probanden unter Bedingungen, die nicht experimentell gesetzt sind. Keine der behandelten Varianten sei im Hinblick auf die gesetzten Standards ideal, jedoch würfen Labor- und Vignettenexperimente weniger Probleme auf als die anderen Verfahren. Der Beitrag gibt einen guten Überblick über die Möglichkeiten und Grenzen experimenteller Forschung, jedoch beschränken die Autoren die Auseinandersetzung mit Surveyexperimenten auf das Vignettenexperiment, in dem Einstellungsmessungen auf der Basis unterschiedlicher Szenarien von Handlungs- und Entscheidungssituationen erfolgen.

Den dritten grundlegenden Beitrag zur Methode des Experiments liefert Roger Berger, der sich mit sozialen Prozessen beim Laborexperiment befasst. Er geht auf die Rekrutierung der Probanden, die Durchführung des Experiments und dessen Beendigung, bei der die Teilnehmer ihr Honorar erhalten, ein und veranschaulicht die damit verbundenen Probleme anhand eines Kooperationsexperiments.

An dieser Stelle lohnt es sich, auf den von Axel Franzen und Sonja Pointner verfassten Aufsatz über Anonymisierungstechniken beim Laborexperiment zu verweisen. Er befindet sich zwar in einem späteren Teil des Bandes, behandelt aber anhand des Diktatorspiels ebenfalls ein spezielles Problem dieser Variante des Experiments. Nach einem Überblick über die in klassischen Studien eingesetzten Anonymisierungstechniken erläutern die Autoren, was sich mit verschiedenen Varianten dieser Technik über das Kooperationsverhalten von Probanden in Erfahrung bringen lässt. Demnach fördert eine zunehmende Anonymität der Spielsituationen die Neigung der Teilnehmer, ihren Eigennutz zu maximieren. Insbesondere die in den beiden zuletzt genannten Artikeln beschriebenen Fallbeispiele unterstreichen mit großer Deutlichkeit, welche gravierenden Probleme bei der Sicherung der externen Validität auf der Spieltheorie basierender Experimente auftreten.

Weiterhin informiert der Band über die Grundlagen des Feldexperiments sowie des faktoriellen Surveyexperiments. In einem Beitrag über Ersteres stellen Keuschnigg und Wolbring dieses Verfahren als geeigneten Mittelweg zwischen dem Laborexperiment und den gängigen Beobachtungsstudien dar, um die Elemente der Randomisierung und der kontrollierten Setzung von Stimuli unter natürlichen Bedingungen möglichst gut einzusetzen. Sie behandeln ausführlich die Probleme, die sich aus verschiedenen Abweichungen von echten Experimenten ergeben, und illustrieren die Einsatzmöglichkeiten des Verfahrens sowie die damit erzielten Ergebnisse anhand zweier Beispiele. In ihrem Überblick über natürliche Experimente in den Sozialwissenschaften greift Gerrit Bauer einige der von Keuschnigg und Wolbring behandelten Probleme erneut auf, um deren Analyse im Rahmen einer Analyse der Wirkungen zufällig bzw. nicht zufällig gesetzter Treatments sowie der zur Auswertung der Daten eingesetzten Analyseverfahren zu vertiefen.

Einen ausgesprochen gut gelungenen Artikel über multifaktorielle Experimente haben Katrin Auspurg und Thomas Hinz beigesteuert. Sie stellen zunächst die allgemeinen Zwecke und Verfahren dieser Erhebungs- und Analysemethode vor, wobei sie deren Eignung für eine Verbindung der Vorzüge von Experimenten und Umfragen hervorheben. Multifaktorielle Experimente konfrontieren im Rahmen von Umfragen mehrere auf der Basis einer Zufallszuweisung ausgewählte Befragtengruppen mit der Aufgabe, alternative Szenarios zu bestimmten Situationen oder alternative Charakteristika bestimmter Objekte zu bewerten, sodass der Vergleich der Stimuluseffekte Rückschlüsse auf kausale Zusammenhänge erlaubt. Am Beispiel der Conjoint Analyse, der faktoriellen Surveys sowie der Choice Experimente diskutieren die Autoren die Anwendungsfelder, Ziele, Designs und Verfahren der Datenanalyse wie auch mögliche Probleme der multifaktoriellen Experimente. Eine vergleichende Bewertung der drei Varianten multifaktorieller Experimente rundet den Artikel ab.

Abschließend möchte ich auf zwei Beiträge über Anwendungsfelder der experimentellen Forschung eingehen. Mit Laborexperimenten zur Analyse der Vertrauenswürdigkeit und des Vertrauens von Akteuren hat sich Christine Bozoyan beschäftigt. Nach einem kurzen Exkurs zur gesellschaftlichen Funktion des Vertrauens stellt die Autorin das klassische Dilemma der spieltheoretisch inspirierten Vertrauensforschung und dessen Modellierung in Laborexperimenten dar. Im Wesentlichen gehe es darum, zu beschreiben, unter welchen Bedingungen zwei Akteure, der Vertrauensgeber und der Vertrauensnehmer, sich in Interaktionssituationen zwischen den Optionen Vertrauen und Misstrauen bzw. der Honorierung des Vertrauens (Kooperation) oder der Defektion wählen. Darüber hinaus analysiert die Verfasserin, welche Bedingungen die Wahl der einen oder der anderen Alternative begünstigen. Hält man die Spieltheorie für einen geeigneten Ansatz zur Modellierung des Entscheidungsverhaltens in sozialen Handlungssituationen und übergeht man das Problem der externen Validität der Versuchsanordnung, wird man dem Beitrag viel abgewinnen können. Allerdings ist im Hinblick auf die Relevanz der Spieltheorie für die Analyse von Vertrauensbeziehungen grundsätzliche Skepsis geboten. Vertrauen wird für soziale Beziehungen schließlich gerade dann relevant, wenn ökonomische Rationalitätskalküle nichts zur Verhaltenserklärung beitragen.

Stefan Liebig, Carsten Sauer und Stefan Friedhoff diskutieren am Beispiel der Gerechtigkeitsforschung die Potenziale faktorieller Designs, indem sie die von Auspurg und Hinz angestellten Überlegungen ausarbeiten. Im Vergleich mit der klassischen Umfrageforschung sowie dem Laborexperiment unterstreichen die Autoren einige Vorzüge der Vignettentechnik, z.B. die Berücksichtigung der Kontextgebundenheit der Präferenzbildung, die Verwendung repräsentativer Bevölkerungsstichproben und die Abschwächung sozialer Erwünschtheitseffekte im Antwortverhalten der Befragten und illustrieren ihre Position durch überzeugend präsentierte Beispiele aus der Forschung.

Das Fazit dieser Besprechung lässt sich wie folgt ziehen: Das Ganze ist weniger als die Summe seiner Teile: Die einzelnen Beiträge zum Band geben dem Leser durchaus einen guten Überblick über die methodischen Ziele und das Vorgehen der experimentellen Forschung, zumal sie einige Anwendungsfelder dieser Verfahren vorstellen. Sie sind überwiegend lesenswert, jedoch hätte eine besser durchdachte editorische Konzeption der Qualität des Bandes gut getan.

Dieser Beitrag wurde redaktionell betreut von Kerstin Völkl.