Standardisierte Befragungen, Skalenwerte und Schlussfolgerungen,

Gestern wurde eine neue Studie veröffentlicht, bei der über 1.500 Kinder und Jugendliche befragt wurden.

Sie misstrauen den Medien, glauben an Verschwörungsmythen, hieß es von der taz bis zur ZEIT.

Dabei hat die Studie gravierende handwerkliche Mängel. Ein Worst-Of 🧵

— Bent Freiwald (@BentFreiwald) August 31, 2022

...dem wimdet Bent Freiwald wieder einmal (siehe auch hier) eine langen Thread auf Twitter. Damit kommt er einer wichtigen Aufgabe als Journalist nach, und zwar die Öffentlichkeit über Studien, ihre Datenbasis und die daraus gezogenen Schlüsse aufzuklären sowie Rückfragen zu stellen, statt einfach aufzuspringen auf die Berichterstattung darüber.

Eines allerdings wird in dem Thread nicht thematisiert, womöglich passte es dort nicht hin oder ist vielleicht auch nicht bekannt, es geht um die Methodik standardisierter Befragungen und ihrer Grenzen (siehe dazu hier und hier). Zwar ist jeden Tag von solchen Studien zu lesen, die öffentliche Berichterstattung ist voll davon und in den Sozialwissenschaften sind sie eines der verbreitetsten Erhebungsinstrumente, doch wenig wird über die Aussagekraft solcher Befragungen diskutiert, obwohl in den Sozialwissenschaften, hier besonders der Soziologie, es eine lange Tradition der Kritik gibt. Schon Erich Fromm äußerte sich in einer frühen Studie zu den Beschränkungen, heute gehört das Wissen um sie zum methodischen Handwerkszeug. Allerdings ist außerhalb der Sozialwissenschaften diese Methodendiskussion - Stichwort qualitative Methoden bzw. fallrekonstruktive Forschung - wenig bekannt; ein anderer Grund für das Erwartung der Güte solcher Befragungen ist die Vorstellung, verallgemeinerungsfähige Aussagen über soziale Zusammenhänge bedürfen der großen Zahl. Auch das ist aber nicht richtig (ein grober Abriss hier), vielmehr folgt es der Vorstellung eine Begriffs von Allgemeinheit, der sich an Verteilungen orientiert, nicht an Strukturzusammenhängen. Man muss sich vor Augen führen, was jedem begegnet, der einmal an einer Umfrage teilgenommen hat, standardisierte Befragungen lassen es nicht zu, dass Befragte sich in ihren eigenen Worten äußern, sich müssen sich innerhalb einer vordefinierten Skala verorten. Von der Erfahrungs- und Deutungswelt des Individuums bleibt nur Oberflächliches übrig, es verdampft in der Skala, wenn man so will. Ganz anders verhält es sich bei nicht-standardisierten Forschungsgesprächen, die Reichhaltigkeit der Äußerungen ist zum Greifen nahe, ihre Widersprüche eben so, und zwar nicht nur bezüglich dessen, was gesagt wird, sondern auch wie es geschieht. Wer solche Auswertungen einmal im Detail studiert hat, kann über die Prominenz standardisierter Befragungen nur staunen.

Sascha Liebermann