8 Merkmale, um eine Studie richtig zu interpretieren

Heute geht es um das Thema: eine Studie interpretieren, und zwar richtig interpretieren.

Das kam nämlich so: Anfang 2019 habe ich angefangen täglich einen kleinen Blogbeitrag zu schreiben und dir eine Zahl des Tages in der Zahlen-Galerie zu präsentieren. Das Ziel war, dass du ein Gefühl für deinen Markt und das Online-Business erhältst.

Mit Mitte Februar 2019 habe ich diese Rubrik bereits wieder eingestellt - mein Durchhaltevermögen ist normalerweise länger 😉 .

Warum ich diese Serie eingestellt habe, fragst du dich? Weil ich nur auf wenige Studien gestossen bin, die es wert waren dir präsentiert zu werden. D.h. die aus meiner Sicht Hand und Fuss hatten und ernst zu nehmen waren.

Und ich wollte dir keinesfalls Zahlen an die Hand geben, die teils mehr als hinterfragenswert sind. Meine Gründe habe ich im Video "testen, messen, verbessern und auch mal Scheitern zulassen" genauer beschrieben.

Seitdem werde ich immer wieder gefragt: woran erkennst du, ob eine Studie brauchbar ist oder nicht? Nun diese Frage möchte ich heute beantworten.

Das Problem bei der Interpretation von Studien

Wenn wir uns mit Studien befassen laufen wir immer Gefahr uns von falschen Zahlen in die Irre führen zu lassen. Das Hauptproblem besteht in häufig mangelnden oder komplett fehlenden Quellenangaben. Und somit auch Angaben über Merkmale der Studie, die uns weiterhelfen würden die Studie richtig interpretieren zu können.

Das ist ein Problem, das sich nicht nur auf diversen Blogs findet, sondern auch in klassischen Medien. Häufig werden Studien eben ohne Quellenangaben zitiert, es werden Zahlen präsentiert, die man nun glauben oder eben nicht glauben kann.

Die Ergebnisse einer Studie und auch die Marktforschung sind jedoch keine Glaubensfrage 😉 Dafür sind andere Institutionen zuständig.

Prüfe daher bitte immer, bevor du Zahlen übernimmst oder an diese "glaubst" die jeweilige Quellenangabe und die dahinter liegenden Angaben zur Studie. Diese findet man häufig unter den Begriffen Methodenbeschreibung, Beschreibung der Untersuchung etc.

Wenn du keine Angaben über die Studie findest, dann rate ich gleich vorweg "Finger weg". Fehlende Beschreibungen zur Studiendurchführung sind ein Knock-out Merkmal. Du weisst nämlich in dem Fall überhaupt nicht, ob du diese Zahlen ernst nehmen kannst oder eben nicht, weil dir Informationen dazu fehlen.

Merkmale, um die Ergebnisse einer Studie richtig zu interpretieren

Wenn du Glück hast, stoßt du jedoch auf detailliertere Angaben zur Studie. In dem Fall solltest du vor allem auf folgende, ich hoffe auch für Laien halbwegs verständliche, Kriterien achten. Diese helfen dir dabei eine Studie richtig zu interpretieren und darum geht es letztlich.

Hier sind nun 8 Merkmale, die du bei der Interpretation einer Studie beachten solltest:

1. Studie interpretieren: Zielgruppe, wer wurde befragt?

Das erste und fast wichtigste Kriterium ist: wer wurde befragt? Wer war also die Zielgruppe?

Wenn du herausfindest, wer tatsächlich befragt wurde, dann kann das schon mal sehr weiterhelfen. Meist sind nicht ALLE Unternehmen, wie es häufig gerne dargestellt wird, sondern eben nur ein bestimmter Teil von Unternehmen gemeint. Das gleiche gilt für Befragung der Bevölkerung/Konsumenten, es sind meistens eben nicht ALLE.

Ein Beispiel: Wenn du siehst, dass in einer Umfrage von einem Newsletter-Anbieter steht, dass die eigenen Kunden befragt wurden und das Ergebnis der Studie ist: 100% der Unternehmen nutzen Newsletter, dann ist das Ergebnis natürlich eine "nona"-Antwort. Klar nutzen diese Unternehmen Newsletter, sonst wären sie nicht Kunden eines Newsletter-Anbieters.

Ein weiteres Beispiel (mit erfundenen Zahlen): 95 Prozent nutzen Content Marketing besagt eine Studie. Wer wurde befragt? Diese Frage musst du dir immer stellen. Unternehmen in den USA? In dem Fall kann das eine Zahl sein, um ungefähr ein Gefühl für den Markt zu entwickeln, jedoch müssen wir zugeben, dass Unternehmen in den USA in Sachen Marketing meist weiter sind. D.h. dass diese Zahl für Europa vermutlich nicht stimmen wird.

Ebenso darf und soll das Ergebnis hinterfragt werden, wenn hier nur große Unternehmen befragt wurden. Diese setzen nun mal häufiger Content Marketing ein, da sie auch mehr Mitarbeiter-Ressourcen zur Verfügung haben, eigene Marketingabteilungen etc. Aber denke auch mal an die vielen kleinen Händler, an Handwerker, an Friseure! Das ist eine sehr große Gruppe an Unternehmen. Glaubst du dann noch immer, dass 95 Prozent Content Marketing nutzen? Wohl eher nicht.

Eine richtige Interpretation wäre jedoch zu sagen "95% der Großunternehmen in den USA nutzen Content Marketing". Und genau so wäre diese fiktive Zahl einzuordnen. Wir sind also weit entfernt von ALLE Unternehmen.

Exkurs: bei einer Unternehmensbefragung solltest du auch darauf achten, wer im Unternehmen befragt wurde. Die Ergebnisse werden unterschiedlich sein je nachdem, ob du den Marketingleiter, IT-Verantwortlichen, Mitarbeiter des Rechnungswesens oder die Geschäftsführung befragst.

2. Studie interpretieren: wer war der Auftraggeber der Studie?

Achte bitte weiters darauf wer der Auftraggeber einer Studie war bzw. wer die Studie durchgeführt hat. Der Auftraggeber selbst oder ein unabhängiges Institut? Es ist nicht ausgeschlossen, dass eine Agenda hinter den veröffentlichten Zahlen steht. Oder wie es Mark Twain mal treffend formuliert hat:

"Menschen benutzen Statistik wie ein Betrunkener einen Laternenpfahl: Vor allem zur Stütze unseres Standpunktes und weniger zum Beleuchten eines Sachverhalts.”

Bleiben wir bei unserem Beispiel von oben mit dem Newsletter-Anbieter: sollte dieser behaupten, dass seine Kunden zu 99% mit seinem Dienst super-über-drüber zufrieden sind und aufgrund der Nutzung der eigenen Software extreme Erfolge hatten, dann darfst du auch gerne diese Ergebnisse hinterfragen. Oder glaubst du wird irgendein Unternehmer sagen "meine Kunden sind total unzufrieden mit mir" ? Wohl eher nicht.

3. Studie interpretieren: wie lautete die exakte Fragestellung?

Unabhängig davon wer und wie befragt wurde, das Um-und-Auf jeder Studie ist die Fragestellung und somit der Fragebogen. Mit dem Fragebogen steht und fällt die gesamte Studie. 

Mache dich daher auf die Suche nach der exakten Fragestellung einer Studie, wobei ich dich vorwarnen muss: das wird schwierig, weil die genaue Fragestellung meist nicht veröffentlicht wird (warum auch immer).

Auch wieder ein Beispiel: du bist Autohändler und willst herausfinden, was deinen potentiellen Kunden beim Kauf eines Autos wichtig ist. Du könntest fragen (verkürzt) "Welche Kriterien sind beim Autokauf für Sie wichtig?" oder du könntest fragen "Was ist für Sie das wichtigste Kriterium beim Autokauf?".

Bei der ersten Fragestellung kann der Befragte mehrere Kriterien nennen, bei der zweiten Fragestellung muss er sich für ein Kriterium entscheiden.

Ich kann dir auch das Ergebnis verraten 😉 Bei der ersten Fragestellung wird herauskommen, dass neben dem Preis auch Kriterien wie Service, Sicherheit, Design etc. eine große Rolle spielen, bei der zweiten Fragestellung wird das Ergebnis Preis lauten (wenn nicht, dann waren die Befragten nicht ganz ehrlich 😉 ).

Daher ist wichtig, dass du die exakte Fragestellung einer Studie kennst, um die Ergebnisse einordnen zu können.

4. Studie interpretieren: wie viele Personen wurden befragt (Stichprobengröße und Schwankungsbreite)?

Kleine Warnung vorweg: die nächsten 2 Punkte werden etwas zahlen- und statistiklastig, ich bemühe mich jedoch um eine einfache Erklärung 🙂

Je mehr Leute du befragst, desto genauer sind die Ergebnisse!

Für die weiter Interessierten (alle anderen überspringen bitte diesen Absatz und lassen sich nicht verwirren 😉 : Je größer die Stichprobe, desto kleiner die Schwankungsbreite und umso genauer die Ergebnisse. 

Vereinfacht ausgedrückt: wenn du 100 Leute befragst, dann schwanken die Ergebnisse dieser Umfrage um +/- 10%. Wenn du hingegen 1000 Leute befragst, dann sinkt dieser Wert (eben die Schwankungsbreite) auf +/-3%.

Es ist also hinsichtlich der "Sicherheit" der Ergebnisse erheblich wie viele Personen befragt werden. Aber, wie der nächste Punkt zeigen wird, es hängt nicht nur von der Größe der Stichprobe ab, also wie viele Personen befragt wurden.

5. Studie interpretieren: wie wurden die Befragten ausgewählt (Stichprobengrundlage und Stichprobenauswahl)?

Es ist nämlich so: du kannst nie alle Leute befragen, einige wirst du nicht erreichen, andere werden dir keine Antwort geben wollen. Und meistens wird auch schlicht und einfach das notwendige "Kleingeld" fehlen, um alle befragen zu können. Deswegen zieht man immer eine sogenannte Stichprobe, d.h. du befragst einen Teil deiner Zielgruppe, die jedoch so zusammengesetzt sein sollte wie sich eben deine Zielgruppe zusammensetzt.

Du gehst dabei so vor: Du bestimmst für welche Gruppe du eine Aussage treffen willst (deine Stichprobengrundlage oder -basis), z.B. deine Kunden. Danach wählst du zufällig 100/200/300 oder wie viel auch immer Kunden aus und befragst diese. Die Betonung liegt hier auf "du wählst diese zufällig aus", d.h. dass jeder Kunde die gleiche Chance haben muss, in die Stichprobe zu gelangen. Die Merkmale der Stichprobe müssen mit den Merkmalen der Grundgesamtheit übereinstimmen, d.h. wenn deine Kunden sich z.B. zu 80% aus Frauen zusammensetzen, dann musst du auch 80% Frauen befragen (deine Stichprobe).

Wenn du in diesem Beispiel nur Männer befragen würdest, dann kannst du keine Aussage über "deine Kunden" treffen, sondern nur über deine "männlichen Kunden". Du sprichst also über eine andere Gruppe. Ebenso wirst du keine realen Ergebnisse zur Zufriedenheit deiner Kunden mit deinen Angeboten erhalten, wenn du nur die super-zufriedenen Kunden befragst und die nicht-zufriedenen von vorn herein ausschließt.

Genug der Statistik, aber ein gewisses Maß an Verständnis, auch wenn sehr vereinfacht dargestellt, hilft dir hoffentlich weiter, um in Zukunft Studien richtig zu interpretieren.

6. Studie interpretieren: wie wurde befragt (Methode)?

Interessant und aufschlußreich ist immer, wie die Personen befragt wurden. Online, telefonisch oder persönlich? Diese Information hilft dir, um die Ergebnisse besser einordnen zu können.

Solltest du z.B. eine Studie lesen, die besagt, dass 97% aller Personen über 60 Jahren mit ihren Enkeln nur mehr skypen und dann lesen, dass dies eine Online-Umfrage ergeben hat, dann lege bitte die Studie sofort zur Seite 😉

Diejenigen, die nämlich mit ihren Enkeln nicht skypen hatten gar keine Chance in die Stichprobe zu gelangen. Die Zielgruppe über 60 Jahre ist nach wie vor nur schwer online erreichbar, weil sie eben seltener online sind. Hier wäre eine telefonische oder persönliche Befragung wohl sinnvoller gewesen.

7. Studie interpretieren: wann wurde befragt (Befragungszeitraum bzw. Feldarbeitszeitraum)?

Achte darauf, wann eine Umfrage durchgeführt wurde, d.h. wann wurde befragt!

Die Ergebnisse einer Umfrage hängen auch immer von äußeren Umständen ab.

Ein Beispiel dazu: eine Fluglinie will wissen, ob ihre Passagiere fliegen für sicher halten. Die Ergebnisse werden sich unterscheiden, je nachdem, ob es kurz vor der Befragung einen Flugzeugabsturz gab oder nicht. Je nachdem werden die Ergebnisse also auch von äußeren Rahmenbedingungen beeinflußt. Daher dürfen die Ergebnisse einer Studie nie nur isoliert interpretiert werden, sondern immer in Zusammenhang mit sonstigen Ereignissen rund um den Befragungszeitraum.

Ein anderes Beispiel: die Ergebnisse einer Studie über das Online-Verhalten und die Nutzung von Social Media Kanälen werden sich heute im Vergleich zu 15 Jahren ziemlich unterscheiden. D.h. je nach Befragungszeitraum werden die Ergebnisse unterschiedlich ausfallen.

8. Studie interpretieren: wie werden die Ergebnisse der Studie dargestellt?

Tja, dieser Punkt fällt fast unter "Lügen mit Statistik". Vor allem in der grafischen Darstellung werden gerne und häufig Ergebnisse falsch dargestellt.

So werden z.B. Balken mit Prozentzahlen dargestellt, die eben nicht ins Verhältnis zu in dem Fall 100% gesetzt werden. Oder es wird eine Zeitreihe nur abgeschnitten dargestellt - vor allem letzteres wird gerne verwendet, wenn man die eigenen Zahlen und Erfolge präsentieren will, indem nur die erfolgreichen Zeiträume ihren Weg auf die Grafik finden 😉

Achte mal darauf und denke darüber nach, ob dir eine Grafik nicht falsche Tatsachen vorspielen will.

Ahja, und falls du selbst eine Studie veröffentlichst, dann denke bitte an mich und mach mir einen Gefallen: bitte verwende keine Kommazahlen, um die Ergebnisse einer Studie darzustellen - das wäre schlicht und einfach ein Vorgaukeln von Genauigkeit, die es aufgrund von Schwankungsbreiten und anderem statistischen Zeug nicht gibt!

Falls du lieber zusiehst/zuhörst, statt zu lesen: hier habe ich die 8 Merkmale mit ein paar Beispielen einmal erklärt:

Weitere Merkmale für die Interpretation von Studien

Das war heute nur eine kleine Auswahl an Merkmalen, die dir weiterhelfen soll eben Studien leichter zu interpretieren. Vor allem, um zu beurteilen, ob eine Studie brauchbar ist oder nicht. Daneben gibt es noch eine Reihe an weiteren Merkmalen, die verraten, ob eine Studie Hand und Fuß hat. Dazu müssten wir aber noch statistischer ins Detail gehen und damit will ich dich nicht quälen 😉

Welche weiteren Kriterien du heranziehen könntest, hängt auch immer ein wenig von der Fragestellung und dem "Bereich" ab. Z.B. in der Wahlforschung, aus der ich komme, gibt es insgesamt 13 (eigentlich auch mehr) Kriterien. In meiner jahrzehntelangen Arbeit als Meinungsforscherin wurde unter meiner Federführung im Rahmen des Verbands der Marktforschungsinstitute Österreichs einen Kriterienkatalog erstellt, um Wahlumfragen besser einschätzen zu können. Quasi mein Vermächtnis an die Branche 😉

Letzteres beantwortet vielleicht auch deine Frage, warum ich mich mit Umfragen und Studien auskenne 😉

Fazit

Nutze Zahlen und Studien, um deine Zielgruppe und deinen Markt besser zu verstehen. Sei jedoch vorsichtig bei der Interpretation von Studien, die dir im Netz begegnen. Hinterfragen hat noch nie geschadet!

Ich hoffe, dass ich dir heute mit diesem Beitrag eine kleine Hilfestellung geben konnte.

Herzlichst, deine

Karin Cvrtila

PS Übrigens: keine Sorge, ich werde dich auch weiterhin mit Zahlen und Statistiken versorgen! Das liegt mir schließlich im Blut 😉 Aber du siehst: es ist gar nicht so einfach Studien zu finden, die auch aussagekräftig sind.

Wenn du mehr zum Thema Umfragen und Zielgruppen lesen willst, dann habe ich hier für dich eine Übersichtsseite zusammengestellt!

Und wenn du noch tiefer einsteigen willst und deine Zielgruppe mal selbst befragen willst (aber so wie die Profis!), dann schau dir das Modul "Was Kunden wollen" im Business-Baukasten an.