Wie bewertet man die wissenschaftliche Aussagekraft einer Studie?

Wer sich mit Mikronährstoffen beschäftigt, stößt täglich auf Sätze, die mit „Studien zeigen“ beginnen. Zwischen einer Beobachtung an 30 Personen über vier Wochen und einem systematischen Review mit Bewertung des Verzerrungsrisikos liegen jedoch Welten. Dieser Beitrag beschreibt die Prüfschritte, mit denen sich die Aussagekraft einer Publikation einordnen lässt, und endet mit einer Prüfliste für den Abstract. Wie wir selbst vorgehen, ist gesondert dokumentiert.

Was muss eine Studie festlegen, bevor sie aussagekräftig sein kann?

Eine Studie beantwortet ausschließlich die Frage, die sie operationalisiert hat. Wer aus Titel und Methodenteil nicht rekonstruieren kann, wer untersucht wurde, was gegeben, wogegen verglichen und was gemessen wurde, kann das Ergebnis nicht einordnen. Diese vier Bestandteile fasst das auf Richardson und Kollegen (1995) zurückgehende Akronym PICO zusammen: Population, Intervention, Comparison, Outcome.

In der Mikronährstoffforschung entscheidet jeder dieser vier Punkte über die Reichweite einer Aussage: Die Population bestimmt, ob ein Mangel vorlag, denn das Auffüllen eines Defizits ist etwas anderes als eine Zusatzgabe bei ausreichender Versorgung. Die Intervention umfasst Dosis und chemische Form, der Vergleich kann ein Placebo, eine andere Dosis oder eine andere Verbindung sein, und der Endpunkt entscheidet, ob ein Blutwert oder ein Krankheitsereignis gemessen wurde.

Hinzu kommt die Unterscheidung zwischen Wirksamkeit unter Idealbedingungen und Wirksamkeit im Alltag, begrifflich auf Schwartz und Lellouch (1967) zurückgehend und heute mit PRECIS-2 (Loudon et al., 2015) operationalisiert. Wer unter engmaschiger Kontrolle und mit hoher Einnahmetreue untersucht wurde, verhält sich anders als eine Person, die eine Packung kauft und sie nach drei Wochen vergisst. Eine hohe Wirksamkeit unter Studienbedingungen garantiert deshalb keinen entsprechenden Effekt im Alltag.

Welches Studiendesign kann welche Aussage tragen?

Jedes Design hat einen definierten Aussagebereich: Fallberichte erzeugen Hypothesen, Querschnittsstudien beschreiben Verteilungen, Kohortenstudien zeigen zeitliche Abfolgen, und nur die randomisierte kontrollierte Studie kann einen kausalen Effekt einer Intervention belegen.

Darstellung nach den in diesem Beitrag genannten Methodenquellen (Cochrane Handbook Version 6.5, 2024; Sterne et al. 2016 und 2019).

Die Evidenzhierarchie ordnet Studientypen danach, wie gut sie Störgrößen kontrollieren

1. Stufe 1FallberichtHypothese, keine Häufigkeit
2. Stufe 2Beo­bach­tungs­studieZusammenhang, keine Ursache
3. Stufe 3Randomi­sierte StudieKausaler Effekt auf einen Endpunkt
4. Stufe 4System­atisches ReviewGesamtevidenz mit Bias-Bewertung

Warum begründen Beobachtungsstudien keine Ursache-Wirkungs-Aussage?

In einer randomisierten Studie erfolgt die Gruppenzuteilung per Zufall, sodass bekannte und unbekannte Störgrößen im Erwartungswert gleich verteilt sind. In einer Beobachtungsstudie bestimmt dagegen das Verhalten der Teilnehmer die Gruppenzugehörigkeit, und dieses Verhalten hängt mit vielen weiteren Merkmalen zusammen: Wer Präparate einnimmt, raucht im Mittel seltener und bewegt sich mehr, was als Healthy-User-Effekt bezeichnet wird. Eine statistische Adjustierung kann nur gemessene Störgrößen berücksichtigen; ein Restconfounding bleibt prinzipiell bestehen.

Wie folgenreich das ist, zeigen drei große Interventionsstudien. Die ATBC-Studie (1994) hielt einleitend fest, dass carotinoidreiche Ernährung und hohe Serumspiegel von Vitamin E und Beta-Carotin epidemiologisch mit geringerem Lungenkrebsrisiko einhergehen. In der randomisierten Prüfung an 29.133 männlichen Rauchern über fünf bis acht Jahre trat die erwartete Senkung nicht ein; bei Beta-Carotin zeigte sich das Gegenteil der Erwartung. CARET (Omenn et al., 1996) prüfte an 18.314 Rauchern, Ex-Rauchern und Asbestexponierten täglich 30 mg Beta-Carotin mit 25.000 IE Retinol und wurde vorzeitig beendet. SELECT (Lippman et al., 2009) fand an 35.533 Männern Hazard Ratios von 1,13 (99 % Konfidenzintervall 0,95–1,35) für Vitamin E und 1,04 für Selen.

Diese Fälle belegen, dass eine über viele Beobachtungsstudien hinweg konsistente Assoziation nicht zu einer Kausalaussage berechtigt. Als Ausgangspunkt für die Frage, wann aus Beobachtungsdaten Kausalitätsüberlegungen abgeleitet werden dürfen, gilt die Arbeit von Bradford Hill (1965); ihre Kriterien tauchen bis heute in behördlichen Bewertungsrastern auf.

Welche Verzerrungen treten auf, und wie stark wirken sie?

Verzerrung bedeutet systematischer Fehler, nicht Zufall. Anders als ein Zufallsfehler verschwindet sie nicht, wenn man die Stichprobe vergrößert.

Selektion, Information und Confounding

Selektionsbias liegt vor, wenn sich die Gruppen bereits vor der Intervention systematisch unterscheiden oder die Stichprobe nicht zur Zielpopulation passt. Informationsbias bedeutet, dass Exposition oder Endpunkt systematisch falsch erfasst werden, in der Ernährungsforschung besonders bei Fragebögen mit Selbstauskunft. Confounding beschreibt eine dritte Größe, die mit Exposition und Endpunkt zugleich zusammenhängt.

Wie stark Verdeckung und Verblindung wirken

Allocation Concealment bedeutet, dass die einschließende Person nicht wissen darf, in welche Gruppe der nächste Teilnehmer kommt. Schulz und Kollegen (1995) fanden in 250 kontrollierten Studien aus 33 Meta-Analysen: Bei unzureichender Verdeckung waren die Odds Ratios um 41 % übertrieben, bei unklarer um 30 %, bei fehlender Doppelverblindung um 17 %.

Wood und Kollegen (2008) werteten 146 Meta-Analysen mit 1.346 Studien aus und fanden eine wichtige Differenzierung: Bei subjektiven Endpunkten übertrieben Studien ohne ausreichende Verdeckung den Effekt deutlich (Ratio of Odds Ratios 0,69; 95 % Konfidenzintervall 0,59–0,82), bei objektiven Endpunkten war praktisch kein Bias nachweisbar (0,91; 0,80–1,03). Hróbjartsson und Kollegen (2012) fanden in 21 Studien mit 4.391 Patienten, dass unverblindete Beurteiler die Odds Ratio im Mittel um 36 % übertrieben.

Eine Placebo-Kontrolle berücksichtigt Erwartungseffekte, Regression zur Mitte, den natürlichen Verlauf und begleitende Verhaltensänderungen. Bei subjektiven Endpunkten wie Energie, Schlaf oder Wohlbefinden ist ohne sie keine belastbare Wirksamkeitsaussage möglich.

Publikationsbias und selektives Berichten

Was publiziert wird, ist keine Zufallsstichprobe der durchgeführten Forschung. Turner und Kollegen (2008) verglichen 74 bei der US-Arzneimittelbehörde registrierte Antidepressiva-Studien mit der publizierten Literatur: 31 % mit zusammen 3.449 Teilnehmern blieben unpubliziert, und die Literatur überschätzte die Effektstärke. Chan und Kollegen (2004) verglichen 102 Studien mit 3.736 Endpunkten gegen die zugehörigen Protokolle: 50 % der Wirksamkeits- und 65 % der Schadensendpunkte wurden unvollständig berichtet, und 62 % der Studien änderten mindestens einen primären Endpunkt.

Wer wird ausgewertet?

Eine Intention-to-treat-Analyse wertet alle Teilnehmer in der Gruppe aus, in die sie randomisiert wurden. Eine Per-Protocol-Analyse berücksichtigt nur protokollkonform Behandelte und zerstört damit die Randomisierung, weil Abbruch und mangelnde Einnahmetreue nicht zufällig auftreten; sie überschätzt den Effekt typischerweise. Hollis und Campbell (1999) fanden in 249 randomisierten Studien, dass nur 48 % eine Intention-to-treat-Analyse erwähnten.

Was sagt ein p-Wert – und was nicht?

Der p-Wert ist die Wahrscheinlichkeit, unter einem angenommenen statistischen Modell ein mindestens so extremes Ergebnis zu beobachten wie das tatsächlich beobachtete. Die American Statistical Association hat 2016 sechs Prinzipien formuliert; drei sind hier entscheidend. Ein p-Wert misst nicht die Wahrscheinlichkeit, dass die Hypothese zutrifft oder dass die Daten allein durch Zufall entstanden sind. Schlussfolgerungen sollten nicht allein davon abhängen, ob eine Schwelle unterschritten wird. Und ein p-Wert misst weder Größe noch Bedeutung eines Effekts: p = 0,049 und p = 0,051 beschreiben praktisch identische Evidenzlagen.

Aussagekräftiger ist das Konfidenzintervall, weil es Effektgröße und Präzision zugleich transportiert. Ein enges Intervall zeigt eine präzise Schätzung, ein breites eine zu kleine oder zu variable Studie. Enthält es die 1 beziehungsweise die 0, gilt der Effekt konventionell als nicht signifikant – was nicht bedeutet, dass kein Effekt existiert.

Ebenso wichtig ist die Unterscheidung zwischen relativer und absoluter Angabe. Die relative Risikoreduktion beschreibt den anteiligen Rückgang und wirkt stets größer. Die absolute Risikoreduktion ist die Differenz der Ereignisraten in Prozentpunkten und die entscheidende Größe; aus ihr ergibt sich als Kehrwert die Number Needed to Treat (Laupacis et al., 1988). Dass die Darstellungsform das Urteil verändert, belegt ein Cochrane-Review von Akl und Kollegen (2011) mit 35 Studien und 16.342 Teilnehmern.

Ein Rechenbeispiel zeigt die Grenzen: In HOPE-2 traten Primärereignisse bei 18,8 % der Verum- und 19,8 % der Placebogruppe auf. Die absolute Risikoreduktion beträgt 1,0 Prozentpunkt, das Risikoverhältnis 0,95 (95 % Konfidenzintervall 0,84–1,07) bei p = 0,41. Rechnerisch entspräche das einer Number Needed to Treat von 100 – da das Intervall die 1 einschließt, sind die Daten jedoch ebenso mit einem Schaden vereinbar.

Wann ist ein signifikanter Effekt praktisch bedeutungslos?

Statistische Signifikanz und klinische Relevanz sind zwei verschiedene Fragen; bei sehr großen Stichproben werden auch winzige Unterschiede signifikant. Der Cochrane-Review von Hemilä und Chalker (2013) zu Vitamin C zeigt beide Seiten in einer einzigen Arbeit.

Quelle: Hemilä H, Chalker E, Cochrane Database of Systematic Reviews 2013, CD000980. Der Review nennt für die Dauerverkürzung nur relative Werte; eine Umrechnung in Tage ist im Abstract nicht angegeben.

Die Verkürzung um 8 % ist über tausende Episoden statistisch robust; praktisch bedeutet sie einen Bruchteil einer Erkältungsepisode, und sie trat nur bei ganzjähriger regelmäßiger Einnahme auf, nicht bei Einnahme im Krankheitsfall. Die Gruppe unter extremer körperlicher Belastung bestand aus Marathonläufern, Skifahrern und Soldaten in subarktischer Umgebung und ist nicht übertragbar. Die Autoren schlussfolgern, dass eine routinemäßige Supplementierung nicht gerechtfertigt ist.

Warum ist ein Blutspiegel noch kein Nutzennachweis?

Ein Surrogatparameter ist eine Messgröße, die an die Stelle eines patientenrelevanten Endpunkts tritt: ein Blutspiegel, ein Blutdruckwert, eine Knochendichte, ein Marker. Patientenrelevant ist dagegen, was eine Person erlebt: Krankheitsereignis, Symptom, Funktionsfähigkeit, Lebensqualität, Sterblichkeit. Ein Surrogat ist nur dann ein gültiger Ersatz, wenn nachgewiesen ist, dass eine Intervention, die es verändert, auch den relevanten Endpunkt verändert. Das ist eine empirische Frage und meist nicht geklärt.

In HOPE-2 bewegte sich der Laborwert deutlich, das Krankheitsrisiko nicht

• Folsäure, B6 und B12
• Placebo

HOPE-2 (Lonn et al., 2006) randomisierte 5.522 Personen ab 55 Jahren mit Gefäßerkrankung oder Diabetes auf täglich 2,5 mg Folsäure, 50 mg Vitamin B6 und 1 mg Vitamin B12 oder Placebo. Der Homocysteinspiegel sank unter Verum um 2,4 µmol/l und stieg unter Placebo um 0,8 µmol/l. Der kombinierte Endpunkt aus kardiovaskulärem Tod, Herzinfarkt und Schlaganfall trat bei 18,8 % gegenüber 19,8 % auf. Das Surrogat wurde bewegt, der Nutzen nicht. Unter Verum traten zudem weniger Schlaganfälle (0,75; 0,59–0,97), aber mehr Krankenhausaufenthalte wegen instabiler Angina auf (1,24; 1,04–1,49) – sekundäre Endpunkte unter vielen.

Ein zweites Beispiel betrifft die Kette von der Aufnahme zum Nutzen. Dawson-Hughes und Kollegen (2013) randomisierten 62 gesunde ältere Personen auf drei Bedingungen – keine Mahlzeit, fettreiche, fettarme Mahlzeit – mit monatlich 50.000 IE Vitamin D3 über 90 Tage. Die adjustierten Anstiege des Vitamin D3 im Plasma nach zwölf Stunden betrugen 200,9, 207,4 und 241,1 nmol/l (p = 0,038); die Anstiege des 25-Hydroxy-Vitamin-D nach 30 und 90 Tagen unterschieden sich dagegen nicht signifikant. Der Absorptionsvorteil ließ sich also nicht in einen messbaren Statusvorteil übersetzen. Einschränkend gilt: Das Abstract nennt für diesen Vergleich keine Zahlenwerte, und ein nicht signifikanter Unterschied ist kein Nachweis von Gleichheit.

Der Lehrwert liegt in der Struktur: Aufnahme, Blutspiegel, physiologische Wirkung und klinischer Nutzen bilden eine Kette, in der jeder Schritt eine eigene, empirisch zu prüfende Behauptung ist. Eine gemessene Absorptionssteigerung belegt nur den ersten Schritt; was dabei überhaupt erfasst wird, haben wir an anderer Stelle beschrieben. Diese Trennung findet sich auch im Recht: Die Verordnung (EG) Nr. 1924/2006 behandelt in Artikel 5 Absatz 1 Buchstabe c die Verfügbarkeit für den Körper als Voraussetzung, während Buchstabe a eine positive ernährungsbezogene oder physiologische Wirkung als davon getrennten Nachweis verlangt; Artikel 6 Absatz 1 fordert allgemein anerkannte wissenschaftliche Nachweise. Welche Gremien die herangezogenen Referenzwerte festlegen, ist ein eigenes Thema.

Warum sind kleine Studien besonders unzuverlässig?

Statistische Power ist die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt einer bestimmten Größe auch nachzuweisen; üblich sind 80 % oder 90 %. Fehlt im Methodenteil eine Fallzahlplanung, ist das ein Warnsignal.

Button und Kollegen (2013) haben den kontraintuitiven Kern beschrieben: Geringe Power senkt nicht nur die Chance, einen echten Effekt zu entdecken, sondern auch die Wahrscheinlichkeit, dass ein signifikantes Ergebnis einen echten Effekt widerspiegelt, und führt zu überschätzten Effektgrößen. In einem Feld mit vielen kleinen Studien ist ein signifikantes Ergebnis also weniger vertrauenswürdig, nicht mehr. Ioannidis (2005) begründete das theoretisch: Ein Befund ist seltener zutreffend, wenn die Studien kleiner, die Effekte kleiner, die Zahl geprüfter Zusammenhänge größer und das finanzielle Interesse ausgeprägter ist.

Kleine Studien liefern systematisch größere Effektschätzer als große

Empirisch bestätigt wird das durch zwei unabhängige Auswertungen. Dechartres und Kollegen (2013) fanden in 93 Meta-Analysen mit 735 randomisierten Studien, dass die Effektschätzer im kleinsten Studienviertel im Mittel 32 % größer waren als im größten und in Studien mit weniger als 50 Teilnehmern 48 % größer als in Studien mit mindestens 1.000 Teilnehmern. Nüesch und Kollegen (2010) fanden in 13 Meta-Analysen mit 41.605 Patienten, dass in sechs Fällen der Gesamtschätzer einen signifikanten Nutzen ergab, während große Studien allein nicht signifikante Schätzer lieferten. Beide Befunde sind allgemeinmethodische Evidenz aus anderen Forschungsfeldern.

Was leisten systematische Reviews und Meta-Analysen?

Ein systematisches Review sucht die Evidenz nach vorab festgelegten, reproduzierbaren Kriterien und bewertet das Verzerrungsrisiko der eingeschlossenen Studien; eine Meta-Analyse fasst deren Ergebnisse quantitativ zusammen. Beides kann die Qualität der Primärstudien nicht verbessern.

Ein zentrales Maß ist I², das den Anteil der Gesamtvariabilität beschreibt, der auf echte Unterschiede zwischen den Studien statt auf Zufall zurückgeht (Higgins und Thompson, 2002). Das Cochrane Handbook gibt dafür überlappende Bereiche an.

Quelle: Cochrane Handbook for Systematic Reviews of Interventions, Version 6.5 (2024), Kapitel 10. Das Handbuch weist ausdrücklich darauf hin, dass die Bedeutung eines I²-Werts von Größe und Richtung der Effekte sowie der Stärke der Belege für Heterogenität abhängt und dass einfache Schwellenwerte bei wenigen Studien zu vermeiden sind.

Ein hoher I²-Wert bedeutet, dass die Einzelstudien nicht dasselbe messen. Der gepoolte Mittelwert fasst dann Uneinheitliches zusammen, und die relevante Frage wird, warum sich die Studien unterscheiden: Population, Dosis, Dauer, Ausgangsversorgung oder Endpunktdefinition. Über Richtung, Größe des Effekts und Studienqualität sagt I² nichts; umgekehrt beweist ein niedriger Wert keine Verlässlichkeit. Das Random-Effects-Modell erlaubt anders als das Fixed-Effect-Modell eine Verteilung wahrer Effekte, gewichtet aber kleine Studien relativ stärker und verstärkt so vorhandene Small-Study-Effekte.

Zur Prüfung auf Publikationsbias dient der Funnel Plot, der Effektschätzer gegen die Präzision aufträgt. Bei unverzerrter Evidenz ergibt sich ein symmetrischer Trichter; fehlt eine untere Ecke, spricht das für fehlende kleine Studien mit unerwünschtem Ergebnis. Der Egger-Test prüft diese Asymmetrie formal (Egger et al., 1997). Asymmetrie ist jedoch ein Hinweis und kein Beweis, und unterhalb von etwa zehn Studien sind solche Tests praktisch nicht aussagekräftig (Sterne et al., 2011).

Welche Instrumente die Bewertung strukturieren

Quellen: Sterne et al. 2019 und 2016; Guyatt et al. 2008 und 2011; Hopewell et al. 2025; Page et al. 2021; von Elm et al. 2007. Berichtsleitlinien sind Vorgaben zur Darstellung, keine Rechtsvorschriften und keine Qualitätsurteile.

RoB 2 prüft fünf Bereiche: Randomisierungsprozess, Abweichungen von der vorgesehenen Intervention, fehlende Endpunktdaten, Endpunktmessung und Auswahl des berichteten Ergebnisses; das Urteil gilt für ein einzelnes Ergebnis, nicht für die Studie als Ganzes. GRADE unterscheidet vier Stufen: hoch, moderat, niedrig und sehr niedrig. Randomisierte Studien starten als hochwertige, Beobachtungsstudien als niedrigwertige Evidenz. Fünf Faktoren senken die Bewertung – Verzerrungsrisiko, Inkonsistenz, Indirektheit, Ungenauigkeit und Publikationsbias –, drei können sie anheben. GRADE bewertet dabei ausdrücklich einen Evidenzkörper, nicht einzelne Studien (Balshem et al., 2011).

Auch Behörden arbeiten mit strukturierten Rastern. Das EFSA Scientific Committee hat 2017 eine Leitlinie zur Evidenzgewichtung veröffentlicht: Bündelung gleichartiger Evidenzlinien, Gewichtung nach Zuverlässigkeit, Relevanz und Konsistenz, dann Integration. Es handelt sich um eine wissenschaftliche Leitlinie, nicht um eine Rechtsvorschrift.

Woran erkennt man Interessenkonflikte und fehlende Registrierung?

Ein Cochrane-Review von Lundh und Kollegen (2017) wertete 75 Arbeiten aus: Industriegesponserte Studien berichteten häufiger günstige Wirksamkeitsergebnisse (Risikoverhältnis 1,27; 95 % Konfidenzintervall 1,17–1,37) und häufiger günstige Schlussfolgerungen (1,34; 1,19–1,51). Der Zusammenhang ließ sich nicht durch die klassischen Bereiche der Verzerrungsbewertung erklären; Sponsoring wirkt offenbar über die Wahl von Fragestellung, Vergleichsgruppe und Formulierung. Ein Interessenkonflikt disqualifiziert eine Studie also nicht, er ist ein Grund für genaueres Hinsehen.

Das wirksamste Gegenmittel gegen selektives Berichten ist die Registrierung vor Studienbeginn: Wer vorab festlegt, welcher Endpunkt der primäre ist und wie ausgewertet wird, kann hinterher keinen anderen in den Vordergrund stellen. In den USA schreibt 42 CFR Part 11 die Registrierung spätestens 21 Kalendertage nach Einschluss des ersten Teilnehmers und die Ergebnisübermittlung spätestens ein Jahr nach dem primären Abschlussdatum vor; Betreiber von ClinicalTrials.gov ist die National Library of Medicine. In der EU verlangt die Verordnung (EU) Nr. 536/2014 binnen eines Jahres nach Ende einer Prüfung eine Ergebniszusammenfassung samt laienverständlicher Fassung, unabhängig vom Ausgang.

Für die Prüfung eines Abstracts heißt das: Registriernummer suchen, Registereintrag aufrufen und den dort hinterlegten primären Endpunkt mit dem in der Publikation berichteten vergleichen.

Wie prüft man ein Abstract in wenigen Minuten?

Die folgende Liste lässt sich allein am Abstract abarbeiten, ergänzt um einen Blick in den Registereintrag. Sie ersetzt keine methodische Vollprüfung, filtert aber die meisten überzogenen Behauptungen heraus.

Zusammenstellung nach den in diesem Beitrag genannten Methodenquellen. Als Merksatz: Wer? Was? Wogegen? Wie viele? Wie lange? Welcher Endpunkt, vorher festgelegt? Wie groß absolut? Wie breit das Intervall? Passt es zur Gesamtevidenz? Wer hat bezahlt?

Diese Prüfung betrifft ausschließlich die Frage, was eine Publikation belegt. Was eine Untersuchung eines konkreten Produkts zeigen kann, ist davon getrennt zu beurteilen.

Fazit

Die Aussagekraft einer Studie ergibt sich nicht aus ihrem Ergebnis, sondern aus ihrer Anlage. Wer Population, Intervention, Vergleich und Endpunkt benennt, das Design einordnet, absolute statt relativer Zahlen liest, das Konfidenzintervall statt des p-Werts prüft und zwischen Messwert und Erleben unterscheidet, kommt meist zu einer belastbaren Einschätzung. Die drei häufigsten Fehlschlüsse sind der Sprung von einer Assoziation zur Ursache, der von einem bewegten Laborwert zum Nutzen und der von einer einzelnen kleinen Studie zur Gesamtevidenz.

Häufige Fragen

Bedeutet ein nicht signifikantes Ergebnis, dass kein Effekt existiert?

Nein. Es bedeutet, dass die Daten mit dem Nulleffekt vereinbar sind. Ob ein relevanter Effekt ausgeschlossen werden kann, zeigt erst die Breite des Konfidenzintervalls. Bei kleinen Studien ist es meist so breit, dass sowohl ein deutlicher Nutzen als auch ein Schaden darin liegen.

Ist eine Meta-Analyse immer aussagekräftiger als eine einzelne Studie?

Nicht zwangsläufig. Eine Meta-Analyse kann die Qualität der eingeschlossenen Studien nicht verbessern. Sind die Primärstudien klein, heterogen oder systematisch verzerrt, überträgt sich das auf das gepoolte Ergebnis. Eine große, sorgfältig durchgeführte randomisierte Studie kann aussagekräftiger sein als die Poolung vieler kleiner Arbeiten.

Was ist der Unterschied zwischen Verblindung und Verdeckung der Zuteilung?

Die Verdeckung der Zuteilung betrifft den Zeitpunkt der Randomisierung: Die einschließende Person darf nicht wissen, in welche Gruppe der nächste Teilnehmer kommt. Verblindung betrifft die Zeit danach: Teilnehmer, Behandelnde oder Auswertende kennen die Gruppenzugehörigkeit nicht. Beides adressiert unterschiedliche Fehlerquellen.

Warum ist eine Registriernummer im Abstract wichtig?

Weil sich damit prüfen lässt, ob der berichtete primäre Endpunkt dem vorab festgelegten entspricht. Chan und Kollegen fanden 2004, dass 62 % der untersuchten Studien mindestens einen primären Endpunkt gegenüber dem Protokoll geändert, neu eingeführt oder weggelassen hatten.

Sind Berichtsleitlinien wie CONSORT oder PRISMA verbindlich?

Nein. CONSORT, PRISMA und STROBE sind Leitlinien zur transparenten Darstellung, herausgegeben von Fachgruppen im EQUATOR Network. Sie sind weder Rechtsvorschriften noch Qualitätsurteile; ihre Anwendung ist eine redaktionelle Vorgabe der Zeitschriften.

Quellen

1. Richardson WS, Wilson MC, Nishikawa J, Hayward RS. The well-built clinical question: a key to evidence-based decisions. ACP Journal Club 1995;123(3):A12–13. DOI 10.7326/acpjc-1995-123-3-a12
2. Schwartz D, Lellouch J. Explanatory and pragmatic attitudes in therapeutical trials. Journal of Chronic Diseases 1967;20:637–648. DOI 10.1016/0021-9681(67)90041-0
3. Loudon K, Treweek S, Sullivan F, Donnan P, Thorpe KE, Zwarenstein M. The PRECIS-2 tool: designing trials that are fit for purpose. BMJ 2015;350:h2147. DOI 10.1136/bmj.h2147
4. Hill AB. The environment and disease: association or causation? Proceedings of the Royal Society of Medicine 1965;58:295–300. DOI 10.1177/003591576505800503
5. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias. JAMA 1995;273:408–412. DOI 10.1001/jama.273.5.408
6. Wood L, Egger M, Gluud LL, Schulz KF, Jüni P, Altman DG et al. Empirical evidence of bias in treatment effect estimates. BMJ 2008;336:601–605. DOI 10.1136/bmj.39465.451748.AD
7. Hróbjartsson A, Thomsen ASS, Emanuelsson F, Tendal B, Hilden J, Boutron I et al. Observer bias in randomised clinical trials with binary outcomes. BMJ 2012;344:e1119. DOI 10.1136/bmj.e1119
8. Chan AW, Hróbjartsson A, Haahr MT, Gøtzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials. JAMA 2004;291:2457–2465. DOI 10.1001/jama.291.20.2457
9. Turner EH, Matthews AM, Linardatos E, Tell RA, Rosenthal R. Selective publication of antidepressant trials and its influence on apparent efficacy. New England Journal of Medicine 2008;358:252–260. DOI 10.1056/NEJMsa065779
10. Hollis S, Campbell F. What is meant by intention to treat analysis? BMJ 1999;319:670–674. DOI 10.1136/bmj.319.7211.670
11. Lundh A, Lexchin J, Mintzes B, Schroll JB, Bero L. Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews 2017;2:MR000033. DOI 10.1002/14651858.MR000033.pub3
12. Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I et al. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019;366:l4898. DOI 10.1136/bmj.l4898. Versionsstand 22.08.2019, Fundstelle: riskofbias.info
13. Sterne JAC, Hernán MA, Reeves BC et al. ROBINS-I: a tool for assessing risk of bias in non-randomised studies of interventions. BMJ 2016;355:i4919. DOI 10.1136/bmj.i4919. Entwurf der Version 2 vom 20.11.2025, Fundstelle: riskofbias.info
14. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, Alonso-Coello P, Schünemann HJ. GRADE: an emerging consensus on rating quality of evidence. BMJ 2008;336:924–926. DOI 10.1136/bmj.39489.470347.AD
15. Balshem H, Helfand M, Schünemann HJ et al. GRADE guidelines: 3. Rating the quality of evidence. Journal of Clinical Epidemiology 2011;64:401–406. DOI 10.1016/j.jclinepi.2010.07.015
16. Guyatt G, Oxman AD, Akl EA et al. GRADE guidelines: 1. Introduction. Journal of Clinical Epidemiology 2011;64:383–394. DOI 10.1016/j.jclinepi.2010.04.026
17. Schünemann H, Brożek J, Guyatt G, Oxman A (Hrsg.). GRADE Handbook, Stand Oktober 2013. Fundstelle: gdt.gradepro.org
18. Hopewell S, Chan AW, Collins GS, Hróbjartsson A, Moher D, Schulz KF et al. CONSORT 2025 statement. BMJ 2025;389:e081123. DOI 10.1136/bmj-2024-081123
19. Page MJ, McKenzie JE, Bossuyt PM et al. The PRISMA 2020 statement. BMJ 2021;372:n71. DOI 10.1136/bmj.n71
20. von Elm E, Altman DG, Egger M, Pocock SJ, Gøtzsche PC, Vandenbroucke JP. The STROBE statement. PLoS Medicine 2007;4:e296. DOI 10.1371/journal.pmed.0040296
21. Higgins JPT, Thomas J (Hrsg.). Cochrane Handbook for Systematic Reviews of Interventions, Version 6.5, 2024. Fundstelle: cochrane.org
22. Wasserstein RL, Lazar NA. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician 2016;70(2):129–133. DOI 10.1080/00031305.2016.1154108
23. Laupacis A, Sackett DL, Roberts RS. An assessment of clinically useful measures of the consequences of treatment. New England Journal of Medicine 1988;318:1728–1733. DOI 10.1056/NEJM198806303182605
24. Akl EA, Oxman AD, Herrin J et al. Framing of health information messages. Cochrane Database of Systematic Reviews 2011;CD006777. DOI 10.1002/14651858.CD006777.pub2
25. Button KS, Ioannidis JPA, Mokrysz C, Nosek BA, Flint J, Robinson ESJ, Munafò MR. Power failure: why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience 2013;14:365–376. DOI 10.1038/nrn3475
26. Ioannidis JPA. Why most published research findings are false. PLoS Medicine 2005;2:e124. DOI 10.1371/journal.pmed.0020124
27. Dechartres A, Trinquart L, Boutron I, Ravaud P. Influence of trial sample size on treatment effect estimates. BMJ 2013;346:f2304. DOI 10.1136/bmj.f2304
28. Nüesch E, Trelle S, Reichenbach S et al. Small study effects in meta-analyses of osteoarthritis trials. BMJ 2010;341:c3515. DOI 10.1136/bmj.c3515
29. Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta-analysis. Statistics in Medicine 2002;21:1539–1558. DOI 10.1002/sim.1186
30. Higgins JPT, Thompson SG, Deeks JJ, Altman DG. Measuring inconsistency in meta-analyses. BMJ 2003;327:557–560. DOI 10.1136/bmj.327.7414.557
31. Egger M, Davey Smith G, Schneider M, Minder C. Bias in meta-analysis detected by a simple, graphical test. BMJ 1997;315:629–634. DOI 10.1136/bmj.315.7109.629
32. Sterne JAC, Sutton AJ, Ioannidis JPA et al. Recommendations for examining and interpreting funnel plot asymmetry. BMJ 2011;343:d4002. DOI 10.1136/bmj.d4002
33. Dawson-Hughes B, Harris SS, Palermo NJ, Ceglia L, Rasmussen H. Meal conditions affect the absorption of supplemental vitamin D3 but not the plasma 25-hydroxyvitamin D response to supplementation. Journal of Bone and Mineral Research 2013;28(8):1778–1783. DOI 10.1002/jbmr.1896
34. Hemilä H, Chalker E. Vitamin C for preventing and treating the common cold. Cochrane Database of Systematic Reviews 2013;1:CD000980. DOI 10.1002/14651858.CD000980.pub4
35. Alpha-Tocopherol, Beta Carotene Cancer Prevention Study Group. The effect of vitamin E and beta carotene on the incidence of lung cancer and other cancers in male smokers. New England Journal of Medicine 1994;330:1029–1035. DOI 10.1056/NEJM199404143301501
36. Omenn GS, Goodman GE, Thornquist MD et al. Effects of a combination of beta carotene and vitamin A on lung cancer and cardiovascular disease. New England Journal of Medicine 1996;334:1150–1155. DOI 10.1056/NEJM199605023341802
37. Lippman SM, Klein EA, Goodman PJ et al. Effect of selenium and vitamin E on risk of prostate cancer and other cancers (SELECT). JAMA 2009;301:39–51. DOI 10.1001/jama.2008.864
38. Lonn E, Yusuf S, Arnold MJ et al. Homocysteine lowering with folic acid and B vitamins in vascular disease (HOPE-2). New England Journal of Medicine 2006;354:1567–1577. DOI 10.1056/NEJMoa060900
39. EFSA Scientific Committee. Guidance on the use of the weight of evidence approach in scientific assessments. EFSA Journal 2017;15(8):4971, angenommen am 12.07.2017. DOI 10.2903/j.efsa.2017.4971
40. Verordnung (EG) Nr. 1924/2006 über nährwert- und gesundheitsbezogene Angaben über Lebensmittel, Artikel 5 und 6, konsolidierte Fassung 02006R1924-20141213. Fundstelle: eur-lex.europa.eu
41. Verordnung (EU) Nr. 536/2014 über klinische Prüfungen mit Humanarzneimitteln, Artikel 29, 37, 80 und 81, konsolidierte Fassung 02014R0536-20221205. Fundstelle: eur-lex.europa.eu
42. 42 CFR Part 11, Clinical Trials Registration and Results Information Submission, §§ 11.2, 11.24 und 11.44, Quelle 81 FR 65138 vom 21.09.2016. Fundstelle: ecfr.gov
43. International Committee of Medical Journal Editors. Recommendations, Abschnitt Clinical Trial Registration. Fundstelle: icmje.org
44. National Library of Medicine. ClinicalTrials.gov: A 25-Year Journey to a Half-Million Registered Studies, 02.04.2025. Fundstelle: nlmdirector.nlm.nih.gov

Dieser Beitrag dient der allgemeinen Information und ersetzt keine ärztliche Beratung.