Um zu verstehen, wenn eine neue Behandlung für eine Krankheit ist wirklich besser als ältere Behandlungen, Ärzte und Forscher schauen auf die besten verfügbaren Beweise. Gesundheitsexperten wollen eine "letzte Wort" in Evidenz zu regeln Fragen über das, was die besten Arten der Behandlung sind.

Aber nicht alle medizinischen Beweise sind gleich. Und es gibt eine klare Beweishierarchie: Expertenmeinungen und Fallberichte über einzelne Ereignisse sind auf der untersten Stufe, und gut durchgeführte randomisierte kontrollierte Studien sind in der Nähe der Spitze. An der Spitze dieser Hierarchie stehen Meta-Analysen - Studien, die die Ergebnisse mehrerer Studien kombinieren, die dieselbe Frage stellten. Und das sehr, sehr An der Spitze dieser Hierarchie stehen Meta-Analysen, die von einer Gruppe namens Cochrane Collaboration.

Um Mitglied der Cochrane Collaboration zu sein, müssen einzelne Forscher oder Forschungsgruppen sehr strenge Richtlinien einhalten, wie Meta-Analysen berichtet und durchgeführt werden sollen. Aus diesem Grund werden Cochrane-Reviews im Allgemeinen als die besten Meta-Analysen angesehen.

Niemand hat jedoch jemals gefragt, ob die Ergebnisse der Metaanalysen der Cochrane Collaboration sich von den Metaanalysen anderer Quellen unterscheiden. Wenn Sie eine Cochrane- und eine Nicht-Cocrhane-Metaanalyse vergleichen, die beide in einem ähnlichen Zeitraum veröffentlicht wurden, würden Sie theoretisch erwarten, dass sie dieselben Studien zur Analyse ausgewählt hätten und dass ihre Ergebnisse und Interpretationen mehr hätten oder weniger übereinstimmen.

Unser Team an der School of Public Health der Boston University hat beschlossen, das herauszufinden. Und das ist es überraschenderweise nicht was wir gefunden haben.

Was ist überhaupt eine Meta-Analyse?

Stellen Sie sich vor, Sie haben fünf kleine klinische Studien, die alle einen positiven Nutzen für, sagen wir, Einnahme von Aspirin zur Prävention von Herzinfarkten gefunden haben. Da jedoch jede der Studien nur wenige Studienfächer umfasste, konnte niemand mit Sicherheit sagen, dass die positiven Effekte nicht einfach auf Zufall zurückzuführen waren. Im statistischen Sprachgebrauch würden solche Studien als "wenig leistungsfähig" angesehen.

Es gibt einen guten Weg, die statistische Aussagekraft dieser Studien zu erhöhen: Kombinieren Sie diese fünf kleineren Studien zu einem. Das ist es, was eine Meta-Anaysis tut. Die Kombination mehrerer kleinerer Studien zu einer Analyse und die Ermittlung des Durchschnitts dieser Studien können manchmal die Waage halten und die medizinische Gemeinschaft wissen lassen, ob eine bestimmte Intervention funktioniert oder nicht.

Meta-Analysen sind effizient und kostengünstig, da sie keine neuen Studien erfordern. Es geht vielmehr darum, alle relevanten Studien zu finden, die bereits veröffentlicht wurden, und das kann überraschend schwierig sein. Forscher müssen bei ihrer Suche beharrlich und methodisch sein. Studien zu finden und zu entscheiden, ob sie gut genug sind, um zu vertrauen, ist, wo die Kunst - und der Fehler - dieser Wissenschaft ein kritisches Thema wird.

Das ist ein wichtiger Grund, warum die Cochrane Collaboration gegründet wurde. Archie Cochrane, ein Gesundheitsdienst-Forscher, erkannte die Stärke von Meta-Analysen, aber auch die enorme Wichtigkeit, diese richtig zu machen. Die Cochrane Collaboration Meta-Analysen müssen sehr hohe Anforderungen an Transparenz und methodische Stringenz und Reproduzierbarkeit erfüllen.

Leider können nur wenige die Zeit und Mühe verpflichten, die Cochrane Collaboration zu verbinden, und das bedeutet, dass die überwiegende Mehrheit der Meta-Analysen nicht von der Zusammenarbeit durchgeführt werden und sind nicht auf ihre Standards einzuhalten gebunden. Aber egal dies eigentlich?

Wie unterschiedlich können zwei Metaanalysen sein?

Um das herauszufinden, haben wir damit begonnen 40 Paare von Meta-Analysen zu identifizieren, eine von Cochrane und man nicht, welche die gleiche Intervention abgedeckt (zB Aspirin) und das Ergebnis (zB Herzinfarkt) und dann verglichen und gegenüber sie.

Zuerst fanden wir, dass fast 40 Prozent der Cochrane und Nicht-Cochrane Meta-Analysen in ihren unteren statistischen Antworten nicht übereinstimmten. Das bedeutet, dass zum Beispiel typische Leser, Ärzte oder Gesundheitspolitiker eine grundlegend andere Interpretation der Wirksamkeit des Eingriffs entwickeln würden, je nachdem, welche Meta- analysen sie gelesen haben.

Zweitens schienen diese Unterschiede systematisch. Die Nicht-Cochrane-Reviews im Durchschnitt eher zu vermuten, dass die Interventionen sie testeten waren stärker, was wahrscheinlicher ist, den Zustand oder abwenden einige medizinische Komplikationen zu heilen als die Cochrane-Reviews vorgeschlagen. Zur gleichen Zeit, die Nicht-Cochrane-Reviews waren weniger präzise in ihrer Genauigkeit, was bedeutet, dass es eine höhere Chance, dass die Ergebnisse dem Zufall nur fällig waren.

Eine Metaanalyse ist nichts weiter als ein ausgefallener gewichteter Durchschnitt ihrer Komponentenstudien. Wir waren überrascht, dass ungefähr 63 Prozent der eingeschlossenen Studien für die eine oder andere Gruppe von Metaanalysen einzigartig waren. Mit anderen Worten, trotz der Tatsache, dass die beiden Gruppen von Meta-Analysen vermutlich nach gleichen Papieren mit ähnlichen Suchkriterien über einen ähnlichen Zeitraum und aus ähnlichen Datenbanken suchen würden, verfügte nur ein Drittel der Papiere über die beiden Gruppen enthalten waren die gleichen.

Es scheint wahrscheinlich, dass die meisten oder alle dieser Unterschiede auf die Tatsache zurückzuführen sind, dass Cochrane auf strengere Kriterien besteht. Eine Meta-Analyse ist nur so gut wie die Studien, die sie beinhaltet, und das Durchforsten von schlechter Forschung kann zu einem schlechten Ergebnis führen. Wie das Sprichwort sagt, "Müll rein, Müll raus".

Interessanterweise sind die Analysen, die wesentlich höhere Wirkungsgrößen berichtet tendenziell wieder bei einer viel höheren Rate in anderen Papieren zitiert bekommen als die Analysen der unteren Effektgröße berichten. Dies ist eine statistische Ausführungsform der alten journalistischen Sprichwort "Wenn es blutet, führt es." Groß und fett Effekte mehr Aufmerksamkeit erhalten als Ergebnisse zeigen, marginal oder zweideutige Ergebnisse. Die medizinische Gemeinschaft ist, nach allem, nur ein Mensch.

Warum ist das wichtig?

Auf der grundlegendsten Ebene zeigt dies, dass Archie Cochrane absolut korrekt war. Methodische Kohärenz und Strenge sowie Transparenz sind unerlässlich. Ohne dies besteht die Gefahr, zu dem Schluss zu kommen, dass etwas funktioniert, wenn es nicht funktioniert, oder sogar nur Vorteile übertreibt.

Aber auf einer höheren Ebene zeigt dies uns einmal mehr, wie schwierig es ist, eine einheitliche Interpretation der medizinischen Literatur zu erzeugen. Meta-Analysen werden oft als das letzte Wort zu einem bestimmten Thema verwendet, als die Schiedsrichter der Mehrdeutigkeit.

Deutlich wird diese Rolle durch die Tatsache in Frage gestellt, dass zwei Meta-Analysen, angeblich zum gleichen Thema können verschiedene Schlüsse zu ziehen. Wenn wir die Meta-Analyse als "Goldstandard" in unserer heutigen Zeit der Ansicht "evidenzbasierte Medizin", wie ist der durchschnittliche Arzt oder politischen Entscheidungsträgern oder sogar Patienten zu reagieren, wenn zwei Goldstandards einander widersprechen? Vorbehaltsteller

Über den Autor

Christopher J. Gill, Associate Professor, Abteilung für globale Gesundheit; Spezialist für Infektionskrankheiten, Boston University.

Dieser Artikel wurde ursprünglich veröffentlicht am Das Gespräch.. Lies das Original Artikel.

Verwandte Buch:

at InnerSelf Market und Amazon