Annak megértéséhez, hogy egy betegség új kezelése valóban jobb-e, mint a régebbi kezelések, az orvosok és kutatók a rendelkezésre álló legjobb bizonyítékokat keresik. Az egészségügyi szakemberek egy "utolsó szót" akarnak bizonyítékként annak eldöntésére, hogy mik a legjobb kezelési módok.

De nem minden orvosi bizonyíték egyenlő. És egyértelmű bizonyítékhierarchia van: a szakértői vélemény és az esetjelentések az egyes eseményekről a legalacsonyabb szinten vannak, és a jól lefolytatott, randomizált, kontrollált vizsgálatok a csúcs közelében vannak. Ennek a hierarchiának a tetején vannak a metaanalízisek-olyan tanulmányok, amelyek több, ugyanazt a kérdést feltett tanulmány eredményeit egyesítik. És nagyon, nagyon Ennek a hierarchiának a tetején a .a nevű csoport által végzett metaanalízisek találhatók Cochrane együttműködés.

Ahhoz, hogy a Cochrane Collaboration tagja legyen, az egyes kutatóknak vagy kutatócsoportoknak nagyon szigorú irányelveket kell betartaniuk a metaanalízisek jelentésének és végrehajtásának módjáról. Ezért a Cochrane-értékeléseket általában a legjobb meta-elemzéseknek tekintik.

Azonban soha senki nem kérdezte meg, hogy a Cochrane Collaboration által végzett metaanalízisek eredményei eltérnek-e a más forrásokból származó metaanalízisektől. Elméletben, ha összehasonlítja a Cochrane és a nem Cocrhane metaanalízist, mindkettőt hasonló időkereten belül tették közzé, akkor általában azt várná, hogy ugyanazokat a tanulmányokat választották volna elemzésre, és hogy azok eredményei és értelmezése jobban vagy kevésbé egyezik.

Csapatunk a Bostoni Egyetem Közegészségügyi Iskolájában úgy döntött, hogy megtudja. És meglepő módon nem az amit találtunk.

Egyébként mi a metaanalízis?

Képzelje el, hogy öt kis klinikai vizsgálatot végez, amelyek mindegyike általánosságban pozitív előnnyel jár, ha mondjuk az aszpirint szívrohamok megelőzésére szedjük. De mivel mindegyik tanulmánynak csak kis számú vizsgálati alanya volt, egyikük sem tudta magabiztosan kijelenteni, hogy a jótékony hatások nem egyszerűen a véletlennek köszönhetők. A statisztikai értelemben az ilyen tanulmányokat „alulteljesítettnek” tekintik.

Van egy jó módja annak, hogy növeljük ezeknek a tanulmányoknak a statisztikai erejét: egyesítsük ezt az öt kisebb tanulmányt egy egésszé. Ezt teszi a metaanalízis. Több kisebb tanulmány egyetlen elemzésbe történő egyesítése és e tanulmányok átlagának figyelembevétele néha megdöntheti a mérleget, és tudathatja az orvosi közösséggel, hogy az adott beavatkozás működik -e vagy sem.

A metaanalízisek hatékonyak és olcsók, mivel nem igényelnek új kísérleteket. Inkább az a kérdés, hogy megtalálják -e az összes vonatkozó tanulmányt, amelyet már publikáltak, és ez meglepően nehéz lehet. A kutatóknak kitartónak és módszeresnek kell lenniük a keresésben. Ennek a tudománynak a művészete - és tévedése - kritikus kérdéssé válik a tanulmányok megtalálásával és annak eldöntésével, hogy elegendőek -e a bizalomhoz.

Ez valójában a Cochrane Collaboration alapításának egyik fő oka. Archie Cochrane, az egészségügyi szolgáltatások kutatója felismerte a metaanalízis erejét, de azt is, hogy mennyire fontos, hogy helyesen végezzük őket. A Cochrane Collaboration metaanalíziseknek meg kell felelniük az átláthatóság, a módszertani szigor és a reprodukálhatóság nagyon magas követelményeinek.

Sajnos csak kevesen tudnak időt és energiát fordítani a Cochrane Collaboration-ra, és ez azt jelenti, hogy a meta-elemzések túlnyomó részét nem a Collaboration végzi, és nem kötelesek betartani szabványaikat. De vajon ez valóban számít?

Mennyire különbözhet két metaanalízis?

Ennek kiderítéséhez először 40 pár metaanalízist azonosítottunk, egyet Cochrane-ből, egyet nem, amelyek ugyanazt a beavatkozást (pl. Aszpirin) és kimenetelét (pl. Szívroham) fedezték, majd összehasonlítottuk és összehasonlítottuk őket.

Először is azt találtuk, hogy a Cochrane és a nem Cochrane metaanalízisek majdnem 40 százaléka nem ért egyet a legalsó statisztikai válaszokkal. Ez azt jelenti, hogy például a tipikus olvasók, orvosok vagy egészségügyi szakpolitikusok alapvetően eltérő értelmezést adnak arra vonatkozóan, hogy a beavatkozás hatékony volt-e vagy sem, attól függően, hogy mely metaanalíziseket olvasták el.

Másodszor, ezek a különbségek szisztematikusnak tűntek. A nem Cochrane-felülvizsgálatok átlagosan azt sugallták, hogy az általuk tesztelt beavatkozások hatékonyabbak, nagyobb valószínűséggel gyógyítják az állapotot vagy elhárítanak bizonyos orvosi szövődményeket, mint a Cochrane-vélemények sugallták. Ugyanakkor a nem Cochrane-értékelés pontossága kevésbé volt pontos, ami azt jelenti, hogy nagyobb az esély arra, hogy a megállapítások pusztán a véletlennek köszönhetők.

A metaanalízis nem más, mint komponens vizsgálatainak csak egy képzeletbeli súlyozott átlaga. Meglepődve tapasztaltuk, hogy a mellékelt vizsgálatok körülbelül 63 százaléka egyedi volt a metaanalízis egyik vagy másik csoportjára. Más szóval, annak ellenére, hogy a két metaanalízis-sorozat feltehetően ugyanazokat a papírokat keresi, hasonló keresési kritériumok alkalmazásával, hasonló időtartamon keresztül és hasonló adatbázisokból, a két halmaznak csak körülbelül egyharmada rendelkezett benne voltak ugyanazok.

Valószínűnek tűnik, hogy a különbségek nagy része vagy mindegyike abból fakad, hogy Cochrane ragaszkodik a szigorúbb kritériumokhoz. A metaanalízis csak annyira jó, mint a benne foglalt tanulmányok, és a rossz kutatások átlagának figyelembevétele rossz eredményhez vezethet. Ahogy a mondás tartja: „szemetet be, szemetet ki”.

Érdekes, hogy azok az elemzések, amelyek jóval nagyobb hatásméreteket közöltek, hajlamosak voltak ismételten hivatkozni más dokumentumokban, sokkal nagyobb arányban, mint az alacsonyabb hatásméretet jelentő elemzések. Ez a régi újságírói mondás statisztikai megtestesítője: „Ha vérzik, vezet.” A nagy és merész hatások nagyobb figyelmet kapnak, mint a marginális vagy kétértelmű eredményeket mutató eredmények. Az orvosi közösség végül is csak ember.

Miért fontos ez?

A legalapvetőbb szinten ez azt mutatja, hogy Archie Cochrane -nek teljesen igaza volt. A módszertani következetesség, szigor és átláthatóság elengedhetetlen. E nélkül fennáll a kockázata annak a következtetésnek a levonására, hogy valami működik, ha nem, vagy csak túlhaszonnal jár.

De magasabb szinten ez ismét megmutatja nekünk, hogy milyen nehéz az orvosi szakirodalom egységes értelmezését létrehozni. A metaanalízist gyakran használják végső szóként egy adott témában, mint a kétértelműség döntőit.

Nyilvánvaló, hogy ezt a szerepet megkérdőjelezi az a tény, hogy két, látszólag ugyanarról a témáról szóló metaanalízis különböző következtetéseket vonhat le. Ha a metaanalízist a „bizonyítékokon alapuló orvostudomány” jelenlegi korának „aranyszabványaként” tekintjük, hogyan reagál az átlagos orvos, döntéshozó vagy akár beteg, ha két aranystandard ellentmond egymásnak? Caveat ürítő.

A szerzőről

Christopher J. Gill, egyetemi docens, Globális Egészségügyi Osztály; Fertőző betegségek specialistája, Boston University.

Ezt a cikket eredetileg közzétették A beszélgetés. Olvassa el a eredeti cikk.

Kapcsolódó könyv:

at InnerSelf Market és Amazon