Befolyásoló hibák | a diétás szívmese

Ez év elején kollégáimmal megvitattuk a telített zsír és a szív- és érrendszeri betegségek kapcsolatát. Egyikünk cikket írt a témáról, és egy szokatlan próbáról tárgyaltunk, amelyet gyakran metaanalízisek is tartalmaznak.

Ez a vizsgálat a Finn Mentális Kórház Tanulmány, egy átfogó tanulmány, amely összehasonlította a kontroll étrendben lévő betegeket bizonyos mennyiségű telített zsírral azokkal az intervenciós étrenddel rendelkező betegekkel, akik a telített zsírt többszörösen telítetlen zsírokkal helyettesítették.

Itt található a tárgyalás összefoglalása,

• A Helsinkihez közeli 2 elmegyógyintézetben 1959-ben kontrollált beavatkozási vizsgálatot végeztek annak a hipotézisnek a tesztelésére, hogy a szívkoszorúér-betegség (CHD) előfordulása csökkenthető a szérum-koleszterinszint-csökkentő (SCL) étrend alkalmazásával. „71.

Az alanyok középkorú férfiak voltak kórházban. Az egyik kórház SCL étrendet kapott, azazВ telített zsírokban és koleszterinben alacsony és többszörösen telítetlen zsírokat tartalmazó étrendet kapott, míg a másik a normál kórházi étrend mellett kontrollként szolgált. Hat évvel később az étrend megfordult, és a vizsgálatot további 6 évig folytatták

A tanulmány nem csak a férfiakat foglalta magában, hanem a nőket is, és ugyanaz a kutatócsoport külön cikkben tárgyalja.

Összességében a két tanulmányban (valójában csak egy tanulmányban) 818 résztvevőből álló mintaméret volt (nehéz CVD eseményeknél), így a metaanalízisekben gyakran meglehetősen sokat mérnek.

Szeretném felhívni a figyelmet egy sajátos metaanalízisre, amelyet nyolc évvel ezelőtt tett közzé Mozaffarian, Micha és Wallace, 2010. Ez az egyik legtöbbet idézett metaanalízis ebben a témában, a Google Tudós jelzi, hogy ez több mint 900 + tudományos forrás idézte. A Web of Science azt jelzi, hogy e bejegyzés írásakor 466 cikk idézi.

Forrás: Web of Science

Nyilvánvaló, hogy ez egy jól ismert tanulmány.

Az érdekes meta-elemzés felvételi és kizárási kritériumait leírja,

• Megkerestük az összes olyan RCT-t, amelyek randomizálták a felnőtteket az összes vagy n-6 PUFA-fogyasztás növelésére legalább 1 éven keresztül, egyéb jelentős egyidejű beavatkozások (pl. vérnyomás vagy dohányzás kontroll, egyéb többszörös diétás beavatkozások stb.) nélkül, megfelelő kontrollcsoporttal. e diétás beavatkozás nélkül, és elegendő adatot jelentett be (vagy szerzett be a szerzőktől) ahhoz, hogy kiszámolja a kockázati becsléseket standard hibákkal a CHD-események (miokardiális infarktus, CHD-halál és/vagy hirtelen halál) előfordulására gyakorolt hatásokra vonatkozóan. A tanulmányokat kizárták, ha megfigyelő jellegűek vagy más módon nem véletlenszerűek voltak

Tehát a szerzők kijelentik, hogy a mellékelt vizsgálatoknak randomizált, legalább egy éves vizsgálatoknak kell lenniük, és kizárják azokat a vizsgálatokat, amelyek nem randomizáltak vagy megfigyelési szempontból.

Itt van egy lista az általuk tartalmazott tanulmányokról. Vegye figyelembe a finn tanulmányok tervét (Turpeinen, 1979 és Miettinen, 1983), amelyet alább fogok érinteni.

Mik voltak az eredmények?

Mozaffarian D, Micha R, Wallace S (2010)

Az összes kísérletet összevetve a CHD események összesített kockázatcsökkenése 19% volt (RR = 0,81, 95% CI 0,70 - 0,95, p = 0,008).

A 2010-es metaanalízis megállapította, hogy az étrendben a telített zsírok többszörösen telítetlen zsírokkal történő helyettesítése jelentős, statisztikailag szignifikáns csökkenést eredményezett a CHD eseményekben. A 19% -os csökkenés természetesen semmit sem hagyhat figyelmen kívül, és a konfidencia intervallum (CI) a hatás felé hajlik. Diétás beavatkozásként ígéretesnek tűnik. Ez lehet az oka annak, hogy a tanulmányt ilyen széles körben idézik. A metaanalízisben szereplő vizsgálatok minősége alacsony vagy közepes volt,

• Sok vizsgálatnak voltak tervezési korlátai, például egyszeri vakítás, elektrokardiográfiailag meghatározott klinikai végpontok felvétele vagy nyílt beiratkozás. Valamennyi vizsgálat vakos végpontértékelést alkalmazott. A minőségi pontszámok szerény tartományban voltak, és viszonylag homogének: minden vizsgálat minőségi pontszáma 2 vagy 3 volt.

És volt néhány javaslat a publikációk elfogultságára (kis tanulmányi hatások is lehetnek),

Mozaffarian D, Micha R, Wallace S (2010)

A kapott tölcsértábla szemrevételezése némi potenciált jelent a publikáció torzítására (S1. ábra), a Begg-féle próbával (a folytonosság korrigálva p = 0,07), bár ezek a meghatározások korlátozottak, ha a vizsgálatok száma viszonylag kicsi.

Ettől függetlenül a hatások elég érdekesek és érdemes tovább vizsgálni.

Mi romlott el?

A meta-elemzés egyik fő problémája, hogy a kvantitatív elemzésbe bevont két finn tanulmányt nem randomizálták. A szerzők felvételi kritériumaikkal világossá tették, hogy csak véletlenszerű vizsgálatokat akarnak bevonni.

A két finn elmegyógyintézeti vizsgálatot véletlenszerűen besorolt klaszterként jelölték meg, amelyet a jellemzők táblázatában felülről láthat. Amikor ezt a metaanalízist közzétették, több személy kritikusan vélekedett arról, hogy egy „klaszter-randomizált vizsgálatot” véletlenszerű vizsgálatnak neveztek, különösen akkor, ha csak két klaszter volt (két kórház). Ez megalapozott kritika, mert a klaszter-randomizált vizsgálat, feltételenként csak egy klaszterrel, érvénytelen a csoportok közötti statisztikai összehasonlításokban. Brown és munkatársai, 2015 magyarázzák ebben az átfogó cikkben,

Különösen káros és érvénytelen tervezés, amely elismerést igényel, feltételenként csak egy klaszter bevonása. Az ilyen tervek nem képesek alátámasztani a beavatkozás hatásának érvényes elemzését, mivel nincsenek erős és tesztelhetetlen feltételezések (11, 12). Ilyen terveknél a klaszternek tulajdonítható variáció a feltétel miatti variációtól eltekintve nem azonosítható.

A feltételenként egy klaszter szerinti tervezés analóg azzal, hogy egy embert rendelnek a kezeléshez és egy személyt a kontrollhoz egy hétköznapi (nem klaszterezett) RCT-ben, minden ember eredményét többször mérik, az egy főre eső több megfigyelést úgy kezelik, mint független megfigyeléseket, és az eredmények értelmezését, mint egy érvényes RCT-t. Ilyen helyzetben az A személyre vonatkozó megfigyelések tesztelhetők abban, hogy különböznek-e jelentősen a B személyre vonatkozó megfigyelésektől, de nem támasztják alá a következtetést a kezelés önmagában.

Tehát egyértelmű, hogy a feltételenként egy fürtöt tartalmazó tervezés nem érvényes arra, hogy sokat meg lehessen állapítani a beavatkozásról. Számos személy (ha nem is az összes) nem vette észre, hogy a finn elmegyógyintézeti vizsgálatokat még klaszterbe sem randomizálták! E két tanulmány öt publikált írásának egyikében sincs utalás véletlenszerűségre. Mind az öt papírt itt ellenőrizheti:

Naplóév címe

International Journal of Epidemiology	1983	A nők koszorúér-betegségének diétás megelőzése: A finn elmegyógyintézeti tanulmány
Keringés	1979	A koleszterinszint-csökkentő étrend hatása a szívkoszorúér-betegség és más okok miatti halálozásra
American Journal of Clinical Nutrition	1968	A szívkoszorúér betegség diétás megelőzése: hosszú távú kísérlet: I. Megfigyelések férfi alanyokról
International Journal of Epidemiology	1979	A szívkoszorúér betegség diétás megelőzése: A finn elmegyógyintézeti tanulmány
A Lancet	1972	A koleszterinszint-csökkentő étrend hatása a szívkoszorúér-betegség miatti halálozására és más okokra, tizenkét éves klinikai vizsgálatra férfiaknál és nőknél

Ezenkívül a klaszter-randomizált vizsgálatok nem voltak gyakoriak, amikor ezeket a vizsgálatokat lefolytatták, ezért szkeptikusnak kell lennünk ezekben a klaszter-randomizált vizsgálatokban.

Mégis, ezt a két vizsgálatot tévesen "klaszter randomizáltnak" nevezték, ezért bekerültek a metaanalízisbe. Mindkét tanulmány 16% -os össztömeggel járult hozzá az elemzéshez.

És ismét, a szerzők meglehetősen figyelemre méltó csökkenést találtak a CVD eseményekben (RR: 0,81, 95% CI 0,70 - 0,95, p = 0,008)

A hiba kijavítása

Tehát mi történik az eredményekkel, amikor kijavítja ezt a hibát a két tanulmány eltávolításával?

Nyissuk meg R-t, és megtudjuk. Ha önállóan szeretné reprodukálni az elemzést, a blogbejegyzés alján megtalálhatja az összes kódot.

Amint a fentiekből látható, az elemzés újbóli futtatása a finn tanulmányok eltávolítása után azt eredményezi, hogy a hatásméret 19% -ról 13% -ra csökken (RR: 0,87, 95% CI 0,76 - 1,00). Ez nagy különbség!

Ha a statisztikai szignifikancia miatt aggódunk, az eredmények már nem szignifikánsak. Érdemes megjegyezni, hogy a megbízhatósági intervallum felső határa alig tartalmazza a null értéket (1), az alsó határ pedig olyan alacsony értéket, mint 0,76. Világos, hogy a CI továbbra is a hatás felé hajlik.

Statisztikai filozófiájától függetlenül ez figyelemre méltó, objektív hiba volt. Hiba volt két vizsgálatot úgy jelölni, hogy azok megfelelnek a felvételi kritériumoknak, és ennek a hibának a kijavítása az eredmények jelentős változásához vezet. Mégis, ezt a hibát nem javították ki a naplóban. Valójában ez a tanulmány nyolc éve létezik, korrekciók és visszahúzások nélkül.

Megkerestem a PLoS szerzőit és szerkesztőit is, de a mai napig nincsenek frissítések és javítások magáról a cikkről. Ezért gyanítom, hogy többen olvassák vagy idézik a cikket, és nincsenek tisztában azzal, hogy az összefoglaló hatások helytelenek, és az elemzésben szereplő néhány tanulmánynak nem szabad ott lennie!

Nagyon fontos megjegyezni, hogy a tanulmány hibáinak kijavítása nem vezet teljesen más következtetésekhez. Bár a hatás statisztikailag már nem szignifikáns, a hatás nagysága és a konfidencia intervallumok lefedettsége alapján mégis fennáll. A hatás azonban csökken.

Más csoportok, köztük Cochrane szisztematikus áttekintései nem vonták be a finn tanulmányokat meta-elemzéseikbe, mert a szerzők nem gondolták, hogy egy olyan klaszteres, véletlenszerű vizsgálat, amelyben ilyen kevés klaszter van (2), megfelel a randomizált vizsgálat felvételi kritériumainak (érdemes emlékezni rá, hogy egyik cikkben sincs utalás arra, hogy ezt még klaszterbe is randomizálták volna!). Ezen finn tanulmányokat kizáró szisztematikus felülvizsgálatok egy része még mindig előnyösnek találja az étrend telített zsírok többszörösen telítetlen zsírokkal történő helyettesítését.

Más metaanalízisek azonban szintén nem találtak statisztikailag szignifikáns hasznot a telített zsírok többszörösen telítetlen zsírokkal történő helyettesítésében.

Nyilvánvaló, hogy elég sok nézeteltérés van ebben a témában. Ettől függetlenül a szóban forgó metaanalízis még mindig nagy hibát követett el, és a következő okokból okoz problémát (még akkor is, ha annak általános következtetései a korrekció után nem változtak):

Két prominens tanulmányt tévesen osztályoztak
A vizsgálatok nem feleltek meg a felvételi kritériumoknak, de bekerültek
Az elemzésbe történő bevonás lényegesen eltérő hatásméretet eredményez, mint inklúzió nélkül
A metaanalízist folyamatosan idézik és félrevezetik a többi olvasót

Természetesen nem utalok arra, hogy ne történnének hibák, főleg ilyen nagy, átfogó projektek végrehajtásakor. Valójában valószínűleg gyanús lennék, ha soha nem lennének hibák ilyen nagy projektek lebonyolításakor!

Úgy gondolom azonban, hogy amikor rámutatnak az ilyen hibákra, azokat a lehető leggyorsabban és átláthatóbban kell kijavítani. Remélhetőleg a szerzők és a szerkesztők hamarosan foglalkoznak ezzel a kérdéssel, hogy megakadályozzák a további zavart.

Újraelemzési szkript

Itt található az adatkészlet, amelyet adatkeretként be kell tölteni az R-be.

Bár a Dersimonian-Laird becslőt is használtam, ahogyan azt a szerzők az eredeti elemzésben használták, inkább azt választottam, hogy az elemzést a korlátozott maximális valószínűség becslő (REML) felhasználásával is elvégezzem, és ehelyett ezt ábrázolom, mivel gyakran szélesebb intervallumot ad becslések, jobb lefedettségi tulajdonságokkal.

Tegyük fel, hogy ezen eredmények P-értékének függvényét is meg akartuk nézni, egyszerűen megtehettük ezt a concurve R csomag görbe_meta () függvényével.

Bár úgy gondolom, hogy az eredmények még mindig hatásra utalnak, ha egy másik elemzőt nem győztek meg ezek a hatások, és ha a kockázati arányoktól számított 0,9 és 1,1 közötti intervallum nullákat állítottak be, mint a semmilyen hatást, akkor ezek az eredmények némi gondot okoznának! Ezt könnyen láthatjuk a concurve segítségével, amely lehetővé teszi az intervallum null régióinak beállítását.

Szerkesztés: Dr. Mozaffarian válaszolt ezekre a kritikákra a PLOS Medicine témájú cikkének megjegyzésrészében, és sajnos nagyon rossznak találtam a válaszokat. A válasz nagyjából annyit összegez, hogy "legjobb tudomásunk szerint, amikor kritikusan értékeltük az irodalmat, ez a tanulmány véletlenszerű vizsgálatnak tűnt, ezért ezt címkéztük, és célszerű lehet kvázi randomizáltnak jelölni," csak mert hiszünk abban.

Sajnos nem gondolom, hogy egyáltalán mennyire halad a tudomány, és valójában ez a hiba komoly zavarokat okozhat a jövőben, ha nem javítják.

Környezet

Az elemzéseket a következőkön futtatták:

APA: Rafi, Z. (2018, okt. 11). Befolyásoló hibák | A diétás szívmese. Letöltve innen:/Nutrition/meta-analysis-pufa /.

AMA: Rafi, Z. Befolyásoló hibák | A diétás szívmese. Kevésbé valószínű./táplálkozás/metaanalízis-pufa /. Publikálva 2018. október 11.

MLA: Rafi, Zad. Befolyásoló hibák | A diétás szívmese. Kevésbé valószínű./táplálkozás/metaanalízis-pufa /. 2018. október 11.