Publikációs torzítás

A Wikipédiából, a szabad enciklopédiából
(Fiókprobléma szócikkből átirányítva)
Jump to navigation Jump to search

A publikációs torzítás (más néven fiókeffektus vagy asztalfiók-effektus) egy, a tudományos kutatások publikációja terén előforduló torzítás. Akkor beszélünk publikációs torzításról, mikor egy kísérlet vagy kutatás eredménye befolyásolja azt, hogy publikálják vagy más módon terjesztik-e. A publikációs torzítás azért lényeges, mert egy adott hipotézist tárgyaló szakirodalmi összefoglalókban, metaanalízisekben is megjelenik a torzítás, ha a téma irodalmában jelen van.[1]

Több tényező is publikációs torzításhoz vezethet.[1] A szignifikáns eredményt hozó kutatásokat háromszor olyan valószínűséggel jelentetik meg, mint a nem szignifikáns eredményűeket,[2] annak ellenére, hogy az utóbbiak ugyanolyan minőségűek lehetnek a kutatási design és a kivitelezés tekintetében, mint a szignifikáns eredménnyel záruló kutatások.[3] Arra is van példa, hogy a publikációs gyakorlat a negatív eredmények felé torzít; ha egy tudományos eredmény már biztosan alátámasztott, hírértéke lehet az olyan kutatások publikációjának, melyek nem találtak hasonló eredményt.[4] Az érem másik oldala, hogy az ellentmondó eredményeket gyakorta azért nem publikálják, mert maguk a kutatók nem nyújták be azokat. Ennek oka például az, hogy a kutatók azt feltételezik, hogy hibáztak, mikor kutatásuk nem támasztott alá egy jól ismert eredményt; elvesztették érdeklődésüket a téma iránt vagy feltételezik, hogy másokat nem fog érdekelni a negatív eredmény.[3]

A nem publikált munkák azonosítása gyakran nehézségekbe ütközik vagy egyenesen lehetetlen.[1] A probléma megoldására több tudományos folyóirat a publikációra benyújtott kutatások előzetes regisztrációját vezette be, ez azt jelenti, hogy a kutatás tervét még az adatok gyűjtése és elemzése előtt közölni kell. Más ajánlott stratégia a publikációs torzítás felismerésére és kontrollálására a valószínűség-eloszlás elemzése és a kis, nem-randomizált kutatások kizárása az esetükben gyakori hibák és torzítások elkerülése végett. [3]

Definíció[szerkesztés]

Akkor beszélünk publikációs torzításról, mikor kutatási eredmények publikációja nem csak a kutatás minőségén, hanem a vizsgált hipotézisen és az eredmények irányán és statisztikai szignifikanciáján is múlik.[5] A fogalmat először Theodore Sterling statisztikus használta 1959-ben olyan tudományterületek tárgyalásakor, melyekben a „sikeres” kutatások nagyobb valószínűséggel jelennek meg. Ennek eredményeképpen „az ilyen területek irodalma lényeges mennyiségű hamis következtetést tartalmaz, melyek az elsőfajú hibából fakadnak”.[6]

A publikációs torzítást gyakran asztalfiók-hatásnak vagy Robert Rosenthal[7] nyomán az asztalfiók problémájának nevezik. Ezek az elnevezések arra utalnak, hogy egy adott hipotézist nem támogató eredmények gyakran a kutatók asztalfiókjában maradnak, mely torzításhoz vezet a megjelent irodalomban.[8]

A pozitíveredmény-torzítás a publikációs torzítás egy fajtája, mely abból fakad, hogy a szerzők és a folyóiratszerkesztők nagyobb hajlandóságot mutatnak pozitív eredmények benyújtására, valamint elfogadására, mint negatív vagy nem egyértelmű eredményekére.[9] Az eredményközlési torzítás akkor lép fel, mikor a kutatók több eredményt mértek és elemeznek, majd az eredmények ereje és iránya alapján döntenek arról, hogy melyiket közlik. Ezeket az úgynevezett post hoc döntéseket az angol nyelvű tudományos közvélemény a „hypothesizing after the results are known” (hipotézisalkotás az eredmények tudatában) angol kifejezés kezdőbetűiből HARKingnek („HARKolásnak”) nevezi.[10]

Rizikótényezők[szerkesztés]

John Antonakis[11] a tudományos gyakorlat problémáit játékosan a tudományt veszélyeztető öt betegségként foglalja össze: significosis, vagyis a szignifikáns eredményekre való túlzott fókuszálás; neophilia, az újdonságok iránti túlzó lelkesedés; theorrhea, az új elméletek hajszolása; arigorium, a fegyelem hiánya az elméleti és empirikus munkában, és végül a disjunctivitis, a nagy mennyiségű redundáns, triviális és inkoherens munka előállítása. Ezen tényezők kiválthatják vagy hozzájárulhatnak a publikációs torzításhoz.

John Ioannidis[12] szerint a „kutatási eredmények sokszor csak pontos mérőeszközei a meglévő torzításoknak”. A következő tényezőket sorolja fel, melyek a pozitív eredménnyel bíró kutatások valószínűbb publikációjához vezetnek:

  • a tudományterületen megjelenő kutatások kis elemszámúak
  • alacsony hatásméret
  • nagyszámú, előzetesen nem szűrt kapcsolat mérése
  • kutatási dizájnok, definíciók, eredmények, elemzési módok rugalmas használata
  • előzetes várakozások (pénzügyi vagy másmilyen érdek)
  • verseny az adott kutatási területen; magas motiváció a szignifikáns eredmények közlésére

Más ilyen tényező például a kísérletvezetői torzítás vagy az etikai vagy erkölcsi alapú torzítások.

Bizonyítékok[szerkesztés]

Metaanalízis: A sztereotípiaveszélyeztetés hatása a lányok matematikaeredményeire. Az eredmények a publikációs torzításra jellemző aszimmetriát mutatnak.[13]

A tudományos irodalomban jelenlévő publikációs torzítást az orvosbiológiai kutatásokban vizsgálták a legalaposabban. A klinikai vizsgálatokat az etikai bizottságokhoz való benyújtástól a publikációig követő kutatások azt mutatják, hogy a pozitív eredményeket nagyobb valószínűséggel közlik.[14][15][16] Ezenkívül a publikált kutatások gyakran elhallgatják a negatív eredményeket, ahogy azt egy, a kutatási protokollokat a megjelent folyóiratcikkekkel összehasonlító kutatás megállapította.[17] [18]

Ha jelen van a publikációs torzítás, a megjelent folyóiratcikkek nem jelentenek reprezentatív mintát az elérhető bizonyítékokra nézve. A torzítás hat a metaanalízisekre és a szisztematikus szakirodalmi összefoglalókra. Ez például azért jelent problémát, mert a bizonyítékokon alapuló orvoslás egyre inkább metaanalízisekre támaszkodik a bizonyítékok értékeléséhez.

A legnagyobb volumenű metaanalízis-vizsgálat orvosi kezeléseket vizsgáló kutatások szisztematikus elemzésében vizsgálta a publikációs torzítás jelenlétét a Cochrane-adatbázist használva.[19] A kutatás azt mutatta, hogy a pozitív, statisztikailag szignifikáns eredményeket 27%-kal nagyobb valószínűséggel közlik a kezelések hatásosságát tárgyaló metaanalízisek, mint másfajta eredményeket. A káros hatásokat nem találó kutatásokat 78%-kal nagyobb valószínűséggel tárgyalják a kezelések biztonságát vizsgáló kutatások, mint a statisztikailag szignifikáns, káros hatásokat mutató eredményeket, tehát a publikációs torzításra neves orvosi szakfolyóiratokban megjelent metaanalízisek esetén is vannak bizonyítékok.[20]

A publikációs torzítás jelenléte egy úgynevezett tölcsérgrafikon elkészítésével is felmérhető: a folyóiratcikk által közölt hatásnagyság becslését egy pontosságot mérő változó vagy a mintaméret függvényében ábrázoljuk. Azt várjuk, hogy a grafikon pontjai tölcsér alakot rajzolnak majd ki, jelezve, hogy nincs összefüggés a hatásméret publikációja és a statisztikai szignifikanciája között.[21] Mikor azonban kis kutatások jellemzően egy irányba mutatnak (általában a nagy hatásméretek felé), aszimmetria lép fel, mely publikációs torzításra utalhat.[22]

A tölcsérgrafikonokat vizuálisan értelmezzük, ezért az értékelés elkerülhetetlenül szubjektív. A szubjektív ítéletek torzítását elkerülendő többféle teszt is rendelkezésre áll a grafikonok aszimmetriájának kimutatására.[21][23][24] Ezek a tesztek gyakorta lineáris regresszión alapulnak, és egy többszörösítő vagy additív diszperziós paramétert használnak a kutatások heterogenitásának kiigazítására. Egyes megközelítések a publikációs torzítás (feltételezett) jelenlétét igyekeznek kiigazítani,[19][25][26] ami különösen hasznos a metaanalízisek eredményeire gyakorolt feltételezett hatás feltérképezésében.[27][28][29]

Példák[szerkesztés]

Két, a reboxetin hatóanyag antidepresszánsként való alkalmazását feltérképező metaanalízis kísérletet tett a publikációs torzítás kimutatására klinikai vizsgálatokban. Pozitív vizsgálati eredményeket követően 2001-ben a reboxetint elfogadták a depresszió kezelésére több európai országban, így az Egyesült Királyságban is, bár a gyakorlatban ritkán alkalmazták ilyen indikációra. Egy 2010-es metaanalízis arra a következtetésre jutott, hogy a reboxetin hatástalan a depresszió kezelésében, és a pozitív eredményű vizsgálatok túlsúlya a publikációs torzítás következménye volt, nagyrészt a Pfizer gyógyszergyártó cég által publikált vizsgálatoknak köszönhetően. Egy ezt követő, 2011-ben megjelent metaanalízis az eredeti adatokra támaszkodva hibásnak ítélte a 2010-es elemzést, és a reboxetin hatásosságát támasztotta alá súlyos depresszió esetén. A gyógyszerészeti, orvosi kutatásokban megjelenő publikációs torzítást Goldacre és Wilmshurst tárgyalja.

A társadalomtudományok területén a vállalati társas és pénzügyi teljesítményt tárgyaló publikált kutatások elemzése arra a következtetésre jutott, hogy „a közgazdaságtani, pénzügyi és számviteli folyóiratokban az átlagos korrelációk mértéke körülbelül feleakkora volt, mint a társas problémamanagementtel, üzleti etikával vagy az üzlet és társadalom kapcsolatával foglalkozó folyóiratokban”.[30]

A publikációs torzítás egy példája, hogy a Daryl Bem prekogníciót feltételező kutatását eredetileg publikáló The Journal of Personality and Social Psychology című folyóirat nem jelentette meg a kutatást megismételni próbáló vizsgálatokat.[31]

Egy, a Kínában készült, gén-betegség kapcsolatokat vizsgáló kutatásokat a Kínán kívül készültekkel összehasonlító elemzés azt találta, hogy a Kínában született kutatások erősebb kapcsolatot és több statisztikailag szignifikáns eredményt közöltek.[32]

Megoldási lehetőségek[szerkesztés]

A metaanalízisek és szisztematikus szakirodalmi összefoglalók nem publikált kutatásokból származó, valamint nem egyértelmű következtetésekre jutó kutatások bevonásával védekezhetnek a publikációs torzítás ellen.

A publikáció torzítás kordában tartható nagyobb statisztikai erejű vizsgálatokkal, szigorúbb kutatási irányelvekkel, és a feltételezett kapcsolatok óvatos vizsgálatával.[12] A nagyobb statisztikai erejű vizsgálatok olyan nagy, egyértelmű eredményeket mutató vagy átfogó elméleteket tesztelő vizsgálatok, melyek alacsony torzítású metaanalíziseket eredményeznek. Szigorúbb kutatási irányelveket valósít meg például a protokollok, majd az adatok regisztrációja, vagy a bevett kutatási protokollokhoz való igazodás. A hamis pozitív eredmények elkerülése végett a kutatónak figyelembe kell vennie, hogy valós vagy nem valós kapcsolatot vizsgál-e. Ezt a hamis pozitív eredmény valószínűségének értékelésével teheti meg, mely az elvégzett próba statisztikai erején alapul,[33] valamint az eredményt is validálhatja, ha korábbi, megalapozott, ismert módon minimális torzítást tartalmazó kutatások eredményeit erősíti meg.

Kutatások előzetes regisztrációja[szerkesztés]

2004 szeptemberében neves orvosi szakfolyóiratok (többek között a New England Journal of Medicine, a The Lancet, az Annals of Internal Medicine, és a JAMA) szerkesztői bejelentették, hogy nem jelentetnek meg gyógyszerészeti cégek által szponzorált kutatásokat, csak abban az esetben, ha a kutatást előzetesen regisztrálják egy nyilvános, klinikai vizsgálatokat rögzítő adatbázisban.[34] Ezenkívül egyes folyóiratok kiemelten támogatják a kutatási protokollok publikációját.

Az Egészségügyi Világszervezet (WHO) állásfoglalása szerint a klinikai vizsgálatokat illető minden alapvető információt előzetesen regisztrálni és elérhetővé kell tenni a nyilvánosság számára a WHO Nemzetközi Klinikai Kutatások Regisztrátumában. Ezenkívül az egyes vizsgálatok bemutatásán túl a teljes kutatási protokollok nyilvánosságra hozatala is egyre elterjedtebb.[35]

Jegyzetek[szerkesztés]

  1. ^ a b c Rothstein, H., Sutton, A. J., Borenstein, M. (2005). Publication bias in meta-analysis: prevention, assessment and adjustments. Wiley, Chichester, England, Hoboken, NJ.
  2. Dickersin, K., Chan, S., Chalmers, T. C. et al. (1987). Publication bias and clinical trials. Controlled Clinical Trials, 8(4), 343–353.
  3. ^ a b c Easterbrook, P. J., Berlin, J. A., Gopalan, R., Matthews, D. R. (1991). Publication bias in clinical research. Lancet, 337(8746), 867–872.
  4. Luijendijk, H. J., Koolman, X. ( 2012). The incentive to publish negative studies: how beta-blockers and depression got stuck in the publication cycle. J Clin Epidemiol, 65(5), 488–92.
  5. Dickersin, K. (1990). The existence of publication bias and risk factors for its occurrence. JAMA, 263(10), 1385–9.
  6. Sterling, T. D. (1959). Publication decisions and their possible effects on inferences drawn from tests of significance—or vice versa. Journal of the American Statistical Association, 54(285), 30–34.
  7. Rosenthal, R. (1979). File drawer problem and tolerance for null results. Psychol Bull,. 86, 638–41.
  8. Scargle, J. D. (2000). Publication bias: the "file-drawer problem" in scientific inference. Journal of Scientific Exploration, 14(2), 94–106.
  9. Sackett, D. L. (1979). Bias in analytic research. J Chronic Dis, 32(1–2), 51–63.
  10. Kerr, N. L. (1998). HARKing: Hypothesizing After the Results are Known. Personality and Social Psychology Review, 2(3), 196–217.
  11. Antonakis, J. (2017). On doing better science: From thrill of discovery to policy implications. The Leadership Quarterly, 28(1), 5–21.
  12. ^ a b Ioannidis, J. (2005). Why most published research findings are false. PLoS Med, 2(8), 124.
  13. Flore P. C., Wicherts J. M. (2015). Does stereotype threat influence performance of girls in stereotyped domains? A meta-analysis. J Sch Psychol., 53, 25–44.
  14. Dickersin, K., Min, Y. I. (1993). NIH clinical trials and publication bias. Online J Curr Clin Trials, 50.
  15. Decullier, E., Lheritier V., Chapuis, F. (2005). Fate of biomedical research protocols and publication bias in France: retrospective cohort study. BMJ, 331, 19–22.
  16. Song, F., Parekh-Bhurke, S., Hooper, L., Loke, Y., Ryder, J., Sutton, A. et al. (2009). Extent of publication bias in different categories of research cohorts: a meta-analysis of empirical studies. BMC Med Res Methodol, 9, 79.
  17. Chan, A. W., Altman, D.G. (2005). Identifying outcome reporting bias in randomised trials on PubMed: review of publications and survey of authors. BMJ, 330, 753.
  18. Riveros, C., Dechartres, A., Perrodeau, E., Haneef, R., Boutron, I., Ravaud, P. (2013). Timing and completeness of trial results posted at ClinicalTrials.gov and published in journals. PLoS Med, 10.
  19. ^ a b Kicinski, M., Springate, D. A., Kontopantelis, E. (2015). Publication bias in meta-analyses from the Cochrane Database of Systematic Reviews. Statistics in Medicine, 34, 2781–93.
  20. Kicinski, M. (2013). Publication bias in recent meta-analyses. PLoS ONE, 8.
  21. ^ a b Debray, T. P. A., Moons, K. G. M., Riley, R. D. Detecting small-study effects and funnel plot asymmetry in meta-analysis of survival data: a comparison of new and existing tests. Research Synthesis Methods.
  22. Light & Pillemer (1984). Summing up: The science of reviewing research. Harvard University Press, Cambridge, MA.
  23. Zhi-Chao, J., Xiao-Hua, Z., Jia, H. (2015). Statistical methods for dealing with publication bias in meta-analysis. Statistics in Medicine. 34(2), 343–360.
  24. Rücker, G., Carpenter, J. R., Schwarzer, G. (2011). Detecting and adjusting for small-study effects in meta-analysis. Biometrical Journal, 53(2), 351–368.
  25. Silliman, N. (1997). Hierarchical selection models with applications in meta-analysis. Journal of the American Statistical Association. 92(439), 926–936.
  26. Hedges, L., Vevea, J. (1996). Estimating effect size under publication bias: small sample properties and robustness of a random effects selection model. Journal of Educational and Behavioral Statistics, 21(4), 299–332.
  27. McShane, B. B., Böckenholt, U., Hansen, K. T. (2016). Adjusting for Publication Bias in Meta-Analysis. Perspectives on Psychological Science, 11(5), 730–749.
  28. Sutton, A. J., Song, F., Gilbody, S.M., Abrams, K. R. (2000). Modelling publication bias in meta-analysis: a review. Stat Methods Med Res., 9, 421–445.
  29. Kicinski, M. (2014). How does under-reporting of negative and inconclusive results affect the false-positive rate in meta-analysis? A simulation study. BMJ Open, 4(8).
  30. http://marcorlitzky.webs.com/Papers/Orlitzky2011beq_preprint.pdf
  31. Goldacre, B. (2011. április 23.). Backwards step on looking into the future. The Guardian.
  32. Pan, Z., Trikalinos, T. A., Kavvoura, F. K., Lau, J., Ioannidis, J. (2005). Local literature bias in genetic epidemiology: An empirical evaluation of the Chinese literature. PLoS Medicine, 2(12), e334.
  33. Wacholder, S., Chanock, S., Garcia-Closas, M.; El Ghormli, L., Rothman, N. (2004). Assessing the Probability That a Positive Report is False: An Approach for Molecular Epidemiology Studies. JNCI, 96(6), 434–42.
  34. Shankar Vedantam. „Journals Insist Drug Manufacturers Register All Trials”, Washington Post, 2004. szeptember 9. (Hozzáférés ideje: 2017. január 28.) 
  35. Dickersin, K., Chalmers, I. (2011). Recognizing, investigating and dealing with incomplete and biased reporting of clinical research: from Francis Bacon to the WHO. J R Soc Med., 104(12), 532–538.

További információk[szerkesztés]