Este greu de certat împotriva puterii științei. De la studii care evaluează cea mai recentă tendință dietetică până la experimente care luminează predictorii fericirii, oamenii au ajuns să privească din ce în ce mai mult rezultatele științifice ca fapte concrete, fiabile, care pot guverna modul în care gândim și acționăm.
Continut Asemanator
- Oamenii de știință au replicat 100 de studii de psihologie și mai puțin de jumătate au obținut aceleași rezultate
Dar în ultimii ani, un contingent din ce în ce mai mare de oameni de știință a început să pună sub semnul întrebării veridicitatea acceptată a cercetărilor publicate - chiar și după ce a fost șters obstacolele revizuirii de la egal la egal și apare în reviste foarte respectate. Problema este o incapacitate omniprezentă de a reproduce o mare parte a rezultatelor în numeroase discipline.
În 2005, de exemplu, John Ioannidis, profesor de medicină la Universitatea Stanford, a folosit mai multe simulări pentru a arăta că afirmațiile științifice sunt mai probabil să fie false decât adevărate. Iar vara trecută, Brian Nosek, profesor de psihologie la Universitatea din Virginia, a încercat să reproducă rezultatele a 100 de studii de psihologie și a constatat că doar 39 la sută din rezultatele deținute au fost reexaminate riguros.
„Există mai multe linii de dovezi, atât teoretice cât și empirice, care au început să aducă în discuție reproductibilitatea unui segment substanțial al literaturii științifice”, spune Ioannidis. „Primim milioane de hârtii care nu duc nicăieri.”
Aceste descoperiri preliminare au creat crearea unui domeniu complet nou numit meta-cercetare - studiul științific al științei.
Săptămâna aceasta, brațul de biologie al Public Library of Science (PLOS), un editor nonprofit și organizație de advocacy, a lansat o nouă secțiune dedicată exclusiv meta-cercetării. Secțiunea va examina aspecte precum transparența în cercetare, standardele metodologice, sursele de părtinire, schimbul de date, finanțarea și structurile de stimulare.
Pentru a începe lucrurile, Ioannidis și colegii săi au evaluat un eșantion aleatoriu de 441 de articole biomedicale publicate între 2000 și 2014. Au verificat dacă aceste lucrări asigurau accesul public la datele brute și la protocoalele experimentale, au fost replicate în studiile ulterioare, au avut rezultatele lor integrate în sistematic. revizuirile unui domeniu de subiect și au inclus documentația surselor de finanțare și a altor conflicte de interese potențiale.
Rezultatele lor erau tulburătoare pentru a spune cel mai puțin. De exemplu, doar un studiu a furnizat protocoale experimentale complete, iar zero studii au furnizat date brute disponibile direct.
„Acestea sunt doi piloni de bază ai reproductibilității”, spune Ioannidis. „Cu excepția cazului în care datele și protocolul complet sunt disponibile, nu se poate reproduce cu adevărat nimic.” La urma urmei, fără aceste informații cheie, cum poate o altă echipă să știe exact ce să facă și cum diferă rezultatele lor de cele din experimentul inițial?
De asemenea, echipa a constatat că afirmațiile din doar opt dintre articolele chestionate au fost ulterior confirmate prin studii ulterioare. Și chiar dacă multe dintre studii au afirmat că au găsit noi descoperiri, rezultatele a doar 16 articole au fost incluse în articole de recenzie ulterioară, care servesc ca test litmus pentru impactul adevărat al unui studiu asupra unui anumit subiect.
„Numerele pe care le obținem sunt destul de înfricoșătoare", spune Ioannidis. „Dar puteți vedea asta ca referință a locului unde suntem acum și există o mulțime de locuri pentru îmbunătățiri."
Cu toate acestea, nu toate rezultatele au fost descurajatoare. Procentul de articole fără declarații privind conflictul de interese a scăzut de la 94, 4 la sută în 2000 la 34, 6 la sută în 2014 - probabil rezultatul unei conștientizări crescânde asupra efectelor periculoase ale prejudecăților asupra rezultatelor cercetării.
Într-un al doilea studiu de meta-cercetare, o echipă germană a analizat modul în care pierderea subiecților la animale în timpul studiilor pre-clinice ar putea contribui la incapacitatea răspândită de a traduce rezultatele de laborator în medicamente clinice utile.
Animalele de cercetare ar putea dispărea dintr-un studiu la întâmplare - de exemplu, pentru că animalul a murit - sau prin acțiuni subtil părtinitoare, cum ar fi fost eliminat din proces pentru a elimina datele care subminează rezultatele așteptate. Echipa a demonstrat că înlăturarea părtinitoare a subiecților de animale poate obține rezultate și poate crește semnificativ probabilitatea de a fi fals pozitiv - atunci când se crede că un nou medicament funcționează, dar de fapt nu.
Într-o analiză separată a studiilor pre-clinice asupra accidentului vascular cerebral și cancerului, aceiași cercetători au descoperit că majoritatea lucrărilor nu au raportat în mod adecvat pierderea subiecților de animale și că efectele pozitive ale multor medicamente testate pot fi mult supraestimate.
Deci, de ce se întâmplă în primul rând această criză de transparență și reproductibilitate?
În timp ce unele probleme pot consta în prejudecăți de cercetare conștiente sau inconștiente, este posibil ca majoritatea studiilor care ajung la publicare să fie unul de acest fel datorită structurii actuale de stimulare din știință.
În lumea decupată a mediului academic, măsura principală a succesului este numărul de studii pe care un cercetător le obține în reviste de prestigiu. Drept urmare, oamenii de știință sunt sub presiune pentru a-și petrece majoritatea timpului obținând tipurile de rezultate descoperite care sunt cel mai probabil să fie publicate.
„Deși apreciem reproductibilitatea în concept, nu o prețuim cu adevărat în practică”, spune Nosek, care este, de asemenea, co-director al Centrului pentru Știință Deschisă, un startup tehnologic nonprofit care lucrează pentru a favoriza transparența și reproductibilitatea în cercetarea științifică.
„Adevăratele stimulente care conduc la comportamentul meu de om de știință sunt să inoveze, să fac noi descoperiri și să rupi un teren nou - să nu repet ceea ce au făcut alții. Aceasta este partea plictisitoare a științei.
Oamenii de știință văd, de asemenea, puține stimulente pentru a furniza informațiile necesare pentru ca ceilalți să le reproducă activitatea, acesta fiind unul dintre motivele principale pentru care afirmațiile atâtor studii rămân neverificate.
„Nu sunt răsplătit pentru faptul că am pus la dispoziție datele mele și nu mi-a scris metodologia într-o mai mare profunzime decât ceea ce este necesar pentru a intra într-o publicație”, spune Nosek.
Multe reviste cer oamenilor de știință să ofere o explicație detaliată a metodelor lor și să comunice date, dar aceste politici sunt rareori aplicate și nu există standarde de publicare universale.
„Dacă aș ști că nu vor exista niciodată polițiști pe drumuri, aș rămâne mereu la limita de viteză? Nu - este natura umană, spune Ivan Oransky, co-fondator al Retraction Watch, o organizație care promovează responsabilitatea și transparența prin urmărirea retractărilor din literatura științifică. „Dacă știți că nimeni nu vă va sancționa, atunci nu veți partaja date.”
Este puțin probabil ca acei oameni de știință care doresc să efectueze lucrări de replicare și să poată obține detalii experimentale să nu găsească finanțare de la agenții publice precum NIH, care judecă în primul rând cererile de granturi bazate pe noutate și inovație.
„Șansele sunt în mod clar împotriva replicării”, spune Ioannidis.
Acolo poate intra domeniul emergent al meta-cercetării. Organizații precum Centrul pentru Știința Deschisă și Centrul de Inovare Meta-Cercetare de la Stanford (METRICS) lucrează pentru a ajuta la realinierea sistemului de recompense și la stabilirea unor standarde universale stricte care vor încuraja mai răspândit practici de transparență și reproductibilitate.
„Dacă nivelurile de finanțare sau promoția depindeau de ceea ce s-a întâmplat cu cercetările dvs. anterioare - dacă ar fi replicabil, dacă oamenii ar putea înțelege acest lucru, dacă oamenii ar putea să-l traducă în ceva util, mai degrabă decât câte documente ați publicat - asta ar fi un stimulent foarte puternic spre schimbarea cercetării pentru a deveni mai reproductibil ", spune Ioannidis, care este co-director al METRICS.
„Sper că acești indicatori se vor îmbunătăți”, adaugă el. „Și pentru unii dintre ei, nu există altă posibilitate decât să urcăm, pentru că pornim de la zero.”
