Pred niekoľkými rokmi sa pokúsila istá farmaceutická firma zopakovať výsledky 53 štúdií, ktoré boli považované za medzníky vo výskume rakoviny. Aby dodržala metodologické postupy, úzko spolupracovala s niektorými pôvodnými autormi štúdií. Napokon sa jej však podarilo prísť k rovnakým výsledkom len v šiestich prípadoch.

Niečo podobné skúsil aj ďalší farmaceutický gigant s tímom, vedeným Florianom Prinzom. Tento krát dokázali úspešne zopakovať výsledky len v prípade štvrtiny zo 67 kľúčových štúdií.

Ak sa nemôže farmaceutický priemysel, ktorý vyvíja nové lieky, spoľahnúť na výsledky akademického výskumu, aká je potom opodstatnenosť jeho financovania, pýta sa Economist. Štáty OECD minuli v roku 2012 dohromady 59 mld. dolárov na biomedicínsky výskum.

Vedecká komunita sa spolieha na viaceré kontrolné mechanizmy vedy. Economist v nich našiel viaceré veľké nedostatky.

Kritizuje napríklad spôsob, akým je nastavená profesionálna kariéra vedca. To, na čom záleží, nie je ani tak kvalita výskumu, ako je kvantita. Vyšší publikácií znamená kariérny rast a vyšší plat. Navyše vedci nemusia znášať žiadne náklady v prípade, že sa zmýlia.

Záujem o prekvapivé hypotézy

Vedci sa väčšinou púšťajú do testovania hypotéz, ktoré sú málo pravdepodobné, pretože chcú dosiahnuť prekvapivé výsledky. Pravdepodobnosť pozitívnej hypotézy napríklad v epidemiológii je asi jedna ku desať.

Vo všeobecnosti máme vždy určitý podiel výskumov, ktorých hypotézy vedcom vyjdú ako pozitívne, aj keď sú v skutočnosti negatívne a naopak výskumov, ktorých hypotézy vyjdú ako negatívne, aj keď sú pozitívne. Chyby vznikajú v závislosti od možností vedcov, použitej metodológie a pod.

Vo výsledku je väčšina výsledkov negatívna, lenže o také štúdie nemajú vo vedeckých časopisoch veľký záujem. Negatívne výsledky hypotéz predstavujú 10 - 30 % všetkých publikácií (v závislosti od odboru). Pritom v prípade negatívnych výsledkov je vyššia pravdepodobnosť, že výsledky sú pravdivé.

Inými slovami, je vyššia pravdepodobnosť publikovania nesprávnej pozitívnej hypotézy ako nesprávnej negatívnej hypotézy.

Economist uvádza ako jeden z dôvodov nesprávnych výsledkov spôsob, ako vedci často krát aj neúmyselne narábajú s dátami v snahe dosiahnuť nimi požadované výsledky. V roku 2010 publikoval prestížny časopis Science štúdiu, ktorá mala odhaliť genetické mutácie spojené s dlhovekosťou.

Po publikovaní si však odborníci všimli, že vedci počas výskumu narábali odlišne so vzorkami, ktoré boli odobraté dlhovekým pacientom, než so vzorkami, ktoré odobrali mladšej kontrolnej skupine. O rok neskôr bola štúdia stiahnutá kvôli „technickým chybám“.

Akceptovali hlúposti

Economist kritizuje aj systém recenzií (peer review), ktorými štúdie pred publikovaním vo vedeckých časopisoch, prechádzajú.

John Bohannon, biológ z Harvardskej univerzity, rozposlal pod pseudonymom štúdiu, ktorá popisovala efekty chemikálie, získanej z lišajníku, na rakovinové bunky. Poslal ju do 304 časopisov, ktoré využívali mechanizmus recenzií. Celá štúdia bola úmyselne plná hlúpostí, ale napriek tomu ju 157 časopisov akceptovalo.  

Ďalší kontrolný mechanizmus vedy - replikácia výsledkov, tiež nie je ideálnym mechanizmom. Replikovať výskum je namáhavá a nedocenená práca.

Vedecké časopisy navyše zaujímajú nové zistenia, takže aj šanca na publikovanie takéhoto výskumu klesá.

Problém je tiež dostať sa ku všetkým pôvodným dátam a zdrojom. Nie všetci vedci sú ochotní poskytnúť ich svojim kolegom. To isté platí aj pre softvér, ktorým boli dáta spracované. Ten môže byť duševným vlastníctvom určitého laboratória.

Čo s tým teda urobiť? Editor Science Bruce Alberts hovorí o potrebe vyšších štandardov vo vedeckých časopisoch, o hodnotení vedcov podľa kvality publikácií, nie kvantity, či o posilnení financovania výskumu, ktorý replikuje existujúce výsledky.