Dlaczego nie można wierzyć badaniom: 3 problemy z jakością nauki

Tradycyjna komunikacja w nauce bezpośrednio zagraża jakości badań naukowych.  Dzisiejszy system publikacji, określający trajektorię kariery akademickiej, daje najwyższy status badaniom, które z dużym prawdopodobieństwem są złe.

Taki obraz sytuacji wyłania się z badań Björna Brembsa  i Marcusa Munafo, których wyniki były przedstawione w artykule „Silny wpływ: niezamierzone konsekwencje rankingu pism”.

Odwołanie wyników badań jest jedyną dobrą reakcją na odkrycie, że w artykule naukowym coś jest nie tak. Pismo naukowe powinno opublikować sprostowanie wraz z wyjaśnieniem.

Liczba takich sprostowań wzrosła w ostatniej dekadzie 10-krotnie. Z opracowania „Postępowanie krajowych akademii nauk” wynika, że 2/3 sprostowań to efekt nierzetelności naukowej: oszustw, plagiatów itd.

Jeszcze bardziej niepokojące jest to, że najbardziej prestiżowe czasopisma mają najwyższe wskaźniki sprostowań i to głównie z powodu oszustw i wykroczeń.

Istnieją też dowody na to, że najbardziej znane periodyki naukowe publikują mniej wiarygodne wyniki badań, niż czasopisma plasujące się niżej w rankingach. Może to wynikać z preferencji prestiżowych periodyków, które chętnie publikują spektakularne wyniki oraz dotyczące nowych dziedzin. To tak zwane „wypaczenie publikacyjne”.

Podstawą kontroli jakości nauki jest powtarzalność. Wyniki badań powinny być tak opisane, aby inne osoby mogły powtórzyć tę samą procedurę. Lecz czasopisma naukowe zwykle nie są tym zainteresowane.

Kiedy badania są powtarzane, wyniki często nie są już tak mocne, jak wcześniej. Brembs i Munafo twierdzą, że „siła dowodu często z czasem słabnie”.

Najbardziej prawdopodobnym wyjaśnieniem tego zjawiska jest powrót do średniej. Po prostu, gdy powtarzamy eksperyment, wcześniejsze przypadkowe zdarzenia są eliminowane.

Prestiż pisma jest tym większy, im częściej naukowcy cytują zamieszczane w nim artykuły. To jest sformalizowane w postaci tzw. współczynnika wpływu. Wysoki „współczynnik wpływu” zwiększa popularność i rentowność czasopisma, pozwala przyciągać najlepszych autorów, więc redaktorzy starają się publikować artykuły, które uznają za najważniejsze.

Ale „współczynnikiem wpływu” można w różny sposób manipulować.

Najbardziej cyniczna strategia polega na tym, że redaktorzy proszą swych autorów, by cytowali inne artykuły z periodyku.

Mamy system komunikowania wyników badań, który sprawia, że coraz więcej tych wyników jest odwoływanych, zmniejsza się  powtarzalność badań, a najbardziej standardowy miernik jakości czasopism zamienia się w farsę.

W centrum tych trzech problemów jest ranking czasopism naukowych, który, według Brembsa i Munafo, należałoby zlikwidować.

Konieczne są zmiany systemowe i kulturowe. Liczba cytowań konkretnego artykułu może być dobrą miarą jego jakości, ale nie jest to skorelowane ze „współczynnikiem wpływu” czasopisma.

Powinniśmy przełamać ten kryzys. Badania naukowe są bowiem jedyną nadzieją na postęp.

 

Na podst. Why you can’t trust research: 3 problems with the quality of science, Curt Rice 

Sieci społecznościowe

Tagi