Czy połowa wiedzy psychologicznej jest bezwartościowa?

Wyniki kolejnego dużego projektu replikacyjnego pokazały, że zaledwie w przypadku połowy znanych eksperymentów psychologicznych udaje się uzyskać te same wyniki.

Wyniki kolejnego dużego projektu replikacyjnego pokazały, że zaledwie w przypadku połowy znanych eksperymentów psychologicznych udaje się uzyskać te same wyniki. Przez kilka lat 186 badaczy z 60 różnych laboratoriów, z 6 różnych kontynentów, reprezentujący 36 różnych narodowości, skupionych w Many Labs 2 prowadziło replikację 28 głośnych badań. W każdym z nich wzięło udział około 7000 osób badanych z różnych kultur. Dla porównania, w replikowanych badaniach przeciętnie było 112 osób. Wyniki jednoznacznie pokazały, że replikowalność eksperymentów nie zależy od kontekstu kulturowego. Brian Nosek twierdzi, że mogą okazać się one nawet ważniejsze niż ogłoszone w 2015 roku rezultaty prowadzonego przez niego Reproducibility Project, w ramach którego udało się zreplikować zaledwie 36% eksperymentów. Prace wybierano do replikacji na podstawie szeregu kryteriów, wśród których uwzględniono częstość cytowań pokazująca wpływ danej pracy na całą psychologię. Innym, bardziej technicznym kryterium była możliwość przeprowadzenia badań online, za pomocą Internetu na platformie, do której mogli mieć dostęp badacze z wszystkich 60 laboratoriów. Wśród eksperymentów, których nie udało się potwierdzić znalazł się ten, w wyniku którego odkryto efekt Lady Makbet polegający na tym, że podobnie jak bohaterka dramatu Szekspira prześladowana wspomnieniami własnych zbrodni była przekonana, że na jej rękach widać ślady krwi, tak badani proszeni o przypomnienie sobie jakiegoś swojego zachowania związanego z naruszeniem norm moralnych mieliby mieć silniejszą tendencję do zachowań związanych z przywracaniem i utrzymywaniem fizycznej czystości. Nie uzyskano również potwierdzenia wyników, które pokazywały, że ludzie wychowujący się z rodzeństwem są bardziej altruistyczni od jedynaków. Zawiodły próby potwierdzenia wyników eksperymentów, podczas których wykazano, że badani wykonujący zadania związane z wykorzystywaniem słów określających ciepło są bardziej skłonni do wiary w globalne ocieplenie niż ci, którzy wykonywali zadania związane z wykorzystaniem słów określających zimno. Weryfikacji nie przeszedł również słynny eksperyment Yoela Inbara z 2009 roku, pokazujący, że ludzie, którzy najpierw doświadczyli uczuć odrazy byli później bardziej homofobiczni od osób badanych z grupy kontrolnej. Z powodzeniem natomiast zreplikowano badania Daniela Kahnemana, laureata nagrody Nobla, który wraz z Amosem Tversky’m odkrył tzw. efekt framingu polegający na tym, że ludzie mając te same dane, podejmują różne decyzje w zależności od kontekstu, w jakim te dane im zaprezentowano. Many Labs 2 potwierdziło wyniki badań z 2007 roku nad tzw. dylematem wagonika. Podobnie jak w pierwotnym eksperymencie, tak i tym razem większość badanych uznała za niedopuszczalne wepchnięcie jednej osoby na tory, aby zatrzymać wagonik mogący zabić pięć innych osób. Trudy replikacji przetrwały również eksperymenty nad podstawowym efektem atrybucji polegającym na tendencji do wyjaśniania zachowania obserwowanych osób w kategoriach przyczyn wewnętrznych i stałych (np. cech charakteru) przy jednoczesnym niedocenianiu zewnętrznych wpływów sytuacyjnych. Wszystkim autorom biorącym udział w projekcie należą się ogromne wyrazy szacunku i uznania. Zrezygnowali oni z powszechnej pogoni za oryginalnością i uprawianiem swojej wąskiej działki na rzecz sprawdzenia solidności naszej wiedzy. Narazili się wielu przedstawicielom psychologii, którzy, podobnie jak miało to miejsce w 2015 roku, nie omieszkają zdeprecjonować ich wysiłków. Jakkolwiek ich praca jest kroplą w powodzi codziennie publikowanych nowych wyników, to jest to kropla, która pozwala mieć nadzieję na to, że nasza dziedzina nie pogrąży się w chaosie. Za chwilę z pewnością usłyszycie wiele usprawiedliwień takiego stanu psychologii w jakim się znalazła. Wiele z nich mieliśmy szansę już poznać[1]. Nie wątpię też, że wielu naukowców będzie starało się wykazać, że wysiłki Many Labs 2 niczego nie dowodzą. Nie wierzcie tym uczonym! Idę w zakład, że będą was zwodzić starymi sprawdzonymi chwytami retorycznymi, których nie zmieniają od lat. Pamiętajcie, że wyjaśnienia, które Wam zaoferują pochodzą od ludzi, których rzetelność pracy została właśnie podważona. Zresztą, czy uwierzylibyście uczniom, którzy kolejny raz nie odrobili zadania domowego? Albo więźniom wyjaśniającym przyczyny kryzysu i buntu w więzieniu? Stawiam dolary przeciwko orzechom, że interpretując wyniki zespołu Many Labs 2 uczeni wykorzystają następujące „żelazne” argumenty:
  1. Psychologia to bardzo młoda nauka, dlatego nie można od niej oczekiwać tak silnych rezultatów, jakich oczekujemy od innych nauk.
  2. W innych naukach jest nie lepiej, a bywa nawet gorzej, np. w medycynie. Dlaczego wszyscy atakują psychologię?
  3. Przedmiotem badań psychologii jest najbardziej złożony obiekt z jakim nauka w ogóle może mieć do czynienia, dlatego trudno oczekiwać jednoznacznych i stabilnych wyników badań.
  4. Fakt, że zweryfikowano tak wiele eksperymentów i ujawniono słabość wyników świadczy o sile nauki, o jej samokorygującym charakterze, a nie o słabości.
  5. 50% procent to bardzo dużo i świadczy o sile nauki, nie o jej słabości (szklanka jest do połowy pełna).
  6. Projekt Many Labs 2 zawiera błędy metodologiczne.
  7. Dodatkowo inicjatorm projektu przypną łatkę czarnych owiec, które podważają (i tak już nadszarpnięte!) zaufanie do nauki.
Pierwszy z nich odwołuje się do faktu, że psychologia to bardzo młoda nauka i bywał już nie raz wykorzystywany do usprawiedliwiania jej porażek.
Po pierwsze, psychologia jest stosunkowo młoda (naukowa ma niewiele ponad 100 lat, a społeczna – mniej więcej 70), w dodatku do niedawna zaliczano ją do humanistyki. Mimo to formułuje ogólne prawidłowości dotyczące ludzkiej psychiki, opierając się na danych empirycznych gromadzonych za pomocą rozbudowanego aparatu badawczego[2].
Niestety, autorzy tego cytatu nie zauważyli (lub nie chcieli zauważyć) tego, co osiągnęła w czasie niecałych 100 lat genetyka, mechanika kwantowa czy biologia molekularna. Nanotechnologia dla osiągnięcia tak niezwykłego poziomu zaawansowania, jaki dzisiaj obserwujemy potrzebowała zaledwie około 50 lat. Przykłady można mnożyć i w zależności od kontekstu wypadać korzystniej lub mniej korzystnie. Ale argument wieku poza swoją elastycznością jest zabiegiem czysto retorycznym. Aby z niego korzystać przyjmuje się założenie, że psychologia narodziła się w 1879 roku kiedy to Wilhelm Wundt otworzył swoje laboratorium w Lipsku, a William James na Harwardzie. Czego można zatem oczekiwać od nauki, która ma zaledwie 139 lat? Jak można porównywać jej osiągnięcia na przykład z astronomią, która sięga czasów Ptolemeusza, a więc liczy sobie prawie dwa tysiące lat? Przyjęcie roku 1879 jako daty narodzin psychologii oznacza zignorowanie dorobku takich myślicieli, jak Kartezjusz, Berkley, Hume czy J.S. Mill, którzy interesowali się kluczowymi problemami psychologii począwszy od XVII wieku. Nie można też nie wspomnieć o odcięciu się od paru starożytnych Greków, w tym od Arystotelesa, który wprowadził do rozważań pojęcie psyche. Jedno z najbardziej monumentalnych dzieł poświęconych melancholii autorstwa Roberta Burtona zostało opublikowane w 1621 roku. I ono powinno konsekwentnie zostać wyrzucone na śmietnik historii przez zwolenników roku 1879, jako roku zerowego w psychologii. W ślad za nim powędrują za burtę odkrycia Helmholtza nad przewodnictwem impulsów nerwowych z połowy XIX wieku oraz wyniki eksperymentów nad hipnozą przeprowadzone przez Paysesegura w 1830 roku we Francji. Izaak Newton, człowiek podobno dość mocno skoncentrowany na sobie, a nawet narcystyczny, w liście do Hooke’a napisał jednak: „Jeśli widzę dalej, to tylko dlatego, że stoję na ramionach olbrzymów”. Co sprawia, że niektórzy przedstawiciele dziedziny, której osiągnięcia nie dorównują temu, czego dokonał Newton, nie pozwala im na dostrzeżenie tego, czyje ramiona depczą? Czy z tych samych powodów nie słyszą również głosów nawołujących od dawna do opamiętania? W najprostszych badaniach, gdzie siłę związku dwóch zmiennych określa się współczynnikiem korelacji, wynikiem jest liczba podana z dokładnością do dwóch miejsc po przecinku. John Hunter w artykule opublikowanym w 2001 roku pod znamiennym tytułem The desperate need for replications[3] wylicza, że aby podać dokładny wynik takiej korelacji powinniśmy dysponować zawrotną liczbą 153 669 osób badanych! Dla uzyskania dokładności do jednego miejsca po przecinku powinniśmy zbadać 1544 osoby. W naukach społecznych niezwykle rzadkie są przypadki nawet takich liczebności, jak ta ostatnia. Aby uzyskać dokładność korelacji do jednego miejsca po przecinku powinniśmy powtórzyć badanie ośmiokrotnie. Jeżeli chcielibyśmy uzyskać dokładność do drugiego miejsca po przecinku, potrzebnych byłoby nam 800 badań po 200 osób każde. A to wszystko przy założeniu, że zostały one zaprojektowane i przeprowadzone w perfekcyjny sposób, nie pozostawiający miejsca na błędy np. wynikające z nielosowego doboru próby. Dodać należy, że analizujemy najprostszy możliwy związek dwóch zmiennych, tak proste badanie, jakich obecnie już się niemal nie prowadzi. W rzeczywistości najczęściej badamy dużo większą ilość zmiennych, a wymagania co do liczebności rosną w postępie niemal geometrycznym. Zdaniem Huntera, stosowanie twórczego podejścia jako głównego kryterium publikowanych prac jest zabójcze dla nauki, stąd wołał o repliki badań. Ale któżby słuchał jego nawoływań? W tym czasie większość uczonych była zajęta produkowanie sexy results, które podchwycą media, które wypromuje się celnym wystąpieniem podczas TED. Do replikacji nawoływał nie tylko zresztą Hunter. Jednak również głos tych pozostałych nielicznych autorów pozostawał niezauważony[4]. Znaczenie ich postulatów podkreśla fakt, że około połowa z 10 milionów wszystkich ukazujących się drukiem artykułów naukowych nigdy nie jest cytowana choćby nawet raz w ciągu roku, od ich ukazania się[5]. Biorąc pod uwagę fakt, że naukowcy powinni cytować wszystkie artykuły, na których opierają swoją pracę, oznacza to, że artykuł, który nigdy nie został zacytowany nie miał żadnego wpływu na jakiegokolwiek naukowca na świecie, a co za tym idzie, nie miał również jakiegokolwiek wpływu na rozwój nauki. Ta niecytowana połowa produkcji społeczności naukowej to liczba ok. 5 milionów artykułów, pozostających niesprawdzonymi, niezreplikowanymi i prawdopodobnie nawet przez nikogo nie czytanymi. Nawet z tak wysoko w świecie naukowym cenionej Listy Filadelfijskiej 20 procent publikacji nie jest cytowana[6]. Jeśli od tego odjęlibyśmy jeszcze tak powszechne wśród naukowców autocytowania i cytowania pojedyncze, często grzecznościowe wynikające z poczucia wzajemności, to naukowy śmietnik rośnie w oczach. Czy nie lepiej byłoby, aby zamiast „twórczo” produkować nieprzydatne nikomu wyniki badań replikować te istniejące i przyczyniać się do stworzenia solidnych podwalin wiedzy, „powiększania zasobu potwierdzonej wiedzy”, jak określał ten proces Robert Merton? Czy w obliczu tak ogromnej rozrzutności energii i marnotrawstwa zasobów uczciwym jest zasłanianie się argumentami odwołującymi się do wieku naszej dziedziny? Kolejne argumenty, które wyliczyłem, a które zostaną z pewnością wykorzystane do usprawiedliwiania kryzysu replikacyjnego wymagają sporo miejsca i uwagi, dlatego zajmę się nimi w miarę możliwości w kolejnych wpisach. Tymczasem czytelników odsyłam do podobnych postów: O wolności uczonych i sposobach korzystania z niej A Scientist Pushes Psychology Journals toward Open Data Jak (bardzo) nauka może być nienaukowa? Problemami poruszanymi w tym wpisie zajmowałem się również w swoich książkach: Zakazana psychologia. Pomiędzy szarlatanerią a nauką. Tom 1 Zakazana psychologia. Nauka kultu cargo i jej owoce. Tom 2 Psychology Gone Wrong. The Dark Sides of Science and Therapy Psychology Led Astray. Cargo Cult in Science and Therapy A także w będącej w druku: Zakazana psychologia. O cnotach, przywarach i uczynkach małych wielkich uczonych. Tom 3 [1] Np. https://tomwitkow.wordpress.com/2015/09/26/o-wolnosci-uczonych-i-sposobach-korzystania-z-niej/ [2] http://wyborcza.pl/magazyn/1,124059,18851675,psychologia-to-nie-sciema.html?fbclid=IwAR0QAs7aTsmNVZECC-uQ1hPmvsOFJqBsYw66h20QhLcCnSwxcxPOUPgrUEY [3] „Journal of Consumer Research”, 28, s. 149-158, 2001. [4] Np.: B. Schneider, Building a scientific community: The need for replication. „Teachers College Record”, 106, s. 1471-1483, 2004. [5] J.R. Cole, S. Cole, The Ortega hypothesis. „Science”, 178, s. 368-375, 1972. [6] M.W. Grabski, Uczciwość i wiarygodność nauk. „Osiągnięcia Nauki i Techniki Kierunki Rozwoju i Metody, Konwersatorium Politechniki Warszawskiej”, 7, 1-11. (w:) „Miesięcznik Politechniki Warszawskiej”, 5, 2006.
Zakazana psychologia, t. II – okładka

O tym, jak psychologia upodabnia się do nauki kultu cargo, piszę w drugim tomie „Zakazanej psychologii. Nauka kultu cargo i jej owoce”. Książka w księgarni Bonito »

Chcesz dostawać moje nowe teksty e-mailem? Zapisz się poniżej.