30 lipca 2024 r. o godz. 10:00 w audycji OFF Czarek prowadzonej przez redaktora Cezarego Łasiczkę w Radio TOK FM rozmawialiśmy na tematy poruszone w mojej najnowszej książce. Zapraszam do wysłuchania audycji!
Dowiedz się więcej o książce klikając na okładkę:
O czym rozmawialiśmy
Rozmawialiśmy o moim zbiorze esejów „Przepędźcie guru, którzy radzą, jak żyć”. Nie dzielę rzeczywistości na tematy do opisania – piszę raczej w reakcji na mody i dyskusje, które toczą się wokół nas. Najbardziej niepokoi mnie dziś pośpiech w korekcie płci u dzieci i młodzieży; jestem zwolennikiem ostrożności i sądzę, że za kilkanaście lat będziemy się z tego rozliczać.
Mówiłem o kulturze ofiar – im więcej fałszywych ofiar, tym bardziej cierpią ofiary rzeczywiste – i o gwałtownym wzroście liczby uczniów z różnymi diagnozami i zwolnieniami, któremu nie towarzyszą tak drastyczne zmiany w ich otoczeniu. Rozmawialiśmy też o problemie, który opisuję w książce: o marketingu i romantyzacji samobójstw.
Prof. Brian Nosek, dyrektor Center for Open Science, inicjator i koordynator wielu projektów replikacyjnych uznanym w 2015 r. przez „Nature” za jednego z 10 najbardziej wpływowych naukowców świata, w recenzji mojej nowej, przygotowywanej do druku książce Fads, Fakes and Frauds: Exploding Myths in Culture, Science and Psychotherapy napisał:
Ludzie pragną zrozumieć siebie i to, dokąd zmierzają. Ta potrzeba sensu stwarza sytuację, w której czyjeś pragnienia lub chęć zwiększenia sprzedaży mogą zdominować prawdę. W swojej prowokacyjnej książce Tomasz Witkowski ukazuje zmagania między nauką a pseudonauką, zwłaszcza w poszukiwaniu sensu i dobrostanu. Witkowski z literacką mocą skupia się na trudnych tematach, takich jak kultura ofiar, samobójstwo czy fałszywe oskarżenia. Towarzyszy mu nieustanne pragnienie szukania dowodów, bez względu na to, dokąd prowadzą. Swoim krytycznym okiem poddaje próbie nawet naukę jako instytucję – rzekomą przeciwwagę dla pseudonauki – wykazując jej bezbronność wobec wielu stereotypów i złudzeń. Odkrywanie prawdy, jak się zdaje, nie jest tylko kwestią wyboru, którym źródłom zaufać, ale przyjęcia sceptycznej postawy polegającej na szukaniu dowodów i gotowości do zrewidowania własnych przekonań, nawet tych najcenniejszych.
Fads, Fakes and Frauds: Exploding Myths in Culture, Science and Psychotherapy ukaże się w tym roku nakładem wydawnictwa BrownWalker, które opublikowało wcześniej dwie inne moje książki:
Najnowszy numer FORUM AKADEMICKIEGO zamieścił skrót rozmowy, którą przeprowadziłem z prof. Brianem Nosekiem, dyrektorem Center for Open Science, inicjatorem i koordynatorem wielu projektów replikacyjnych uznanym w 2015 r. przez „Nature” za jednego z 10 najbardziej wpływowych naukowców świata, rozmawia Tomasz Witkowski. Prezentowana poniżej rozmowa jest fragmentem dłuższego wywiadu, którego pełen zapis znajduje się w książce „Giganci psychologii. Rozmowy na miarę XXI wieku” Wydawnictwo Bez Maski, Wrocław, 2021. Tłumaczenie Magdalena Wajda-Kacmajor.
Tama została przerwana
Dzięki internetowi i mediom społecznościowym o wiele łatwiej wyjrzeć poza bańkę własnej dziedziny nauki i stwierdzić: „O rany, w biomedycynie też mają z tym problem. O, w ekonomii także. Zaraz, zaraz. A czy jest jakaś dziedzina, której on nie dotyka?”
Tomasz Witkowski: Profesorze Nosek, jesteś jednym z najbardziej znanych na świecie propagatorów ruchu na rzecz otwartej nauki, który angażuje się w zwiększanie jej transparentności. Co skłoniło Cię do tak znaczącego zaangażowania się w poprawę metod badawczych i współpracy pomiędzy naukowcami?
Brian A. Nosek: Moje zainteresowanie tymi kwestiami rozpoczęło się podczas studiów, kiedy uczęszczałem na kurs z metod badawczych prowadzony przez Alana Kazdina. Było to w okolicach roku 1997, a wykładowca kazał nam czytać artykuły publikowane w latach 60. i 70. przez Boba Rosenthala, Tony’ego Greenwalda, Jacoba Cohena i Paula Meehla, którzy opisywali wyzwania takie jak brak obiektywizmu publikacji, brak replikacji oraz wskazywali rozwiązania dla tych problemów. Na przykład: próbujmy powtarzać większą liczbę badań, zwiększmy znaczenie badań. W tych artykułach wspominano nawet o wstępnej rejestracji badań. Dla studenta końcówki lat 90. szokującą była świadomość, że w metodologii na te problemy i rozwiązania zwraca się uwagę już od trzydziestu lat, lecz nic się nie zmienia. Dlaczego? Podobnie jak inne pokolenia studentów odbywaliśmy długie dyskusje po wykładach lub spotykaliśmy się w barze i rozmawialiśmy o tym, w jaki sposób zmienilibyśmy system, gdyby tylko nadarzyła się taka sposobność. Oczywiście, wówczas nie mieliśmy szansy na przeprowadzanie żadnych istotnych zmian, ale zainteresowanie tymi sprawami zakorzeniło się w moim sposobie myślenia o badaniach, które prowadziliśmy w laboratorium.
Czytaj więcej klikając TUTAJlub całą rozmowę w książce:
Giganci psychologii to wyjątkowy zbiór pogłębionych wywiadów, do których autor zaprosił najbardziej wpływowych współczesnych psychologów. Rozmowy przeprowadzone pod koniec dekady, która wstrząsnęła psychologią, umożliwiają wgląd w kontrowersje trawiące tę dziedzinę i zderzenie wizji tego, czym psychologia jest dzisiaj i co przyniesie jej przyszłość.
Rozmówcy otwarcie poruszają temat kryzysu w psychologii, badają jego przyczyny, konsekwencje oraz sposoby przezwyciężenia. Omawiają również wyzwania, które stoją przed tą dziedziną, swoje osiągnięcia i doświadczenia, które ukształtowały ich światopogląd.
Wśród rozmówców znaleźli się pionierzy, którzy ukształtowali psychologię taką, jaką znamy dzisiaj, reprezentujący szeroki zakres specjalizacji, od badań naukowych po praktykę zdrowia psychicznego, psychologię głównego nurtu, psychologię krytyczną i neuronaukę, aż po ruch otwartej nauki.
„Zachwycająca książka, pełna zaskakujących i wnikliwych odpowiedzi na nurtujące pytania. Obejmuje całą psychologię i nauki o umyśle. Lektura obowiązkowa.”
prof. Michael S. Gazzaniga, Uniwersytet Kalifornijski w Santa Barbara, autor Istoty człowieczeństwa
„Giganci psychologii to angażująca i często prowokująca książka, pełna fascynujących spostrzeżeń wybitnych badaczy, których praca znacząco przyczyniła się do rozwoju psychologii. Każdy zainteresowany przeszłością, teraźniejszością lub przyszłością psychologii, powinien niezwłocznie przeczytać tę książkę.”
prof. Daniel L. Schacter, Uniwersytet Harvarda, autor Siedmiu grzechów pamięci
„Wspaniała książka – fascynujące szkice biograficzne, przenikliwe i mądre wywiady. Gorąco polecam psychologom, studentom i szerokiemu gronu czytelników.”
prof. Henry „Roddy” Roediger, Uniwersytet Waszyngtona w St. Louis, redaktor „Science of Memory Concepts”
„Giganci psychologii to zbiór odkrywczych i inspirujących wywiadów z czołowymi psychologami o szerokich zainteresowaniach badawczych – od heurystyk po genetykę behawioralną. Ich kariery, przedstawione w postaci zajmujących historii, poprzedzają dogłębne dyskusje na temat ich wkładu naukowego i poglądów na takie współczesne zagadnienia jak replikacja, otwarta nauka, sztuczna inteligencja i znaczenie badań psychologicznych w życiu codziennym. Polecam wszystkim, którzy martwią się, dokąd zmierza psychologia w XXI wieku oraz studentom, którzy chcą kroczyć tą fascynującą ścieżką.”
Prof. Trevor W. Robbins, Universytet Cambridge, współautor The neurobiology of addiction
„Myślę, że książka ta może być ważną kapsułą czasu dla przyszłych pokoleń, gdyż oferuje spojrzenie na psychologów i dyscyplinę, jakimi były na początku XXI wieku.”
prof. Lisa Osbeck, Uniwersytet Zachodniej Georgii
„Doniosłe przemyślenia liderów psychologii zawarte w książce, stanowią niezwykle użyteczny i oryginalny wkład w naszą dziedzinę.”
prof. James E. Alcock, Uniwersytet Yorku, Kanada, autor Parapsychology – Science Or Magic?
„Wywiady są naprawdę udane. Świadczą o bardzo dobrym przygotowaniu Witkowskiego i jego dogłębnej znajomości tematu. Oświecająca podróż przez współczesny świat psychologii. Książka niesie za sobą orzeźwiające perspektywy, a także optymizm, gdyż jak kilkakrotnie w niej stwierdzono, zwłaszcza wśród młodych naukowców, rozpoczynających dopiero swoją karierę, świadomość koniecznej zmiany jest już bardzo wyraźna. Zobaczymy, czy psychologia spłonie w płomieniach ogromnej krytyki, której jest poddawana, czy też podniesie się, jak feniks z popiołów, uzbrojona w lepsze metody badawcze. Niezwykle imponująca lektura, która momentami przyprawia o gęsią skórkę i dostarcza ważnych impulsów do przemyśleń.”
Rouven Schaefer, „Skeptiker”
„Nowa książka Tomasza Witkowskiego Giganci psychologii. Rozmowy na miarę XXI wieku dostarcza intrygującego spojrzenia na obecny stan psychologii, jej problemy i możliwe rozwiązania oraz nadzieje na przyszłość.
Spotkałam kilku rozmówców Witkowskiego, ale teraz czuję, że spędziłam z nimi więcej czasu i lepiej ich znam. I wiele się od nich nauczyłam. Jeśli chcesz spotkać się z tymi psychologami i poznać aktualny stan psychologii, ta książka jest na to świetnym sposobem. Unikalne podejście Witkowskiego zaowocowało czytelną, zabawną i bardzo pouczającą książką. Gorąco polecam.”
Harriet Hall, Science-Based Medicine
„Tomasz Witkowski okazuje się sprawnym rozmówcą, bardzo kompetentnym i dobrze poinformowanym w kwestiach psychologicznych i filozoficznych.”
Prof. Michael Heap, redaktor naczelny „Skeptical Intelligencer”
Pod tym tytułem ukazał się fragment mojej nowej książki Shaping Psychology: Perspectives on Legacy, Controversy and the Future of the Field opublikowany przez flagowe czasopismo British Psychological Society: Tekst zawiera fragmenty mojej rozmowy z Brianem Nosekiem, znanym propagatorem ruchu Otwartej…
Pod tym tytułem ukazał się fragment mojej nowej książki Shaping Psychology: Perspectives on Legacy, Controversy and the Future of the Field opublikowany przez flagowe czasopismo British Psychological Society: Tekst zawiera fragmenty mojej rozmowy z Brianem Nosekiem, znanym propagatorem ruchu Otwartej Nauki i autorem wielu naukowych inicjatyw, o których już wielokrotnie pisałem na łamach tego bloga i nie tylko.
‚If we don’t solve the incentives problem, we will become a very narrow discipline’
Tomasz Witkowski meets Brian Nosek, in an edited extract from Tomasz’s new book of interviews.
This is an edited extract from ‘Chapter 13, Brian A. Nosek: Open Science and Reproducibility Projects’ in Shaping Psychology: Perspectives on Legacy, Controversy and the Future of the Field by Tomasz Witkowski (Palgrave MacMillan, 2020).
Prof. Nosek, you’re one of the world’s most well-known advocates of the open science movement, engaged in improving transparency in science. What led you to go beyond your research on implicit cognition and engage to such a significant degree in improving research methods and collaboration between scientists?
My interest in these issues started in graduate school, when I took Alan Kazdin’s research methods course. This was around 1997, and he had us reading papers from the 1960s and 1970s by Bob Rosenthal, Tony Greenwald, Jacob Cohen and Paul Meehl, where they articulate challenges like publication bias, lack of replication or low power, and they outlined solutions. For example, let’s try and do more replications, let’s increase the power of studies. Even preregistration was mentioned in some of these articles. It was shocking as a grad student in the late 90s to think that methodology has been outlining these problems and solutions for 30 years, but nothing has changed. Why is that? So, like many graduate student cohorts, we would have discussions after lectures or meetings at the bar and talked about how we would change the system if we could. And, of course, we didn’t have the opportunity to make any substantial changes at the time, but the interest in these issues remained at the core of how I thought about the research we did in our laboratory.
So we started with trying to address the power of our designs. We created a website for collecting data about implicit biases, which became very popular. We achieved very high power tests of the kinds of questions we were investigating. When I became a faculty member, we made it a routine practice to share as much of our materials and data as we could on our personal websites. And when services came up, we tried to adopt things that would improve our sharing. In the mid-2000s I started to write grants to the National Institutes of Health and National Science Foundation to create what we called at that time an open source science framework. We had a technical lab for a long time, we operated this website for collecting data, and we thought it would be useful to have a service that would make it easier to share that data and for others to use it as well. But we couldn’t get it funded then because there was just a wide range of reviews. Some said this was very important, a necessary change, and others said that people don’t like sharing data. It just wasn’t the right time. But there was a general interest that we had as a laboratory in improving the process of our own work, building tools for the technical portion of what we do, to make it easier for others to do it.
Then, in 2011, a lot of these methodology issues became of broad interest to the research community because of the Diederik Stapel fraud and because of very surprising results being published in leading journals, like Daryl Bem’s ESP work. And then apaper in Psychological Science, “False-Positive Psychology” (Simmons et al. 2011), really crystallized for many people how we have some practices whose implications for the reliability of our results we don’t really understand. They provided a rhetorical tour de force of how that happened, which helped people to understand those behaviors and their consequences.
So all of that is happening around the same time. One of our failures is with replication. Initial studies became public, and people failed to replicate them. As a laboratory, we had been thinking and talking about a lot of these issues for a long time, but we didn’t have anything concrete, no database of evidence of replicability of findings. We had individual studies that we failed to replicate, but that happens all the time, and you can’t really tell if there’s anything systematic. We decided to think about how to start a collaborative project, to see if we could replicate some meaningful sample studies in the field. So we have this replication project that turned into the Reproducibility Project: Psychology. Lots of people got interested very quickly, and that became a big project.
Here’s the background on starting the Center for Open Science: Jeff Spies was a grad student in the laboratory with a history as a software developer, and we were looking for ideas for his dissertation. We kept coming back to this old project idea of an open source science framework. And while it was unusual, he decided it was very much in line with his long-standing interests, so he started working on that as a dissertation project. So we had this replication project and this technical project that received some broad attention, which we conceived of as lab projects. We were self-funded, without grants or anything, but then they came to the public’s attention, and some funders started calling. Very rapidly we moved from interesting but small projects to thinking about doing things in a big way. Within a matter of two months we went from a small lab to launching the COS as a non-profit.
Why is it that only in the middle of the second decade of the twenty-first century have we openly started discussing the crisis in psychology, and in such a way that outside observers could conclude that its discovery came as a great surprise to scholars?
That is a great question and I would love a good historical analysis to determine which of many possible reasons is the right one. In one sense, we’ve known about so many of these issues for a long time. The kindling for the reform movement has been there, and it has been accumulating for many years, so it had to happen sometime. Let’s say 2011 is the starting point. It could be an accident of history that this was the year it finally started. Another possibility is that all that was accumulating, and some stimulating, singular events occurred that made it a lot easier to confront this at the scale we’re doing now. The Stapel case, the Bem’s paper, the Simmons, Nelson, Simonsohn “False-Positive Psychology” paper. These individual cases captured a great deal of attention beyond just people who care about methodology, and this conversation has been ongoing since the 1960s. Those provided some stimulus to really ask “what are we going to do about this?” or “what is this, really?” The fact that they happened close together in time also may be a factor. Instead of just one event, they all started to pile on, and it’s like a dam broke.
Another factor is that this issue is salient not only in psychology. It has been accumulating attention across other fields. Maybe, with the internet and social media, rather than just the thought that in my little field we have this problem, it is a lot easier to see outside our disciplinary silos and say, “my goodness, biomedicine, they’re having this problem too. Oh, economists, they’re having this problem. Hang on a second. Who isn’t having this problem?” Connecting those communities of people who care about these issues across disciplines may have facilitated collective action that made it a lot easier for the movement to become better, faster, and more impactful. I suspect that it’s a complicated mix of many causes, but it’s fascinating that even though those things have been known for a long time, these events congealed into a real movement this time.
Despite all the problems we are talking about, some scientists are full of optimism. Are you yourself one of those optimists who believe we are at the threshold of a better tomorrow in our field?
Yes. I am optimistic. And the reason I am is that a sustainable culture change is growing. But this doesn’t mean it’s happening fast. There are a lot of people in this movement that are very discouraged. They think, “we’ve worked this out already, why are people still doing it wrong? Let’s just get it done.” But culture change is hard; changing people’s behavior is hard. We have great literature that shows how hard it is to make these changes. Let’s pay attention to the parts of our literature that we can trust and apply it as effectively as we can to the movement as it is occurring. There is good reason to be optimistic, because the core challenges are becoming very well known as problems, and it’s hard to be in our field and not be aware of these challenges. That’s a big first step. Whether people will change their behavior or not remains to be seen.
The second reason for optimism is that training is changing. Methodologists care about these things fundamentally and many are changing and updating statistics and methods courses. That matters, because training will stick with the generations as they come through this gradually.
The third reason for optimism is that the stakeholders, founders, publishers, societies, and institutions are paying attention. Maybe not quickly, but they’re all changing their policies, their norms, and their incentives. Policy change is the best way to have sustainable change in the long term. The general shift from not requiring any transparency to encouraging or requiring openness fundamentally changes what comes through a journal. Incentives for preregistration and badges that make visible that other people are doing these behaviors, can have long-term accumulated consequences of forming new norms. Finally, Registered Reports are now offered by more than 200 journals. Registered Reports eliminates publication bias by conducting review and committing to publish results before the outcomes are observed. That is a fundamental change to the publication workflow and will have a lasting impact if it achieves broad adoption.
All of the critiques of the movement saying that it’s not changing very fast are correct, but I don’t know if it can change faster than it is. The groundwork is being laid. The changes we’ve seen are not superficial. It’s not just one researcher and one team did something, and tried to replicate some findings, and that’s the end of it. Changes are happening in the structure of how we do our work, and that’s really what will help sustain it the long term.
The seriousness of the crisis in psychology is often diminished by describing it as a replication crisis. We know, however, that it consists of many more problems than just the lack of replication. Which of them can be solved by the open science movement, and which should be overcome some other way?
Replication is the low-hanging fruit of improving research practices – here is a finding, here is a methodology, let’s try to see how reliable that methodology is. From this point of view, the replication part of the movement helps stimulate attention to the broader issues of how we can make research progress as quickly as possible. Replication doesn’t solve problems like construct validity, attentiveness to how our theories get refined and formalized so that they are testable, or connecting our theories with our operationalizations and inferential tests. There are big challenges in how we reason, how we accumulate evidence, and how we combine that evidence into theories in science. Open science doesn’t solve these, but open science is an enabler of pursuing solutions to these challenges.
We have a lot to mature in how we develop theories and how we make connections. But we can’t do that work without open evidence, without transparency on how we’re getting our claims, without better sharing, without materials being open and accessible, and without some replication to test our theoretical positions in a more formalized way. To me, the movement, at least in psychology, is finishing phase one, where the major theme was replication. I think it’s entering or midway into phase two, which is about generalizability. It’s not just about replicating a finding in that context, but about the breadth of where we can see that finding across different operationalization, across different samples, across different conditions of the experimental context. Next, I think, it’s going to be entering a phase focused on measurement and theory. Now we see what is reproducible on our base claims, how we can better connect this evidence to more theoretical claims?
I see one more problem plaguing contemporary psychology, and which probably cannot be solved by the open science movement: the shift from direct observation of behavior, widely regarded as an advance in the development of scientific methodology, to introspection. This was demonstrated in an outstanding 2006 article by Baumeister et al., and recently confirmed by Doli´nski (2018), who replicated Baumeister’s investigations. Both articles show that over the last few decades, studies of behavior have become a rarity among psychologists. This issue is brought into sharper relief by the fact that the first of the two articles was published in the middle of the decade that the APA announced with great pomp as the decade of behavior. What are your thoughts on this issue?
This is interesting, and I agree that it can’t be different than how we think about what the open science movement is trying to solve. We have to consider the incentives that shape individual researchers’ behaviors. If the focus of my attention in research is to publish as frequently as I can, in the most prestigious outlets that I can, then I have to make practical decisions about the kinds of questions that I investigate. Measuring real behavior, that’s hard. Sending out a survey, that’s easy. I can generate more publishable units doing that.
Or using Mechanical Turk.
Exactly. Researchers are already stressed about publication demands, and now open science movement is increasing the pressure for higher power. This makes it even harder to do those behavior studies – now, instead of 50 people you need 500. This is a real issue, elements of the open science movement – increasing power, increasing transparency, increasing rigor – could be at odds with the goal of getting the research community less focused on self-report surveys and more diverse in how it measures human behavior. If we don’t solve the incentives problem, then we will become a very narrow discipline. In part, that may reflect how hard is to study the things that we study. We have to recognize where we are as a discipline in terms of our tools and instrumentation, to be able to do some kinds of science. Then, we have to be realistic about what science can be done effectively with the available resources.
In some ways, we have tried to study questions that we just don’t have the technology, the ability, or the power to study effectively. If we take seriously what questions can we productively investigate with the resources we have available, then we may recognize that a lot of the questions we want to study, cannot be studied effectively the way that we do science now. If those questions are really important, then we need to change how we do things. This is where another element of the open science movement has part of the solution–collaboration.
Right now, we are rewarded for being a vertically integrated system. Myself or my small team comes up with an idea, designs a study, collects the data, writes the report, all on our own. This requires lots of resources devoted to small groups. If we move to more horizontal distribution, where many different people can contribute to a project we can study many questions that we are presently not able to study well. There might be one team designing the study, and 15 teams that contribute data. With that kind of model, if we get the reward system worked out we could study some questions more productively and with adequate power to actually make progress on the problem.
The reform movement needs to attend to the effects of each change on the complex system of incentives and reports: What happens with increasing expectations for power? What will that change in what people study? How do we solve that? These systems are complex and getting all the incentives aligned for maximizing progress is hard.
Czytaj dalej klikając TUTAJ
Więcej podobnych rozmów z najwybitniejszymi psychologami świata w mojej książce:
O projektach Briana Noseka pisałem i mówiłem m. in. tutaj:
Rozmowy z wybitnymi psychologami naszych czasów o przeszłości i przyszłości ich dziedziny zebrałem w książce „Giganci psychologii. Rozmowy na miarę XXI wieku”. Książka w księgarni Bonito »
Chcesz dostawać moje nowe teksty e-mailem? Zapisz się poniżej.
To fragment obszernej recenzji autorstwa prof. Czesława Nosala, która ukazała się w kwietniowym numerze miesięcznika „Nowe Książki”. Zapraszam do lektury całego tekstu:
Udane łączenie popularyzacji wiedzy psychologicznej z krytyką popełnianych błędów i nierzetelności badaczy jest trudnym zadaniem. Wiele zależy od tego jaką koncepcję nauki wyznajemy i jaką perspektywę czasu uwzględniamy. Tomasz Witkowski, krytyk i popularyzator psychologii, zajmuje się nierzetelnością w badaniach psychologicznych. Ostrzega przed nadmiernymi generalizacjami, błędami, a nawet oszustwami. Okazuje się bowiem, że chociaż uczeni są w dość korzystnej sytuacji, bo hipotezy/teorie umierają za nich (Karl Popper), to jednak niektórzy mogą zbytnio przywiązywać się do martwych hipotez.
To fragment obszernej recenzji autorstwa prof. Czesława Nosala, która ukazała się w kwietniowym numerze miesięcznika „Nowe Książki”. Zapraszam do lektury całego tekstu: Wścibski ogrodnik
W numerze 10/2019 FORUM AKADEMICKIEGO ukazała się recenzja Zakazanej psychologii autorstwa Anety Zawadzkiej. Zupełnie ją przegapiłem, więc dzielę się nią dopiero teraz.
Jesteśmy oto świadkami kolejnej odsłony batalii o rzetelność i odpowiedzialność w psychologii, która „dopomina się o porządki, a każdy wysiłek poświęcony na ich przeprowadzenie ma ogromne znaczenie”. Na czele tych zmagań znowu staje człowiek mocno zmotywowany, by ujawniać wszelkie istniejące nieprawidłowości. Już po raz trzeci Tomasz Witkowski, bo o nim mowa, z niezmiennym zaangażowaniem godnym wielkiej sprawy zajmuje się sytuacjami, które jego zdaniem w ogóle nie powinny mieć miejsca. Autor trylogii Zakazana psychologia od lat tropi bowiem przejawy różnych nieścisłości występujących głównie w obrębie nauk społecznych. Tym razem w III tomie serii demaskuje Witkowski działalność pewnego grona specjalistów, których nadrzędnym celem nie jest bynajmniej, jak wynika z prowadzonej narracji, dążenie do poznania i ujawniania prawdy, ale raczej samolubne zaspokajanie osobistych potrzeb. Żądza sławy, intelektualizacja, uznanie własnej nieomylności, a także brak zgody na publikowanie negatywnych wyników badań czy wreszcie niechęć do krytycznego spojrzenia na posiadane umiejętności warsztatowe to tylko kilka przykładów z bogatego katalogu zarzutów stawianych małym wielkim uczonym. Formułując tak mocne tezy, Witkowski bardzo dba o to, by żadna z nich nie pozostała bez merytorycznego uzasadnienia, co pozwala na skuteczną obronę w przypadku, gdyby pojawiły się głosy krytyki.
Współczesną psychologię, osłabioną i przytłoczoną, zdaniem autora, ogromną ilością powstających ciągle nowych publikacji i wyników badań, zaatakował wirus nadmiaru, a ten, szczególnie w czasach, gdy świat nauki „chronicznie cierpi (…) na brak replikacji”, zdaje się być szczególnie groźny. Aby zapobiec jego dalszemu rozprzestrzenianiu, należałoby, jak wynika z prowadzonego wywodu, powrócić do znanych i sprawdzonych od wieków metod. W tym celu przede wszystkim ludzie związani z nauką powinni sobie przypomnieć działanie zasady Ockhama, wprost mówiącej o niemnożeniu bytów ponad potrzeby lub też sięgnąć po lekturę pism sceptyków, znanych przecież ze skutecznego eliminowania różnego rodzaju błędów myślowych.
Kiedy dekadę temu ukazał się pierwszy tom trylogii, jej autor chciał, jak sam mówi, tylko zajrzeć przez dziurkę od klucza, by odkryć pewien wycinek istniejącej rzeczywistości. Dziś, po latach różnych doświadczeń, taka postawa wydaje się być jego zdaniem niewystarczająca. Zawężanie pola widzenia w znaczący sposób ogranicza bowiem powszechny dostęp do prawdy, a co za tym idzie, oddaje pole osobom pilnie strzegącym wejścia do pełnego wiedzy skarbca. Przełamanie tak funkcjonującego monopolu wymaga z pewnością nie tylko determinacji, ale też pozytywnie rozumianej zawziętości oraz uporu, czego, jak pokazuje historia kolejnych tomów Zakazanej psychologii, Witkowskiemu z pewnością nie brakuje. Niczym wytrawny detektyw śledzi on niestrudzenie wszelkie nieprawidłowości, niezgodności i niekonsekwencje badawcze. Jest w tym, jak się zdaje, dość osamotniony, podobnie jak wielu rozsianych po całym świecie naukowych nonkonformistów, których, jak pisze, spotykają ze strony środowiska nie tylko różnego rodzaju szykany i agresja, lecz także bolesny ostracyzm. Do tej pory żadne przeszkody nie zdołały powstrzymać Witkowskiego od angażowania się w aktywności mające na celu obalanie szkodliwych społecznie przekonań. Jego czynne uczestnictwo w akcjach takich jak chociażby „10:23, homeopatia, nic w tym nie ma”, czy w kampanii współtworzonej z Klubem Sceptyków Polskich „Psychologia to nauka, nie czary”, zdaje się potwierdzać tezę, że autor jest osobą zdeterminowaną w dążeniu do poszukiwania i upowszechniania prawdy. Pozostaje tylko życzyć, by nie dopadło go obezwładniające zniechęcenie.
Odwaga jest dzisiaj chyba w odwrocie. Także odwaga pisania, mówienia ale także odwaga konfrontowania się z argumentami innych. Czy bez takiej odwagi można prowadzić badania naukowe? Czy bez takiej odwagi możliwy jest rozwój? Książka, którą trzymasz w dłoni jest odważna, bo odważny jest jej Autor. Dlatego ją polecam. Przeczytaj, o ile jesteś odważny.
dr Tomasz Rozek, dziennikarz naukowy, autor vbloga „Nauka. To lubię”
Tomasz Witkowski od lat bierze pod lupę psychologię, przyglądając się jej dokonaniom z dużą dawką zdrowego sceptycyzmu. Potrafi przystępnie opisać zarówno błędy popełniane przez badaczy, jak i zawiłości naukowej statystyki czy działanie najnowszych technologii. Warto przeczytać i (krytycznie) przemyśleć!
Zaczynamy zastępować psychologią religię – dr Tomasz Witkowski, autor „Zakazanej psychologii”. O zakazanej psychologii, o cnotach, przywarach i uczynkach małych wielkich uczonych z red. w. Zapraszam do wysłuchania podcastu audycji lub lektury transkrypcji rozmowy.
Zaczynamy zastępować psychologią religię – dr Tomasz Witkowski, autor „Zakazanej psychologii”
O zakazanej psychologii, o cnotach, przywarach i uczynkach małych wielkich uczonych z red. Hanna Zielińska w Radio TOK FM. Zapraszam do wysłuchania podcastu audycji lub lektury transkrypcji rozmowy. Posłuchaj podcastu klikając na ikonkę poniżej.
Rozmawialiśmy o trylogii „Zakazana psychologia” – każdy tom jest osobną całością – i o dekadzie mojej pracy na rzecz psychologii jako nauki. Czy było warto? Książki pomogły pojedynczym czytelnikom, którzy piszą, że otworzyły im oczy, ale psychobiznes nadal kwitnie.
Mówiłem o kryzysie replikacji: uczeni zwracali uwagę na problemy psychologii od kilkudziesięciu lat, a działania podjęto dopiero niedawno. Rozmawialiśmy też o tym, że sprostowania mają mniejszą siłę niż sensacje – cenimy strażaka, który ratuje ludzi z płomieni, a nie inspektora, dzięki któremu do pożarów w ogóle nie dochodzi – oraz o współpracy naukowców z dziennikarzami.
O cnotach, przywarach i uczynkach małych wielkich uczonych. Rozmowa na temat książki w radiu TOK FM poprowadzona przez red. Cezarego Łasiczkę. Posłuchaj podcastu klikając na ikonkę poniżej.
Zakazana psychologia
O cnotach, przywarach i uczynkach małych wielkich uczonych
Rozmowa na temat książki w radiu TOK FM poprowadzona przez red. Cezarego Łasiczkę. Posłuchaj podcastu klikając na ikonkę poniżej.
O czym rozmawialiśmy
Rozmawialiśmy o trzecim tomie „Zakazanej psychologii” tuż przed jego premierą. Przytaczałem dane o liczbie zaburzeń psychicznych w kolejnych wydaniach podręcznika DSM: w ciągu 60 lat wzrosła ona ponad trzy i pół raza, do 374. Opowiadałem też, że planowałem jedną książkę o nadużyciach i mitach psychologii, a materiału starczyło na trzy tomy – i dzieło wciąż nie jest ukończone.
Mówiłem o trudnym związku psychologii z maszynami: od lat 40. psychologowie odrzucają wsparcie metod statystycznych i komputerów, choć bywają one trafniejsze w diagnozie, a dziś pojawiają się także aplikacje terapeutyczne. Porównywałem też dorobek psychologii z osiągnięciami fizyki.
Więcej historii o nadużyciach i przemilczeniach w świecie nauki opisuję w trzecim tomie „Zakazanej psychologii. O cnotach, przywarach i uczynkach małych, wielkich uczonych”. Książka w księgarni Bonito »
Chcesz dostawać moje nowe teksty e-mailem? Zapisz się poniżej.
W ostatnim numerze (Marzec/Kwiecień) Skeptical Inquirer ukazał się kolejny mój artykuł poświęcony wynikom dużego projektu replikacyjnego Many Labs 2 opublikowanym jesienią 2018 roku. Is the Glass half Empty or Half Full? Latest Results in the Replication Crisis in Psychology.
W ostatnim numerze (Marzec/Kwiecień) Skeptical Inquirer ukazał się kolejny mój artykuł poświęcony wynikom dużego projektu replikacyjnego Many Labs 2 opublikowanym jesienią 2018 roku.
Is the Glass half Empty or Half Full? Latest Results in the Replication Crisis in Psychology
For years a chorus of voices has spoken of a replication crisis in psychology, particularly social psychology. In November 2018, the results of another large replication project were published, which demonstrated that in half of known psychological experiments it is possible to generate results that are similar to—but slightly lower than—the original results. Over a period of several years, 186 researchers from sixty different laboratories on six different continents representing thirty-six different nationalities conducted replications of twenty-eight well-known studies. Over 7,000 participants from diverse cultures took part in each of them. By comparison, the average number of participants in the original studies was 112. The results demonstrated clearly that replicability of experiments is not dependent on cultural context. Brian Nosek from the Center for Open Science, who helped to coordinate the study, claims that their results could prove even more significant than those of the 2015 Reproducibility Project, in which a mere 36 percent of experiments were successfully reproduced.
To tytuł rozmowy ze mną, którą przeprowadziła red. Aleksandra Piasta na temat wyników dużego psychologicznego projektu replikacyjnego Many Labs 2, którego wyniki opublikowano w listopadzie 2018 roku. Rozmowę opublikował portal „Nauka w Polsce PAP”. Zapraszam do lektury.
Oczekiwałbym, żeby naukowcy dostarczali nam tzw. bezpiecznej wiedzy. Bezpieczna wiedza to taka, która jest dobrze sprawdzona, zweryfikowana – mówi PAP Tomasz Witkowski doktor psychologii, pisarz i założyciel Klubu Sceptyków Polskich w rozmowie o kryzysie replikacyjnym, kryzysie w psychologii i możliwościach polepszenia jakości badań psychologicznych.
Pod koniec listopada 2018 roku opublikowano rezultaty dużego projektu replikacyjnego Many Labs 2, który miał na celu powtórzenie 28 popularnych badań psychologicznych. Badania te dotyczyły różnych aspektów funkcjonowania człowieka, m.in. altruizmu, moralności czy tzw. efektu atrybucji. Były prowadzone z dużą dbałością o szczegóły w 60 laboratoriach świata przez 186 naukowców.
PAP: W projekcie udało się potwierdzić wyniki 50 proc. badań. Pana zdaniem to dużo, mało?Dr Tomasz Witkowski: Zależy, jak na to spojrzeć. Z perspektywy naukowca to bardzo dużo. Nie spodziewałem się tak dobrego wyniku, bo w poprzednim projekcie replikacyjnym udało się zreplikować tylko 36 proc. badań. Z perspektywy praktyka to jednak dramatycznie mało. Wynik oznacza dla mnie, że co druga kartka w podręczniku do psychologii społecznej może zawierać nieprawdziwe informacje. To mocno zatrważające.
PAP: Jaki wynik byłby dla pana jako praktyka zadowalający?T.W.: Ja bym oczekiwał, żeby naukowcy dostarczali nam tzw. bezpiecznej wiedzy. Bezpieczna wiedza to taka, która jest dobrze sprawdzona, zweryfikowana. Oczekiwałbym 90 proc.
PAP: Sądzi pan, że to realne, osiągalne?
T.W.: Myślę, że tak. Chociaż przy obecnej kulturze „publish or perish” (publikuj lub giń – PAP), pogoni za liczbą cytowań, to nierealne. Z nauki zrobił nam się jarmark. Jest też kwestia podziału na nauki gorące i zimne. Nauki gorące to np. genetyka, fizyka, nanotechnologia. Tam wyniki badań replikuje się często w ciągu 24 godzin. W psychologii właściwie nie ma takich wyników, które by natychmiast sprawdzano. Publikuje się je, przyjmuje do wiadomości, pisze o nich w prasie, ale nikt nie replikuje tego na bieżąco. Weźmy pod uwagę słynny eksperyment więzienny Zimbardo. Prawie pół wieku minęło od czasu jego przeprowadzenia aż okazało się, że został po prostu sfałszowany. Z paroma innymi słynnymi eksperymentami jest bardzo podobnie.
Czytaj dalszy ciąg rozmowy w otwartym dostępie TUTAJ
Na temat wyników projektu Many Labs 2 pisałem i rozmawiałem m. in. tutaj:
Naukowcy powtórzyli 28 słynnych eksperymentów psychologicznych. Tylko w połowie przypadków udało się uzyskać podobne wyniki. Szklanka jest do połowy pełna czy w połowie pusta?
Forum
O tzw. kryzysie replikacyjnym w psychologii, szczególnie społecznej, mówi się już od kilku lat. Chodzi o problem powtarzalności wyników eksperymentów: czy rezultaty uzyskane przez jedną grupę naukowców otrzymają także w powtórce badania inne zespoły psychologów. Jeśli nie, może to oznaczać, że ogłoszony efekt w ogóle nie występuje i był wynikiem przypadku lub błędów metodologicznych, a w skrajnych sytuacjach nawet oszustwa.
Wielokrotne replikacje są podstawowym narzędziem nauki. Wyniki kolejnego tego typu dużego projektu – Many Labs 2 – opublikowano pod koniec 2018 r.
Ciąg dalszy mojego artykułu, który ukazał się w najnowszym numerze „POLITYKI” przeczytasz TUTAJ.
W najnowszym numerze 2/2019 „Forum Akademickiego” ukazała się rozmowa, którą przeprowadziłem z dr. Konradem Bocianem – jednym ze współautorów projektu replikacyjnego Many Labs 2. Wyniki tego projektu opublikowano w listopadzie 2018 roku. Porażka jest stałym elementem pracy naukowca.
W najnowszym numerze 2/2019 „Forum Akademickiego” ukazała się rozmowa, którą przeprowadziłem z dr. Konradem Bocianem – jednym ze współautorów projektu replikacyjnego Many Labs 2. Wyniki tego projektu opublikowano w listopadzie 2018 roku.
Porażka jest stałym elementem pracy naukowca
Tomasz Witkowski: Many Labs 2 to jeden z największych projektów replikacyjnych jakie przeprowadzono w historii psychologii. Byłeś jego współautorem. Dlaczego niektórzy uczeni uważają, że są to jedne z najdonioślejszych wyników badań jakie uzyskano w tej dziedzinie nauki w ostatnich kilkudziesięciu latach?
Konrad Bocian: Przede wszystkim ze względu na wyniki oraz wysiłek włożony w ich replikację. Projekt Many Labs 2 wykazał, że o sukcesie replikacji danego badania decydowała głównie wielkość odkrytego pierwotnie efektu, czyli to, jak duże różnice między grupami wykryto w pierwszym badaniu. Czynniki kulturowe, kolejność prezentowania zadań czy miejsce badania miały mniejsze znaczenie.
T.W.: Udało wam się zreplikować dokładnie połowę badań, które wzięliście na warsztat. To dużo, czy mało?
K.B.: Nie potrafię jednoznacznie odpowiedzieć na to pytanie, ponieważ nie mamy skali porównawczej. Pierwsza edycja, Many Labs 1, zreplikowała 10 z 13 efektów.
T.W.: A Reproducibility Project 36 ze 100. Czy to nie wystarczy aby mówić o jakimś obrazie naszej dyscypliny? Pytając o to, czy to dużo, czy mało pytałem w zasadzie o twoją interpretację tego wyniku. Czy powinniśmy się cieszyć, że aż 50% badań udało się z powodzeniem zreplikować, czy martwić, że tylko 50%? No i jak odbierają to inni autorzy tego projektu?
K.B.: Nie rozpatrywałbym tych wyników w kategoriach radości czy smutku. Wyniki replikacji nie mówią o tym, że badania zostały źle przeprowadzone czy zaprojektowane, raczej wskazują, że uzyskane efekty nie są tak silne, jak wcześniej zakładano. Ta wiedza to największa wartość każdego projektu replikacyjnego. Wyniki replikacji mogą być odbierane jako porażka psychologii czy nawet samej nauki, jednak zarówno ja jak i pozostali autorzy uważamy, że jest to dowód na to, że nauka zachowuje się tak, jak powinna, czyli jest sceptyczna i szuka ciągłych sposobów na doskonalenie dyscypliny. Można powiedzieć, że właśnie obserwujemy proces autokorekty wiedzy psychologicznej, którego celem jest jej weryfikacja. Jak na tak młodą dyscyplinę jak psychologia, myślę, że świadczy to o dużej dojrzałości naukowców, którzy ją reprezentują.
T.W.: W jaki sposób ty sam trafiłeś do projektu Many Labs 2?
K.B.: Zostałem zaproszony przez głównego pomysłodawcę Ricka Kleina, którego poznałem w USA na konferencji i z którym współpracowałem przy pierwszej części projektu: Many Labs 1.
T.W.: Do niedawna replikowanie badań innych oznaczało dla naukowców stratę czasu, a nawet zagrożenie dla rozwoju własnej kariery. Czy to się zmieniło? Udział w tym projekcie pomoże ci w rozwoju naukowej kariery, czy będzie przeszkodą?
K.B.: Wiadomości z pogróżkami nie otrzymuję. A na poważnie, to udział w projekcie wiąże z rozwojem naukowym. Przede wszystkim dzięki projektowi nawiązałem wiele nowych kontaktów z innymi naukowcami, a projekt Many Labs 1 to najwyżej cytowana praca w mojej karierze. Poza tym udział w projekcie był ciekawym doświadczeniem badawczym. Od etapu zapoznania się z badaniami, poprzez przygotowanie materiałów aż po przeprowadzenie eksperymentów.
Więcej w elektonicznym i drukowanym wydaniu FA.
dr Konrad Bocian – jeden z sześciu badaczy polskich zaangażowanych w projekt Many Labs 2, psycholog społeczny, adiunkt na Uniwersytecie SWPS w Sopocie, członek sopockiego Centrum Badań nad Poznaniem i Zachowaniem, dziennikarz naukowy. Stypendysta Fundacji na rzecz Nauki Polskiej oraz Narodowej Agencji Wymiany Akademickiej. Autor międzynarodowych publikacji z zakresu poznania społecznego. W latach 2013-2016 dyrektor ds. nauki w firmie Quantum Lab, gdzie odpowiadał za teorię oraz walidację danych, na podstawie których powstały główne produkty firmy. Na co dzień zgłębia tajniki ludzkiej moralności oraz zajmuje się popularyzacją nauki.
Na temat wyników projektu Many Labs 2 pisałem i rozmawiałem m. in. tutaj:
Zapraszam do lektury artykułu, który ukazał się 21 stycznia 2019 r. w magazynie „Plus Minus Rzeczpospolita”. Jest to felieton zawierający moje refleksje na temat ogłoszonych w listopadzie ub.
Zapraszam do lektury artykułu, który ukazał się 21 stycznia 2019 r. w magazynie „Plus Minus Rzeczpospolita”. Jest to felieton zawierający moje refleksje na temat ogłoszonych w listopadzie ub. roku wyników dużego projektu replikacyjnego Many Labs 2 oraz stanu współczesnej psychologii, a w szczególności ogłoszonej przez American Psychological Association jej niezwykłej popularności.
Dr Tomasz Witkowski: Psychologia w kryzysie, choć popularna jak nigdy
Zaledwie pół roku temu świat obiegła informacja, że Philip Zimbardo sfałszował słynny stanfordzki eksperyment więzienny. Teraz nie zdołano powtórzyć kilkunastu kolejnych badań, na których opierają się podręczniki psychologii. Dlaczego więc usługi i studia psychologiczne cieszą się coraz większą popularnością?
Ile fałszywych banknotów w obiegu powoduje, że waluta staje się bezużyteczna? Jaki odsetek fałszywych haseł w Wikipedii doprowadziłby do całkowitej kompromitacji tego źródła informacji? Jaki procent bubli w produkcji sprawia, że ludzie przestają kupować produkty konkretnej firmy? Ile nieprawdziwych informacji może opublikować gazeta, zanim zacznie tracić zaufanie czytelników? 10 procent? 20? Czy jedna czwarta to już zbyt wiele? Jedna trzecia? A co powiecie o połowie?
Przypuszczalnie większość czytelników odrzuci ostatnie propozycje, a dla znacznej części nawet 10 proc. wyda się możliwością zbyt przesadzoną. Są jednak dziedziny oferujące nam połowę bubli spośród swoich dokonań i one nie tylko nie tracą na popularności, ale zdobywają w coraz większe uznanie. Z pewnością należy do nich psychologia.
Jeszcze dobrze nie opadł kurz po skandalu, jaki wybuchł w 2015 roku po ogłoszeniu wyników Reproducibility Project, w którym na 100 powtórzonych…
Czytaj dalej: TUTAJ
– Psychologia ma na swoim koncie bardzo dużo ciekawych, cennych odkryć i osiągnięć. W przestrzeni społecznej zajmuje się jednak bardzo wieloma problemami i nie zawsze rzetelnie. Otwartym pytaniem jest, jak wiele to obszarów – mówił w Dwójce dr Tomasz Witkowski.eksp
Gościem audycji „O wszystkim z kulturą” był autor książki „Psychoterapia bez makijażu„, a punktem wyjścia do dyskusji nowe wydanie magazynu „Plus-minus” poświęconego próbie odpowiedzi na pytanie o psychologię. Coraz więcej pojawia się opracowań, że to jednak nie jest nauka.
O naukowości jakiejś dziedziny decyduje powtarzalność eksperymentów. Jak to wygląda w przypadku psychologii? W jakim stopniu psychoterapia może zmienić życie człowieka? Czy psychologia zastępuje w ponowoczesnych społeczeństwach religię? O tym w nagraniu audycji.
***Tytuł audycji: O wszystkim z kulturąProwadzi: Michał SzułdrzyńskiGość: dr Tomasz Witkowski (autor książki „Psychoterapia bez makijażu”)
Data emisji: 17.01.2019
Godzina emisji: 17.30
Żeby posłuchać audycji kliknij ikonę poniżej:
We wtorek 11 grudnia o godz. 10:00 w audycji OFF Czarek prowadzonej przez redaktora Cezarego Łasiczkę w radiu Radio TOK FM rozmawialiśmy na temat wyników najnowszego psychologicznego projektu replikacyjnego Many Labs 2, kryzysu replikacyjnego i tego wszystkiego, co z tego wynika. Zapraszam do wysłuchania audycji!
Więcej o wynikach Many Labs 2 i ich konsekwencjach w jednym z moich poprzednich wpisów:
Rozmawialiśmy o wynikach projektu replikacyjnego Many Labs 2 i o kryzysie replikacji w psychologii. Część porażek da się wyjaśnić zmianą warunków – dzieci wychowują się dziś inaczej niż dwadzieścia lat temu – ale charakterystyczne jest coś innego: im silniejszy był efekt w pierwotnym badaniu, tym lepiej się replikował. Problemem jest więc publikowanie badań o słabych efektach i małej mocy statystycznej, na co psychologowie zwracali uwagę już od lat 60.
Mówiłem też o paradoksie: mimo kolejnych skandali popularność psychologii jako kierunku studiów i zawodu wciąż rośnie, oraz o pracach nad ustawą o zawodzie psychologa.
Wyniki kolejnego dużego projektu replikacyjnego pokazały, że zaledwie w przypadku połowy znanych eksperymentów psychologicznych udaje się uzyskać te same wyniki.
Wyniki kolejnego dużego projektu replikacyjnego pokazały, że zaledwie w przypadku połowy znanych eksperymentów psychologicznych udaje się uzyskać te same wyniki. Przez kilka lat 186 badaczy z 60 różnych laboratoriów, z 6 różnych kontynentów, reprezentujący 36 różnych narodowości, skupionych w Many Labs 2 prowadziło replikację 28 głośnych badań. W każdym z nich wzięło udział około 7000 osób badanych z różnych kultur. Dla porównania, w replikowanych badaniach przeciętnie było 112 osób. Wyniki jednoznacznie pokazały, że replikowalność eksperymentów nie zależy od kontekstu kulturowego. Brian Nosek twierdzi, że mogą okazać się one nawet ważniejsze niż ogłoszone w 2015 roku rezultaty prowadzonego przez niego Reproducibility Project, w ramach którego udało się zreplikować zaledwie 36% eksperymentów.
Prace wybierano do replikacji na podstawie szeregu kryteriów, wśród których uwzględniono częstość cytowań pokazująca wpływ danej pracy na całą psychologię. Innym, bardziej technicznym kryterium była możliwość przeprowadzenia badań online, za pomocą Internetu na platformie, do której mogli mieć dostęp badacze z wszystkich 60 laboratoriów.
Wśród eksperymentów, których nie udało się potwierdzić znalazł się ten, w wyniku którego odkryto efekt Lady Makbet polegający na tym, że podobnie jak bohaterka dramatu Szekspira prześladowana wspomnieniami własnych zbrodni była przekonana, że na jej rękach widać ślady krwi, tak badani proszeni o przypomnienie sobie jakiegoś swojego zachowania związanego z naruszeniem norm moralnych mieliby mieć silniejszą tendencję do zachowań związanych z przywracaniem i utrzymywaniem fizycznej czystości. Nie uzyskano również potwierdzenia wyników, które pokazywały, że ludzie wychowujący się z rodzeństwem są bardziej altruistyczni od jedynaków. Zawiodły próby potwierdzenia wyników eksperymentów, podczas których wykazano, że badani wykonujący zadania związane z wykorzystywaniem słów określających ciepło są bardziej skłonni do wiary w globalne ocieplenie niż ci, którzy wykonywali zadania związane z wykorzystaniem słów określających zimno. Weryfikacji nie przeszedł również słynny eksperyment Yoela Inbara z 2009 roku, pokazujący, że ludzie, którzy najpierw doświadczyli uczuć odrazy byli później bardziej homofobiczni od osób badanych z grupy kontrolnej.
Z powodzeniem natomiast zreplikowano badania Daniela Kahnemana, laureata nagrody Nobla, który wraz z Amosem Tversky’m odkrył tzw. efekt framingu polegający na tym, że ludzie mając te same dane, podejmują różne decyzje w zależności od kontekstu, w jakim te dane im zaprezentowano. Many Labs 2 potwierdziło wyniki badań z 2007 roku nad tzw. dylematem wagonika. Podobnie jak w pierwotnym eksperymencie, tak i tym razem większość badanych uznała za niedopuszczalne wepchnięcie jednej osoby na tory, aby zatrzymać wagonik mogący zabić pięć innych osób. Trudy replikacji przetrwały również eksperymenty nad podstawowym efektem atrybucji polegającym na tendencji do wyjaśniania zachowania obserwowanych osób w kategoriach przyczyn wewnętrznych i stałych (np. cech charakteru) przy jednoczesnym niedocenianiu zewnętrznych wpływów sytuacyjnych.
Wszystkim autorom biorącym udział w projekcie należą się ogromne wyrazy szacunku i uznania. Zrezygnowali oni z powszechnej pogoni za oryginalnością i uprawianiem swojej wąskiej działki na rzecz sprawdzenia solidności naszej wiedzy. Narazili się wielu przedstawicielom psychologii, którzy, podobnie jak miało to miejsce w 2015 roku, nie omieszkają zdeprecjonować ich wysiłków. Jakkolwiek ich praca jest kroplą w powodzi codziennie publikowanych nowych wyników, to jest to kropla, która pozwala mieć nadzieję na to, że nasza dziedzina nie pogrąży się w chaosie.
Za chwilę z pewnością usłyszycie wiele usprawiedliwień takiego stanu psychologii w jakim się znalazła. Wiele z nich mieliśmy szansę już poznać[1]. Nie wątpię też, że wielu naukowców będzie starało się wykazać, że wysiłki Many Labs 2 niczego nie dowodzą. Nie wierzcie tym uczonym! Idę w zakład, że będą was zwodzić starymi sprawdzonymi chwytami retorycznymi, których nie zmieniają od lat. Pamiętajcie, że wyjaśnienia, które Wam zaoferują pochodzą od ludzi, których rzetelność pracy została właśnie podważona. Zresztą, czy uwierzylibyście uczniom, którzy kolejny raz nie odrobili zadania domowego? Albo więźniom wyjaśniającym przyczyny kryzysu i buntu w więzieniu?
Stawiam dolary przeciwko orzechom, że interpretując wyniki zespołu Many Labs 2 uczeni wykorzystają następujące „żelazne” argumenty:
Psychologia to bardzo młoda nauka, dlatego nie można od niej oczekiwać tak silnych rezultatów, jakich oczekujemy od innych nauk.
W innych naukach jest nie lepiej, a bywa nawet gorzej, np. w medycynie. Dlaczego wszyscy atakują psychologię?
Przedmiotem badań psychologii jest najbardziej złożony obiekt z jakim nauka w ogóle może mieć do czynienia, dlatego trudno oczekiwać jednoznacznych i stabilnych wyników badań.
Fakt, że zweryfikowano tak wiele eksperymentów i ujawniono słabość wyników świadczy o sile nauki, o jej samokorygującym charakterze, a nie o słabości.
50% procent to bardzo dużo i świadczy o sile nauki, nie o jej słabości (szklanka jest do połowy pełna).
Projekt Many Labs 2 zawiera błędy metodologiczne.
Dodatkowo inicjatorm projektu przypną łatkę czarnych owiec, które podważają (i tak już nadszarpnięte!) zaufanie do nauki.
Pierwszy z nich odwołuje się do faktu, że psychologia to bardzo młoda nauka i bywał już nie raz wykorzystywany do usprawiedliwiania jej porażek.
Po pierwsze, psychologia jest stosunkowo młoda (naukowa ma niewiele ponad 100 lat, a społeczna – mniej więcej 70), w dodatku do niedawna zaliczano ją do humanistyki. Mimo to formułuje ogólne prawidłowości dotyczące ludzkiej psychiki, opierając się na danych empirycznych gromadzonych za pomocą rozbudowanego aparatu badawczego[2].
Niestety, autorzy tego cytatu nie zauważyli (lub nie chcieli zauważyć) tego, co osiągnęła w czasie niecałych 100 lat genetyka, mechanika kwantowa czy biologia molekularna. Nanotechnologia dla osiągnięcia tak niezwykłego poziomu zaawansowania, jaki dzisiaj obserwujemy potrzebowała zaledwie około 50 lat. Przykłady można mnożyć i w zależności od kontekstu wypadać korzystniej lub mniej korzystnie. Ale argument wieku poza swoją elastycznością jest zabiegiem czysto retorycznym. Aby z niego korzystać przyjmuje się założenie, że psychologia narodziła się w 1879 roku kiedy to Wilhelm Wundt otworzył swoje laboratorium w Lipsku, a William James na Harwardzie. Czego można zatem oczekiwać od nauki, która ma zaledwie 139 lat? Jak można porównywać jej osiągnięcia na przykład z astronomią, która sięga czasów Ptolemeusza, a więc liczy sobie prawie dwa tysiące lat?
Przyjęcie roku 1879 jako daty narodzin psychologii oznacza zignorowanie dorobku takich myślicieli, jak Kartezjusz, Berkley, Hume czy J.S. Mill, którzy interesowali się kluczowymi problemami psychologii począwszy od XVII wieku. Nie można też nie wspomnieć o odcięciu się od paru starożytnych Greków, w tym od Arystotelesa, który wprowadził do rozważań pojęcie psyche. Jedno z najbardziej monumentalnych dzieł poświęconych melancholii autorstwa Roberta Burtona zostało opublikowane w 1621 roku. I ono powinno konsekwentnie zostać wyrzucone na śmietnik historii przez zwolenników roku 1879, jako roku zerowego w psychologii. W ślad za nim powędrują za burtę odkrycia Helmholtza nad przewodnictwem impulsów nerwowych z połowy XIX wieku oraz wyniki eksperymentów nad hipnozą przeprowadzone przez Paysesegura w 1830 roku we Francji.
Izaak Newton, człowiek podobno dość mocno skoncentrowany na sobie, a nawet narcystyczny, w liście do Hooke’a napisał jednak: „Jeśli widzę dalej, to tylko dlatego, że stoję na ramionach olbrzymów”. Co sprawia, że niektórzy przedstawiciele dziedziny, której osiągnięcia nie dorównują temu, czego dokonał Newton, nie pozwala im na dostrzeżenie tego, czyje ramiona depczą?
Czy z tych samych powodów nie słyszą również głosów nawołujących od dawna do opamiętania? W najprostszych badaniach, gdzie siłę związku dwóch zmiennych określa się współczynnikiem korelacji, wynikiem jest liczba podana z dokładnością do dwóch miejsc po przecinku. John Hunter w artykule opublikowanym w 2001 roku pod znamiennym tytułem The desperate need for replications[3]wylicza, że aby podać dokładny wynik takiej korelacji powinniśmy dysponować zawrotną liczbą 153 669 osób badanych! Dla uzyskania dokładności do jednego miejsca po przecinku powinniśmy zbadać 1544 osoby. W naukach społecznych niezwykle rzadkie są przypadki nawet takich liczebności, jak ta ostatnia. Aby uzyskać dokładność korelacji do jednego miejsca po przecinku powinniśmy powtórzyć badanie ośmiokrotnie. Jeżeli chcielibyśmy uzyskać dokładność do drugiego miejsca po przecinku, potrzebnych byłoby nam 800 badań po 200 osób każde. A to wszystko przy założeniu, że zostały one zaprojektowane i przeprowadzone w perfekcyjny sposób, nie pozostawiający miejsca na błędy np. wynikające z nielosowego doboru próby. Dodać należy, że analizujemy najprostszy możliwy związek dwóch zmiennych, tak proste badanie, jakich obecnie już się niemal nie prowadzi. W rzeczywistości najczęściej badamy dużo większą ilość zmiennych, a wymagania co do liczebności rosną w postępie niemal geometrycznym.
Zdaniem Huntera, stosowanie twórczego podejścia jako głównego kryterium publikowanych prac jest zabójcze dla nauki, stąd wołał o repliki badań. Ale któżby słuchał jego nawoływań? W tym czasie większość uczonych była zajęta produkowanie sexy results, które podchwycą media, które wypromuje się celnym wystąpieniem podczas TED.
Do replikacji nawoływał nie tylko zresztą Hunter. Jednak również głos tych pozostałych nielicznych autorów pozostawał niezauważony[4]. Znaczenie ich postulatów podkreśla fakt, że około połowa z 10 milionów wszystkich ukazujących się drukiem artykułów naukowych nigdy nie jest cytowana choćby nawet raz w ciągu roku, od ich ukazania się[5]. Biorąc pod uwagę fakt, że naukowcy powinni cytować wszystkie artykuły, na których opierają swoją pracę, oznacza to, że artykuł, który nigdy nie został zacytowany nie miał żadnego wpływu na jakiegokolwiek naukowca na świecie, a co za tym idzie, nie miał również jakiegokolwiek wpływu na rozwój nauki. Ta niecytowana połowa produkcji społeczności naukowej to liczba ok. 5 milionów artykułów, pozostających niesprawdzonymi, niezreplikowanymi i prawdopodobnie nawet przez nikogo nie czytanymi. Nawet z tak wysoko w świecie naukowym cenionej Listy Filadelfijskiej 20 procent publikacji nie jest cytowana[6]. Jeśli od tego odjęlibyśmy jeszcze tak powszechne wśród naukowców autocytowania i cytowania pojedyncze, często grzecznościowe wynikające z poczucia wzajemności, to naukowy śmietnik rośnie w oczach. Czy nie lepiej byłoby, aby zamiast „twórczo” produkować nieprzydatne nikomu wyniki badań replikować te istniejące i przyczyniać się do stworzenia solidnych podwalin wiedzy, „powiększania zasobu potwierdzonej wiedzy”, jak określał ten proces Robert Merton?
Czy w obliczu tak ogromnej rozrzutności energii i marnotrawstwa zasobów uczciwym jest zasłanianie się argumentami odwołującymi się do wieku naszej dziedziny?
Kolejne argumenty, które wyliczyłem, a które zostaną z pewnością wykorzystane do usprawiedliwiania kryzysu replikacyjnego wymagają sporo miejsca i uwagi, dlatego zajmę się nimi w miarę możliwości w kolejnych wpisach. Tymczasem czytelników odsyłam do podobnych postów:
O wolności uczonych i sposobach korzystania z niejA Scientist Pushes Psychology Journals toward Open DataJak (bardzo) nauka może być nienaukowa?Problemami poruszanymi w tym wpisie zajmowałem się również w swoich książkach: Zakazana psychologia. Pomiędzy szarlatanerią a nauką. Tom 1Zakazana psychologia. Nauka kultu cargo i jej owoce. Tom 2Psychology Gone Wrong. The Dark Sides of Science and TherapyPsychology Led Astray. Cargo Cult in Science and TherapyA także w będącej w druku: Zakazana psychologia. O cnotach, przywarach i uczynkach małych wielkich uczonych. Tom 3[1] Np. https://tomwitkow.wordpress.com/2015/09/26/o-wolnosci-uczonych-i-sposobach-korzystania-z-niej/[2]http://wyborcza.pl/magazyn/1,124059,18851675,psychologia-to-nie-sciema.html?fbclid=IwAR0QAs7aTsmNVZECC-uQ1hPmvsOFJqBsYw66h20QhLcCnSwxcxPOUPgrUEY[3] „Journal of Consumer Research”, 28, s. 149-158, 2001.
[4] Np.: B. Schneider, Building a scientific community: The need for replication. „Teachers College Record”, 106, s. 1471-1483, 2004.
[5] J.R. Cole, S. Cole, The Ortega hypothesis. „Science”, 178, s. 368-375, 1972.
[6] M.W. Grabski, Uczciwość i wiarygodność nauk. „Osiągnięcia Nauki i Techniki Kierunki Rozwoju i Metody, Konwersatorium Politechniki Warszawskiej”, 7, 1-11. (w:) „Miesięcznik Politechniki Warszawskiej”, 5, 2006.
O tym, jak psychologia upodabnia się do nauki kultu cargo, piszę w drugim tomie „Zakazanej psychologii. Nauka kultu cargo i jej owoce”. Książka w księgarni Bonito »
Chcesz dostawać moje nowe teksty e-mailem? Zapisz się poniżej.