Heurystyki i błędy poznawcze

Test myli się tylko 5 razy na 100 i właśnie wskazał chorobę. Jak bardzo możesz mu ufać?

Pytanie z tymi samymi liczbami zadano w 1978 roku 60 osobom z Harvard Medical School.

Najpierw odpowiesz na jedno pytanie o wynik testu. Potem czeka kilka krótkich zadań. W każdym zobaczysz dwie grupy ludzi, jedną cechę losowo wybranej osoby i pytanie, do której grupy ta osoba raczej należy. Na końcu zobaczysz swój wynik obok wyników lekarzy, studentów i uczestników badań fMRI.

Szybka wersja to pytanie o test i 6 krótkich zadań. Pełna dokłada 3 zadania i drugie pytanie o test. Odpowiedzi zostają w Twojej przeglądarce i nigdzie nie trafiają. Możesz też od razu czytać dalej, ale tekst niżej zdradza, czego szuka zadanie.

W badaniu wzięli udział wspinacze i wędkarze. Osoba „K” lubi ryzyko. do wspinaczy do wędkarzy Do której grupy raczej należy osoba „K”?
Szkic krótkiego zadania z dwiema grupami. W zadaniach podane są też liczebności grup.

W skrócie

Czym jest pomijanie częstości bazowej?

To ocenianie szansy na podstawie opisu konkretnego przypadku, na przykład cechy osoby albo wyniku testu, bez uwzględnienia tego, jak często takie przypadki w ogóle się zdarzają. Częstość bazowa to właśnie ta wyjściowa wiedza, na przykład ilu ludzi na 1000 ma daną chorobę albo jak liczna jest dana grupa. Po angielsku: base-rate neglect.

Tu kryje się nazwa efektu i jego opis. Zdradzają, na czym polega zadanie, więc najpierw sprawdź się na sobie albo odkryj je od razu.

  • W badaniu z 2014 roku tylko 14 z 61 lekarzy i studentów medycyny poprawnie oceniło, co znaczy dodatni wynik testu na rzadką chorobę. Najczęstsza odpowiedź brzmiała 95%, a poprawna to około 2%. W badaniu z 1978 roku, z tym samym pytaniem, poprawnie odpowiedziało 11 z 60 osób.
  • Opis osoby potrafi wygrać z liczbami nawet tak skrajnymi jak 997 do 3. W badaniu fMRI z 2018 roku, gdy cecha wylosowanej osoby pasowała do bardzo małej grupy, odpowiedź szła za liczebnością grup w 51% przypadków. Gdy cecha i liczby wskazywały to samo, w 95%.
  • Pomaga podanie danych w liczbach osób zamiast procentów. W badaniu z 1995 roku, przy 15 takich zadaniach, poprawnych rozwiązań było 46 na 100 w liczbach osób i 16 na 100 w procentach. Szkolenie z rysowania drzewa częstości dawało dobre wyniki jeszcze po kilku miesiącach.
  • W mózgu przy konflikcie między cechą osoby a liczbami mocniej pracowała przednia część zakrętu obręczy, także wtedy, gdy odpowiedź szła za cechą. Badacze widzą w tym znak, że konflikt bywa wychwycony, choć nie zmienia odpowiedzi.
  • Spór dotyczy tego, jak często to naprawdę błąd. Część badaczy uważa, że błąd jest przeceniany: ludzie prawie zawsze w jakimś stopniu korzystają z częstości bazowej, a zadania laboratoryjne słabo oddają niejasne i zmienne częstości z prawdziwego życia. W jednym badaniu z 2022 roku ludzie dzielili się wyraźnie na tych, którzy częstość prawie całkiem pomijają, i tych, którzy uwzględniają ją niemal w pełni.

Pomijanie częstości bazowej

Przy chorobie, którą ma 1 osoba na 1000, z 51 osób z wynikiem dodatnim chora jest tylko 1. Nawet dobry test daje wtedy głównie fałszywe alarmy.

Wyobraź sobie 1000 osób, które zrobiły test z zadania. Choroba dotyczy 1 z nich i ta osoba dostanie wynik dodatni. Wśród 999 zdrowych 5% też dostanie wynik dodatni, czyli około 50 osób. Wynik dodatni ma więc około 51 osób, a chora jest tylko 1 z nich. To mniej więcej 2%. Test działa tak, jak opisano, ale przy tak rzadkiej chorobie fałszywe alarmy wśród zdrowych liczbą przytłaczają chorych.

51 osób z wynikiem dodatnim na każde 1000 badanych: 1 chora, 50 zdrowych
najczęstsza odpowiedź95%27 z 60 osób (1978), 27 z 61 (2014)
poprawna odpowiedźok. 2%1 chora na 51 osób z wynikiem dodatnim
Szansa choroby przy wyniku dodatnim, gdy chorobę ma 1 osoba na 1000, test wykrywa każdego chorego i daje 5% fałszywych alarmów. Najczęstsza odpowiedź u Casscellsa i in. (1978) i Manraia i in. (2014).

Tę samą pułapkę mają krótkie zadania z dwiema grupami. Gdy w grupie jest 995 wędkarzy i 5 wspinaczy, osoba, która lubi ryzyko, i tak najpewniej jest wędkarzem. Żeby cecha przeważyła, musiałaby zdarzać się wśród wspinaczy około 200 razy częściej niż wśród wędkarzy. W nauce taką wyjściową wiedzę o tym, jak liczna jest grupa albo jak częsta choroba, nazywa się częstością bazową.

Po zadaniu w tym miejscu pojawi się Twój własny wynik.

Test na rzadką chorobę

Choroba dotyczy 1 osoby na 1000, a test daje 5% fałszywych alarmów. Jaką szansę choroby podawano przy wyniku dodatnim?

Manrai i współpracownicy (2014): 61 osób ze szpitala w rejonie Bostonu, w tym 24 lekarzy specjalistów, 26 lekarzy w trakcie szkolenia i 10 studentów medycyny. Poprawnie odpowiedziało 14 z nich, a 27 podało 95%. Casscells, Schoenberger i Graboys (1978): 60 osób z Harvard Medical School, poprawnie 11, a 95% podało 27. Stengård i współpracownicy (2022): 100 osób w badaniu internetowym, poprawnie 9 na 100, a 95% podało około 20 na 100. W zadaniu na tej stronie, tak jak u Stengård i współpracowników, wprost napisano, że test wykrywa każdego chorego, a za poprawną uznajemy odpowiedź od 1,8 do 2,2%.

Krótkie zadania z dwiema grupami

W zadaniach z konfliktem cecha osoby pasowała do małej grupy, a liczby wskazywały dużą. Jaki odsetek odpowiedzi szedł za liczbami?

W zadaniach bez konfliktu cecha i liczby wskazywały tę samą grupę.

Vartanian i współpracownicy (2018): 48 zadań w każdym eksperymencie, połowa z konfliktem, z puli zadań Pennycooka, Cheyne’a i współpracowników (2014). W pierwszym eksperymencie 30 osób rozwiązywało je na papierze, bez limitu czasu, w drugim 44 osoby w skanerze, z ograniczonym czasem. Bago i współpracownicy (2018): 132 zadania z limitem 7 sekund. De Neys, Vartanian i Goel (2008): 24 zadania z konfliktem i opisem osoby dłuższym niż jedna cecha, w skanerze. Pary grup i cechy w zadaniu na tej stronie napisaliśmy sami, więc nie wiemy, jak często w nich wygrywałaby cecha.

Ile trwała odpowiedź

W badaniu fMRI z 2018 roku zadania z konfliktem zajmowały więcej czasu niż zadania bez konfliktu, niezależnie od tego, czy odpowiedź szła za liczbami, czy za cechą. W badaniu z 2008 roku odpowiedź zgodna z liczbami w zadaniach z konfliktem padała średnio po 4,0 sekundy, odpowiedź zgodna z opisem osoby po 3,5 sekundy, a w zadaniach kontrolnych po 2,8-3,1 sekundy. W badaniu EEG z 2018 roku czasy wynosiły odpowiednio 1,9, 1,7 i 1,6 sekundy.

Po zadaniu zobaczysz tu swój czas w zadaniach z konfliktem i bez niego. W badaniu EEG czas liczono od pokazania liczb razem z pytaniem, a w badaniach fMRI pytanie pojawiało się dopiero po liczbach i opisie osoby. Na tej stronie czas liczy się od pokazania całego zadania.

To samo zadanie w liczbach osób

Pełna wersja kończy się zadaniem z testem, w którym zamiast procentów podano liczby osób: na 1000 badanych 10 chorych, z nich 8 z wynikiem dodatnim, a z 990 zdrowych 95 z wynikiem dodatnim. To liczby z zadania o mammografii z badania Gigerenzera i Hoffrage’a. Poprawna odpowiedź to 8 z 103, czyli około 7,8%.

Gigerenzer i Hoffrage (1995), pierwsze badanie: 60 studentów Uniwersytetu w Salzburgu, 15 zadań w dwóch sesjach odległych o tydzień. Każdy badany widział każde zadanie raz w procentach i raz w liczbach osób, ale w dwóch różnych układach danych. Wartości 16% i 46% pochodzą z pełnego układu danych, który w każdym formacie dostała inna, losowo wybrana połowa badanych. Odsetki to średnie ze wszystkich 15 zadań. Za poprawne autorzy uznawali tylko dokładny wynik, z zaokrągleniem do pełnego punktu procentowego, potwierdzony zapisem obliczeń. W zadaniu na tej stronie za poprawną uznajemy odpowiedź od 7 do 8,5%.

Skoro zadania z konfliktem trwały dłużej nawet przy odpowiedzi, która szła za cechą, czy mózg zauważa, że coś się nie zgadza?

Co dzieje się w mózgu

Gdy cecha osoby kłóciła się z liczbami, przednia część zakrętu obręczy w badaniu fMRI z 2018 roku pracowała mocniej. Także wtedy, gdy odpowiedź poszła za cechą, a nie za liczbami.

Krótkie zadania z dwiema grupami dają badaczom wygodne porównanie. Wystarczy zamienić liczebności grup, żeby ta sama cecha raz zgadzała się z liczbami, a raz z nimi kłóciła. Jeśli mózg reaguje na konflikt także wtedy, gdy człowiek odpowiada zgodnie z cechą, badacze widzą w tym znak, że liczby zostały w jakiś sposób zauważone. Większość badań w tej części pochodzi z jednej grupy współpracowników, związanej z Wimem De Neysem.

Wczytuję model mózgu…

Kształty obszarów pochodzą z atlasu kory HCP-MMP1. Zaznaczamy obszary atlasu najbliższe szczytom aktywności podanym w pracach, a przy stymulacji okolicę miejsca elektrody. To przybliżenie miejsca, a nie zmierzona aktywność. Model można obracać palcem albo myszą.

W dwóch badaniach fMRI przednia część zakrętu obręczy pracowała mocniej w zadaniach, w których cecha osoby kłóciła się z liczbami

fMRI · 44 i 13 osób, ten sam zespół

Oshin Vartanian, Wim De Neys i współpracownicy położyli w skanerze 44 osoby w wieku od 20 do 56 lat, zrekrutowane w kanadyjskim Ministerstwie Obrony Narodowej. Każda rozwiązała 48 zadań, takich jak na tej stronie: dwie grupy, jedna cecha osoby i skrajnie różne liczebności, na przykład 3 prawników i 997 klaunów. W połowie zadań cecha pasowała do małej grupy. Przy konflikcie odpowiedź szła za liczbami w 51% przypadków, a bez konfliktu w 95%.

W zadaniach z konfliktem mocniej pracowała przednia część zakrętu obręczy, po obu stronach mózgu, w polu 32 Brodmanna. Analiza objęła cały mózg, z poprawką na wiele porównań. Osobne sprawdzenie tego miejsca pokazało, że to wzrost aktywności przy konflikcie, a nie jej spadek, gdy konfliktu nie było. Mocniej pracowały też lewy zakręt czołowy górny i lewy zakręt skroniowy środkowy.

To samo miejsce wskazało dziesięć lat wcześniej mniejsze badanie Wima De Neysa, Oshina Vartaniana i Vinoda Goela. 13 osób rozwiązało w skanerze w Kanadzie 96 zadań, w tym 24 z konfliktem między opisem osoby a liczbami. Odpowiedź zgodną z liczbami wybierały w 45% takich zadań. Przednia część zakrętu obręczy pracowała przy konflikcie mocniej niż w każdym z trzech rodzajów zadań kontrolnych, bez różnicy między odpowiedzią zgodną z liczbami a zgodną z opisem. Autorzy sprawdzali jednak tylko dwa wcześniej wybrane miejsca mózgu i przy łagodnym progu, bez poprawki na wiele porównań.

Na co dzień

Lekarze i studenci medycyny w badaniu z 2014 roku najczęściej odpowiadali, że szansa choroby wynosi 95%. Przy chorobie dotyczącej 1 osoby na 1000 i 5% fałszywych alarmów poprawna odpowiedź to około 2%.

W 1978 roku Ward Casscells, Arno Schoenberger i Thomas Graboys zadali 60 osobom z Harvard Medical School pytanie, od którego zaczyna się zadanie na tej stronie. Choroba dotyczy 1 osoby na 1000, test daje 5% wyników fałszywie dodatnich. Jaka jest szansa, że osoba z wynikiem dodatnim jest chora? Poprawnie odpowiedziało 11 osób, a 27 podało 95%.

Czy po 35 latach i coraz powszechniejszych badaniach przesiewowych coś się zmieniło? Arjun Manrai i współpracownicy zadali to samo pytanie w lipcu 2013 roku 61 osobom w szpitalu w rejonie Bostonu, od studentów po doświadczonych specjalistów. Poprawnie odpowiedziało 14 osób, a 95% podało 27. Mediana odpowiedzi wyniosła 66%, czyli 33 razy więcej niż poprawny wynik. Z komentarzy badanych wynika, że często wiedzieli, co trzeba policzyć, ale źle uwzględniali częstość choroby. Jeden z kardiologów napisał, że wartość predykcyjna wyniku dodatniego nie zależy od częstości choroby.

Gigerenzer i Hoffrage przytaczają też badanie Eddy’ego z 1982 roku. Przy pytaniu o mammografię, w którym poprawny wynik to 7,8%, 95 na 100 lekarzy podało szansę raka od 70 do 80%. Sedlmeier i Gigerenzer opisują z kolei badanie Gigerenzera, Hoffrage’a i Eberta z 1998 roku, w którym jeden z jego autorów jako klient odwiedził 20 publicznych poradni i zrobił test na HIV. Zapytani o szansę zakażenia u klienta z niskim ryzykiem, który dostał wynik dodatni, 15 z 20 doradców podało 99,9% albo więcej, podczas gdy rozsądna ocena to około 50%.

Ile wart jest świadek, który zwykle dobrze rozpoznaje kolory? To zależy od tego, ile taksówek jakiego koloru jeździ po mieście. W klasycznym zadaniu z taksówkami, które badała Maya Bar-Hillel, 85% taksówek w mieście należy do firmy niebieskiej, a 15% do zielonej. Świadek nocnego wypadku mówi, że uciekła taksówka zielona. W testach rozpoznaje kolory poprawnie w 80% przypadków. Szansa, że taksówka naprawdę była zielona, wynosi około 41%. Mediana odpowiedzi badanych, głównie kandydatów na Uniwersytet Hebrajski w wieku od 18 do 23 lat, wyniosła 80%, czyli tyle, ile wynosi trafność świadka. Około 36% osób podało dokładnie tę liczbę, a w pobliżu poprawnej odpowiedzi znalazło się około 10%.

14 z 61

Lekarze i studenci

Tyle osób w badaniu z 2014 roku poprawnie oceniło szansę choroby przy dodatnim wyniku rzadkiego testu.

15 z 20

Doradcy w poradniach HIV

Tylu oceniło szansę zakażenia przy dodatnim wyniku klienta z niskim ryzykiem na 99,9% albo więcej. Rozsądna ocena to około 50%.

80%

Świadek i taksówki

Tyle wyniosła mediana odpowiedzi w zadaniu, w którym poprawny wynik to około 41%.

Czy da się przed tym obronić?

Zadania podane w liczbach osób zamiast w procentach rozwiązywano w badaniu z 1995 roku poprawnie prawie trzy razy częściej. 46 razy na 100 wobec 16 razy na 100. Szkolenie z rysowania drzewa częstości działało jeszcze po kilku miesiącach.

Gerd Gigerenzer i Ulrich Hoffrage dali 60 studentom z Salzburga 15 zadań w dwóch sesjach odległych o tydzień. Połowa badanych dostała je w pełnym zapisie w zwykłych procentach, na przykład szansa raka wynosi 1%, test wykrywa go w 80% przypadków, a u 9,6% zdrowych daje fałszywy alarm. Druga połowa dostała pełny zapis w liczbach osób, na przykład na 1000 kobiet 10 ma raka, 8 z nich dostaje wynik dodatni, a z 990 zdrowych dostaje go 95. W procentach poprawnie rozwiązano 16 na 100 zadań, w liczbach osób 46. Każdy badany rozwiązywał też drugą, skróconą wersję każdego zadania w drugim formacie. Autorzy tłumaczą to tym, że w liczbach osób rachunek sprowadza się do policzenia dwóch grup, 8 chorych i 95 zdrowych z wynikiem dodatnim. Przełącz zapis niżej.

odsetek zadań rozwiązanych poprawnie 16%
Te same dane, inny zapis
Każdy kwadrat to 1% rozwiązań. Po 30 z 60 studentów z Salzburga w każdym zapisie, 15 zadań, pełny zapis danych (Gigerenzer i Hoffrage, 1995).

Późniejsze badania pokazują, że ta przewaga zależy od szczegółów. Elina Stengård i współpracownicy dali w 2022 roku 222 osobom zadania z 45 różnymi zestawami liczb, w tym znacznie mniej skrajnymi niż w klasycznych pytaniach. Przy liczbach osób odpowiedzi były średnio trafniejsze, ale przewaga była mniejsza niż we wcześniejszych badaniach. Metaanaliza Michelle McDowell i Perke Jacobsa z 2017 roku, obejmująca 35 prac, pokazuje, że uproszczony zapis danych i rysunek poprawiają wyniki zarówno przy procentach, jak i przy liczbach osób.

Czy da się tego nauczyć na dłużej? Peter Sedlmeier i Gerd Gigerenzer przeszkolili studentów w Monachium na komputerze, w 1-2 godziny. Jedna grupa uczyła się wstawiać liczby do wzoru Bayesa, druga rozpisywać zadanie na drzewo częstości, w którym z 1000 osób wydziela się chorych i zdrowych, a w każdej z tych grup osoby z wynikiem dodatnim. Trzecia rysowała takie samo drzewo, ale z prawdopodobieństwami. Zaraz po szkoleniu grupa od wzoru rozwiązywała poprawnie 86% zadań testowych, a grupa od drzewa częstości 93% (to mediany). Po około 15 tygodniach grupa od wzoru spadła do 50%, grupa od drzewa prawdopodobieństw do 57%, a grupa od drzewa częstości nie straciła nic.

100% Taką medianę poprawnych rozwiązań miała po około 15 tygodniach grupa od drzewa częstości.

Pomaga też krótkie wyjaśnienie. Nina Franiatte, Wim De Neys i współpracownicy dali 120 osobom trzy rodzaje zadań z kuszącą błędną odpowiedzią, w tym zadania z dwiema grupami. Po każdym z trzech zadań treningowych część osób dostawała wyjaśnienie, jaka odpowiedź jest poprawna, a jaka typowo błędna. W zadaniach z konfliktem, liczonych łącznie dla trzech rodzajów, odsetek dobrych odpowiedzi wzrósł w tej grupie z 33 do 77 na 100, a w grupie bez wyjaśnień z 24 do 33. Po drugiej sesji szkolenia, kilka dni później, wynik jeszcze wzrósł, a dwa miesiące później u 50 osób, które wróciły na badanie, wynosił 71 na 100. W zadaniach z dwiema grupami poprawa była nieco mniejsza, ale wynik przed szkoleniem był w nich od początku wyższy.

Na co dzień najprostsza obrona to zamienić procenty na liczby ludzi. Przed oceną wyniku testu warto zapytać, ile osób na 1000 ma chorobę i ile zdrowych dostaje fałszywy alarm. Wtedy od razu widać, której grupy z wynikiem dodatnim jest więcej.

Czy Twoi znajomi wybiorą liczby, czy cechę osoby? Sprawdź, jak jest u nich, zanim przeczytają tę stronę.

O co spierają się badacze

Badacze zgadzają się, że w zadaniach z testem i z dwiema grupami odpowiedzi często odbiegają od rachunku uwzględniającego liczby. Spór dotyczy tego, czy to naprawdę pomijanie, jak często zdarza się poza laboratorium i co się wtedy dzieje w głowie.

Zjawisko opisali w 1973 roku Daniel Kahneman i Amos Tversky. Płatnym ochotnikom, zrekrutowanym przez gazetę studencką Uniwersytetu Oregonu, pokazali krótkie opisy osób rzekomo wylosowanych spośród 100 inżynierów i prawników. Jedna grupa, 85 osób, dowiedziała się, że inżynierów jest 30, a druga, 86 osób, że 70. Średnia szansa, że opisana osoba jest inżynierem, wyniosła 50% i 55%. Różnica była niewielka, choć statystycznie istotna. Bez żadnego opisu badani poprawnie podawali 30% i 70%. Przy opisie, który niczego nie mówił o zawodzie, mediana w obu grupach wyniosła 50%.

Jonathan Koehler w obszernym artykule dyskusyjnym z 1996 roku twierdził, że wniosek z takich badań jest przesadzony. Według niego ludzie prawie zawsze korzystają z częstości bazowej, a to, ile wagi jej dają, zależy od budowy zadania. Więcej wagi dają jej, gdy znają ją z doświadczenia, gdy jest podana w liczbach osób i gdy jest wiarygodna. Koehler uważa też, że mechaniczne porównywanie odpowiedzi z twierdzeniem Bayesa bywa nieuprawnione, gdy nie sprawdza się założeń modelu ani celów osoby. Badaniom zarzuca ponadto, że pomijają niejasne, niepewne i zmienne częstości bazowe z prawdziwego życia. Vartanian i współpracownicy też zaznaczają, że odpowiedź zgodna z cechą w ich zadaniach nie musi oznaczać złamania reguł rachunku prawdopodobieństwa.

Liczy się też to, czy częstość wydaje się mieć związek z przypadkiem. W badaniu Mai Bar-Hillel przy zadaniu, w którym częstość dotyczyła tego, który z dwóch silników częściej się psuje, mediana odpowiedzi wyniosła 40%, prawie dokładnie tyle, ile wynosi poprawny wynik. W zadaniu z taksówkami, z tymi samymi liczbami, mediana wyniosła 80%.

Druga oś sporu dotyczy ludzi. Stengård i współpracownicy w 2022 roku sprawdzili, jak każda osoba odpowiada w 45 zadaniach z różnymi liczbami. U części badanych odpowiedzi prawie w ogóle nie zależały od częstości bazowej, a u części uwzględniały ją niemal w pełni. Dwa modele, z których pierwszy pasował głównie do osób uwzględniających częstość, a drugi do pomijających ją, razem najlepiej opisywały około 80% osób. Autorzy przestrzegają więc przed mocnymi wnioskami o całej populacji wyciąganymi ze średnich grupowych.

Trzecia oś dotyczy tego, co dzieje się w głowie. Dawniej przyjmowano, że cecha osoby trafia do szybkiej intuicji, a liczby wymagają powolnego namysłu. Gordon Pennycook i współpracownicy w trzech eksperymentach z 2014 roku prosili badanych raz o ocenę według liczb, a raz według tego, co podpowiada opis osoby. Liczby przeszkadzały w ocenie według opisu tak samo, jak opis przeszkadzał w ocenie według liczb. Przy konflikcie odpowiedzi trwały dłużej, a pewność była niższa, także gdy na odpowiedź było tylko 5 sekund. Wniosek autorów jest taki, że liczby też mogą być przetwarzane szybko i intuicyjnie. Pasuje do tego badanie EEG z 2018 roku i to, że w badaniu z 2021 roku namysł prawie nie zmieniał odpowiedzi. W badaniu z 2008 roku De Neys i współpracownicy pisali z kolei, że błąd wynika raczej z nieudanego zahamowania kuszącej odpowiedzi niż z niezauważenia konfliktu.

Źródła i siła dowodów

Na ile to pewne?

Pewność efektu

★★★★★Potwierdzony, z zastrzeżeniem. Efekt powtarza się od lat 70. w różnych zadaniach i grupach, ale jego siła wyraźnie zależy od sposobu podania danych i od osoby, a część badaczy kwestionuje samo kryterium błędu.

Efekt opisano w zadaniu z inżynierami i prawnikami (Kahneman i Tversky, 1973), w zadaniach z taksówkami i innymi przypadkami (Bar-Hillel, 1977), u lekarzy (Casscells i in., 1978) i w powtórzeniu tego badania po 35 latach (Manrai i in., 2014), w zadaniach z dwiema grupami (De Neys i in., 2008; Vartanian i in., 2018; Bago i in., 2018) i w 45 zadaniach z różnymi liczbami (Stengård i in., 2022). Siła efektu wyraźnie spada, gdy dane podać w liczbach osób (Gigerenzer i Hoffrage, 1995), zależy od tego, czy częstość wydaje się związana z przypadkiem (Bar-Hillel, 1977), i od osoby (Stengård i in., 2022). Koehler (1996) uważa, że już w samych badaniach ludzie prawie zawsze w jakimś stopniu korzystają z częstości bazowej, i domaga się badań bliższych warunkom prawdziwego życia.

Co wiemy o mózgu

★★★★★Kilka zgodnych badań, część sporna. Dobrze zrobione badanie fMRI wskazuje przednią część zakrętu obręczy przy konflikcie, ale badania pochodzą głównie z jednego zespołu, a stymulacja dała słaby wynik.

Ocena stoi na badaniu fMRI Vartaniana i współpracowników (2018): 44 osoby, analiza całego mózgu z poprawką na wiele porównań. Zgadzają się z nim mniejsze badanie fMRI z 2008 roku (13 osób, bez takiej poprawki) i badanie EEG (Bago i in., 2018), ale wszystkie trzy mają wspólnego autora i mierzą wykrywanie konfliktu, a nie samo pomijanie liczb. W badaniu z 2021 roku w ogólnym porównaniu nie było różnicy między zadaniami z konfliktem i bez niego, pojawiła się tylko przy szybkich odpowiedziach zgodnych z cechą. Badania ze stymulacją prądem stałym (Edgcumbe i in., 2019, 2024) są przyczynowe i mają stymulację pozorowaną, ale pochodzą z jednego zespołu, a druga sesja nie dała istotnej poprawy w tych zadaniach, więc oceny nie podnoszą.

Jak przyznajemy gwiazdki

Spory w skrócie

Bibliografia

  1. Bago, B., Frey, D., Vidal, J., Houdé, O., Borst, G., & De Neys, W. (2018). Fast and slow thinking: Electrophysiological evidence for early conflict sensitivity. Neuropsychologia, 117, 483-490. https://doi.org/10.1016/j.neuropsychologia.2018.07.017 (EEG, 31 osób)
  2. Bar-Hillel, M. (1977). The base-rate fallacy in probability judgments (Raport techniczny PTR-1042-77-4). Decision Research. https://apps.dtic.mil/sti/citations/ADA045772 (zadanie z taksówkami i silnikami; wersja czasopiśmiennicza: Acta Psychologica, 44(3), 211-233, 1980)
  3. Casscells, W., Schoenberger, A., & Graboys, T. B. (1978). Interpretation by physicians of clinical laboratory results. New England Journal of Medicine, 299(18), 999-1001. https://doi.org/10.1056/NEJM197811022991808 (60 osób)
  4. De Neys, W., Vartanian, O., & Goel, V. (2008). Smarter than we think: When our brains detect that we are biased. Psychological Science, 19(5), 483-489. https://doi.org/10.1111/j.1467-9280.2008.02113.x (fMRI, 13 osób)
  5. Edgcumbe, D. R., Rivolta, D., Nitsche, M. A., & Thoma, V. (2024). Single session and repeated anodal transcranial direct current stimulation over the right dorsolateral prefrontal cortex increases reflective thinking but not working memory updating performance. Heliyon, 10(16), Article e36078. https://doi.org/10.1016/j.heliyon.2024.e36078 (stymulacja prądem stałym, 48 osób)
  6. Edgcumbe, D. R., Thoma, V., Rivolta, D., Nitsche, M. A., & Fu, C. H. Y. (2019). Anodal transcranial direct current stimulation over the right dorsolateral prefrontal cortex enhances reflective judgment and decision-making. Brain Stimulation, 12(3), 652-658. https://doi.org/10.1016/j.brs.2018.12.003 (stymulacja prądem stałym, 54 osoby)
  7. Franiatte, N., Boissin, E., Delmas, A., & De Neys, W. (2024). Boosting debiasing: Impact of repeated training on reasoning. Learning and Instruction, 89, Article 101845. https://doi.org/10.1016/j.learninstruc.2023.101845 (120 osób)
  8. Gigerenzer, G., & Hoffrage, U. (1995). How to improve Bayesian reasoning without instruction: Frequency formats. Psychological Review, 102(4), 684-704. https://doi.org/10.1037/0033-295X.102.4.684 (60 i 15 studentów)
  9. Kahneman, D., & Tversky, A. (1973). On the psychology of prediction. Psychological Review, 80(4), 237-251. https://doi.org/10.1037/h0034747 (zadanie z inżynierami i prawnikami, 171 osób)
  10. Koehler, J. J. (1996). The base rate fallacy reconsidered: Descriptive, normative, and methodological challenges. Behavioral and Brain Sciences, 19(1), 1-17. https://doi.org/10.1017/S0140525X00041157 (artykuł dyskusyjny)
  11. Manrai, A. K., Bhatia, G., Strymish, J., Kohane, I. S., & Jain, S. H. (2014). Medicine's uncomfortable relationship with math: Calculating positive predictive value. JAMA Internal Medicine, 174(6), 991-993. https://doi.org/10.1001/jamainternmed.2014.1059 (61 osób)
  12. McDowell, M., & Jacobs, P. (2017). Meta-analysis of the effect of natural frequencies on Bayesian reasoning. Psychological Bulletin, 143(12), 1273-1312. https://doi.org/10.1037/bul0000126 (metaanaliza, 35 prac)
  13. Pennycook, G., Cheyne, J. A., Barr, N., Koehler, D. J., & Fugelsang, J. A. (2014). Cognitive style and religiosity: The role of conflict detection. Memory & Cognition, 42(1), 1-10. https://doi.org/10.3758/s13421-013-0340-7 (pula zadań z dwiema grupami)
  14. Pennycook, G., Trippas, D., Handley, S. J., & Thompson, V. A. (2014). Base rates: Both neglected and intuitive. Journal of Experimental Psychology: Learning, Memory, and Cognition, 40(2), 544-554. https://doi.org/10.1037/a0034887 (trzy eksperymenty)
  15. Sedlmeier, P., & Gigerenzer, G. (2001). Teaching Bayesian reasoning in less than two hours. Journal of Experimental Psychology: General, 130(3), 380-400. https://doi.org/10.1037/0096-3445.130.3.380 (szkolenia w Chicago, Berlinie i Monachium)
  16. Stengård, E., Juslin, P., Hahn, U., & van den Berg, R. (2022). On the generality and cognitive basis of base-rate neglect. Cognition, 226, Article 105160. https://doi.org/10.1016/j.cognition.2022.105160 (40 osób w laboratorium i 289 przez internet)
  17. Vartanian, O., Beatty, E. L., Smith, I., Blackler, K., Lam, Q., Forbes, S., & De Neys, W. (2018). The reflective mind: Examining individual differences in susceptibility to base rate neglect with fMRI. Journal of Cognitive Neuroscience, 30(7), 1011-1022. https://doi.org/10.1162/jocn_a_01264 (30 osób i fMRI, 44 osoby)
  18. Vartanian, O., Lam, T. K., Maceda, E., & De Neys, W. (2021). Can a fast thinker be a good thinker? The neural correlates of base-rate neglect measured using a two-response paradigm. Cognitive Neuropsychology, 38(6), 365-386. https://doi.org/10.1080/02643294.2022.2041589 (fMRI, 24 osoby)
  19. Yang, Y.-Y., & Wu, S.-W. (2020). Base rate neglect and neural computations for subjective weight in decision under uncertainty. Proceedings of the National Academy of Sciences, 117(29), 16908-16919. https://doi.org/10.1073/pnas.1912378117 (fMRI, 28 osób)
  20. Glasser, M. F., Coalson, T. S., Robinson, E. C., Hacker, C. D., Harwell, J., Yacoub, E., Ugurbil, K., Andersson, J., Beckmann, C. F., Jenkinson, M., Smith, S. M., & Van Essen, D. C. (2016). A multi-modal parcellation of human cerebral cortex. Nature, 536(7615), 171-178. https://doi.org/10.1038/nature18933 (atlas obszarów kory w scenie)
  21. Van Essen, D. C., Smith, S. M., Barch, D. M., Behrens, T. E. J., Yacoub, E., & Ugurbil, K. (2013). The WU-Minn Human Connectome Project: An overview. NeuroImage, 80, 62-79. https://doi.org/10.1016/j.neuroimage.2013.05.041 (powierzchnia kory w scenie)

Zadanie

Pierwsze zadanie ma liczby z badań Casscellsa i współpracowników (1978) i Manraia i współpracowników (2014): częstość choroby 0,1%, 5% wyników fałszywie dodatnich. Jak w zadaniu kontrolnym Stengård i współpracowników (2022), wprost napisano, że test wykrywa każdego chorego. Krótkie zadania mają układ jak u Vartaniana i współpracowników (2018) i Bago i współpracowników (2018): dwie grupy, jedna cecha osoby, liczebności 995 i 5. Pary grup i cechy napisaliśmy sami, unikając cech związanych z płcią, wiekiem, pochodzeniem i wyznaniem. Każda para ma wersję z konfliktem i bez niego, a to, które pary trafią do wersji z konfliktem, losuje się przy każdym podejściu. Szybka wersja ma 4 zadania z konfliktem i 2 bez, pełna 6 i 3. Czas liczy się od pokazania zadania do kliknięcia, a w wyniku podajemy medianę. Ostatnie zadanie pełnej wersji ma liczby z zadania o mammografii w wersji z liczbami osób (Gigerenzer i Hoffrage, 1995).

Dane sceny mózgu

Powierzchnia kory pochodzi ze średniej grupowej HCP S1200 (Van Essen i in., 2013), a granice obszarów z atlasu HCP-MMP1 (Glasser i in., 2016). Współrzędne podano w układzie MNI. Przednia część zakrętu obręczy: szczyty −4, 24, 44 i 2, 28, 38 oraz 4, 30, 36 (Vartanian i in., 2018) i 0, 26, 44 (De Neys i in., 2008); najbliżej leżą obszary 8BM, a32pr, d32 i p32pr. Lewa wyspa: −38, 26, 4 (Vartanian i in., 2018); najbliżej leżą obszary FOP5 i AVI. Przedklinek: 2, −56, 36; obszar 7m. Tylna część zakrętu obręczy: 4, −44, 40 i 4, −48, 40; obszary 31a, 23c i 31pd. Prawy zakręt czołowy dolny: 56, 24, 18 (De Neys i in., 2008); obszary 44, 45 i IFSp. Okolica elektrody F4 nad prawą grzbietowo-boczną korą przedczołową (Edgcumbe i in., 2019, 2024) jest zaznaczona orientacyjnie obszarami 46 i p9-46v, bo prace nie podają współrzędnych.