36 na 100
Prognozy giełdy
Tyle przedziałów menedżerów, które miały trafiać w 80 przypadkach na 100, objęło rzeczywisty wynik rynku.
W badaniu zespołu Joshuy Klaymana 32 studentów z Chicago podawało takie same widełki „na 90 procent”. Po zadaniu Twój wynik stanie obok ich wyniku.
Przy każdym pytaniu wpisujesz dolną i górną granicę, tak żeby prawdziwa wartość leżała pomiędzy nimi z szansą 90 na 100. Nie trzeba znać odpowiedzi. Wystarczą widełki, w które naprawdę wierzysz. Na końcu Twoje przedziały staną obok prawdziwych wartości i obok wyników badań.
Pełna wersja ma dodatkowo pięć pytań, przy których rozdzielasz 100 punktów między gotowe przedziały. Odpowiedzi zostają w Twojej przeglądarce i nigdzie nie trafiają. Możesz też od razu czytać dalej, ale tekst niżej zdradza, czego szuka zadanie.
W skrócie
To zbyt duża pewność, że zna się prawdę. Najłatwiej ją zobaczyć, gdy ktoś podaje widełki, w które ma wierzyć na 90 procent, a prawdziwa wartość wypada poza nie znacznie częściej niż raz na dziesięć. Po angielsku overprecision. Badacze traktują ją jako jedną z trzech odmian nadmiernej pewności siebie, obok przeceniania własnego wyniku i stawiania się wyżej od innych.
Tu kryje się nazwa efektu i jego opis. Zdradzają, na czym polega zadanie, więc najpierw sprawdź się na sobie albo odkryj je od razu.
Nadmierna precyzja
Jedno z pierwszych takich badań opisali Alpert i Raiffa. Prosili studentów o szacunki wielkości, których nikt nie zna na pamięć, na przykład liczby jaj wyprodukowanych w Stanach Zjednoczonych w 1965 roku. Każda osoba podawała kilka granic, od takiej, poniżej której prawda leży z szansą 1 na 100, po taką, powyżej której leży z tą samą szansą. Przedziały, które miały obejmować prawdę w 98 przypadkach na 100, obejmowały ją średnio w około 60. Przedziały na 50 na 100 trafiały mniej więcej raz na trzy.
Czy apel o szersze granice coś dał? Według przeglądu Dona Moore'a, Elizabeth Tenney i Uriela Harana niewiele. Autorzy próbowali to zmienić i w raporcie z badań zapisali apel „Na litość boską, rozciągnijcie te skrajne granice! Bądźcie ze sobą szczerzy! Przyznajcie, czego nie wiecie!”. Zjawisko powtórzono od tamtej pory setki razy, także na zajęciach ze studentami.
Zespół Joshuy Klaymana poprosił 32 studentów University of Chicago o przedziały 90 procent dla pytań z 12 dziedzin, od zużycia paliwa przez samochody po odległości od Los Angeles. Prawda mieściła się w ich przedziałach w 43 przypadkach na 100. Różnice między ludźmi były duże. Osoba z najgorzej dobranymi przedziałami trafiała mniej więcej raz na 100, a jedyna osoba ze zbyt szerokimi przedziałami 92 razy na 100. Ci sami badacze w zadaniach z wyborem jednej z dwóch odpowiedzi znaleźli tylko niewielką nadmierną pewność, około 4 do 5 punktów procentowych.
Osoba, której widełki naprawdę obejmują prawdę 9 razy na 10, w dziesięciu pytaniach trafia najczęściej 9 albo 10 razy. Wynik 7 lub mniej zdarzałby się jej mniej więcej 7 razy na 100, a 6 lub mniej rzadziej niż 2 razy na 100. Niżej taka osoba stoi obok średnich wyników z trzech badań, podanych jako liczba trafień na 10.
Kolorowy pasek to przedział, który obejmuje prawdę, szary to przedział, który ją mija. Biała kreska to prawdziwa wartość. Prawda stoi zawsze na środku, a skala zależy od wielkości liczby w pytaniu.
Po dziesięciu pytaniach strona pyta, w ilu przedziałach jest prawda. Ocena całości zwykle wypada bliżej prawdy niż obietnica „90 na 100” przy każdym pytaniu. Moore, Tenney i Haran opisują badanie z 2006 roku (Cesarini, Sandewall i Johannesson), w którym ludzie szacowali, że prawdę obejmie około sześciu z ich dziesięciu przedziałów 90 procent.
Czy pewniejsze sformułowanie zmieniało wyniki? Nie. Karl Halvor Teigen i Magne Jørgensen z Oslo prosili studentów o przedziały dla liczby mieszkańców dziesięciu stolic europejskich. Połowa osób opisywała je słowami „sądzę, że”, a połowa słowami wyrażającymi dużą pewność, i oba sformułowania dały te same wyniki. Grupa, która podawała pełne przedziały, oceniła potem, że trafiła średnio 3,9 raza na 10, a trafiła 2,6 raza.
Uriel Haran, Don Moore i Carey Morewedge poprosili 334 osoby w laboratorium w Pittsburghu o lata, w których po raz pierwszy wybrano 16 prezydentów Stanów Zjednoczonych z XX wieku. Połowa najpierw podawała zwykłe przedziały 90 procent, a potem rozkładała prawdopodobieństwo na dziesięć dekad. Druga połowa robiła to w odwrotnej kolejności. Przedziały policzone z rozkładu obejmowały prawdę w 77 przypadkach na 100, a zwykłe widełki w 54. Były też dwa razy szersze, średnio 36 lat wobec 18. Zwykłe widełki podawane po rozkładaniu punktów były szersze niż przed nim, średnio 20,8 roku wobec 15,6.
| Pytanie | Twoje widełki | Z punktów | Prawda |
|---|
Widełki wydają się szerokie w chwili, gdy się je wpisuje. Co w mózgu ustala, jak bardzo jesteśmy czegoś pewni?
Co dzieje się w mózgu
Badania mózgu nad pewnością wyglądają zwykle podobnie. Osoba rozstrzyga coś prostego, na przykład w którą stronę jest pochylony wzór na ekranie, a potem ocenia, jak bardzo jest pewna odpowiedzi. Badacze rozróżniają przy tym dwie rzeczy. Pierwsza to średni poziom pewności, czyli to, jak pewnie ktoś się czuje przy danej trafności. Druga to umiejętność odróżniania własnych trafnych odpowiedzi od błędnych. Zbyt wąskie widełki przypominają raczej pierwszą z nich. Badania mózgu dotyczą jednak głównie zmian pewności z próby na próbę albo umiejętności odróżniania, a rzadko tego, czy ktoś jest ogólnie zbyt pewny.
Żadne z badań na tej stronie nie prosiło o przedziały ani o szacunki liczb. Scena pokazuje więc tylko obszary, które wiążą się z poczuciem pewności w innych zadaniach, a nie przyczynę zbyt wąskich widełek.
Kształty obszarów pochodzą z atlasu kory HCP-MMP1, a prążkowie z atlasu struktur podkorowych. Zaznaczamy obszary atlasu najbliższe miejscom podanym w pracach. To przybliżenie miejsca, a nie zmierzona aktywność. Model można obracać palcem albo myszą.
Medha Shekhar i Dobromir Rahnev zbadali 21 osób, z których 18 weszło do analizy. Badani oceniali, w którą stronę jest pochylony wzór ukryty w szumie, i od razu podawali pewność na skali od 1 do 4. Zaraz po bodźcu dostawali trzy impulsy przezczaszkowej stymulacji magnetycznej w jedno z trzech miejsc. Gdy impulsy trafiały w prawą grzbietowo-boczną korę przedczołową, średnia pewność spadła o 0,09 punktu w porównaniu z miejscem kontrolnym w korze czuciowej, a trafność się nie zmieniła. Stymulacja przedniej części kory przedczołowej nie zmieniła istotnie średniej pewności.
Inny zespół (Bor i in., 2017) powtarzał wcześniejsze badanie (Rounis i in., 2010), w którym dłuższa stymulacja grzbietowo-bocznej kory przedczołowej po obu stronach, przed zadaniem, pogorszyła odróżnianie trafnych odpowiedzi od błędnych. W dwóch eksperymentach do analizy weszło 53 i 17 osób. Taka stymulacja nie zmieniła istotnie ani tej umiejętności, ani średniej pewności, a rachunek bayesowski częściowo wspierał brak efektu. Autorzy dopuszczają, że ich stymulacja mogła być za słaba albo inne obszary mogły przejąć pracę.
Zespół Fleminga (Fleming i in., 2014) porównał 7 pacjentów po usunięciu fragmentu przedniej części kory przedczołowej z 11 pacjentami po operacji płata skroniowego i z 19 zdrowymi osobami, które weszły do analizy. W zadaniu wzrokowym pacjenci z uszkodzeniem przodu kory czołowej odróżniali własne trafne odpowiedzi od błędnych mniej więcej w połowie tak dobrze, jak pozwalała na to ich trafność. W zadaniu pamięciowym nie różnili się od innych. Średnia pewność była we wszystkich trzech grupach podobna.
Wcześniej Stephen Fleming i współpracownicy zmierzyli 32 zdrowe osoby. Ci, którzy lepiej odróżniali swoje trafne odpowiedzi od błędnych, mieli więcej istoty szarej w prawej przedniej korze przedczołowej. Objętość tego miejsca nie wiązała się jednak ze średnią pewnością. Autorzy zaznaczają, że celowo ograniczyli różnice w pewności między badanymi, więc brak związku może wynikać z planu badania.
Anthony Vaccaro i Stephen Fleming zebrali 47 badań obrazowania mózgu z ponad 2200 uczestnikami. W 36 z nich badacze sprawdzali, co zmienia się razem z poziomem pewności. Wspólne miejsca to między innymi przyśrodkowa część kory czołowej, prawa wyspa z zakrętem czołowym dolnym, lewa grzbietowo-boczna kora przedczołowa, brzuszno-przyśrodkowa kora przedczołowa, prawy przedklinek i prawe prążkowie brzuszne. Autorzy zastrzegają, że te wyniki mogą odbijać także czas odpowiedzi albo trudność zadania.
W badaniu fMRI Pascala Molenberghsa, Fynna-Mathisa Trautweina i współpracowników 332 osoby oglądały krótkie filmy i odpowiadało na pytania o myśli bohaterów albo o fakty, za każdym razem oceniając pewność. Do analizy weszło 308 z nich. Przy większej pewności mocniej pracowały jądra ogoniaste i hipokamp, a przy mniejszej między innymi grzbietowa część kory czołowej, przednia wyspa i kora oczodołowo-czołowa. Osoby ogólnie pewniejsze nieco gorzej odróżniały trafne odpowiedzi od błędnych, choć ten związek był słaby. Autorzy przypuszczają, że dobry nastrój może pchać ludzi w stronę nadmiernej pewności.
Na co dzień
Ekonomiści z zespołu Ben-Davida (Ben-David i in., 2013) przez dziesięć lat zbierali prognozy kadry kierowniczej firm, w sumie ponad 13 300 rozkładów spodziewanych zwrotów z rynku akcji. Rzeczywiste zwroty mieściły się w ich przedziałach 80 procent w 36 przypadkach na 100. Firmy, w których kadra myliła się w ten sposób, wydawały się więcej inwestować i bardziej się zadłużać.
Czy w okresach dużej niepewności menedżerowie trafiali lepiej? Nie. Obniżali wtedy dolną granicę prognozy, a mimo to właśnie wtedy mylili się najbardziej.
Don Moore przytacza też inne przykłady. Gdy epidemiolodzy prognozowali przebieg pandemii Covid-19, prawda mieściła się w ich przedziałach 75 procent w 45 przypadkach na 100. W przeglądzie ocen eksperckich z tak różnych dziedzin jak rozprzestrzenianie się materiałów radioaktywnych i ryzyko związane z dźwigami budowlanymi przedziały 90 procent trafiały od 30 do 80 razy na 100, z medianą około 60.
Czy we własnej dziedzinie przedziały trafiają częściej? Niewiele częściej. Craig McKenzie, Michael Liersch i Ilan Yaniv zadali 92 studentom z San Diego i 43 specjalistom IT po 40 pytań, połowę o uczelnię i połowę o branżę IT. Ludzie odpowiadający o własnej dziedzinie częściej trafiali blisko prawdy, ale podawali też węższe przedziały, więc trafienia prawie się nie zmieniły. W pytaniach o odsetki przedziały we własnej dziedzinie objęły prawdę w 44 przypadkach na 100, w cudzej w 41. W drugim badaniu inni studenci przewidywali, że osoby odpowiadające o własnej dziedzinie trafią w 75 przypadkach na 100. Trafiały w 44.
Tyle przedziałów menedżerów, które miały trafiać w 80 przypadkach na 100, objęło rzeczywisty wynik rynku.
Tak często prawda mieściła się w przedziałach 75 procent, które podawali epidemiolodzy prognozujący przebieg Covid-19.
Studenci spodziewali się, że ludzie odpowiadający o własnej dziedzinie trafią w 75 przypadkach na 100. Trafili w 44.
Czy da się przed tym obronić?
Haran, Moore i Morewedge sprawdzili metodę, w której osoba widzi cały zakres możliwych wartości podzielony na przedziały i rozdziela między nie swoją pewność. W pierwszym eksperymencie 103 mieszkańców Pittsburgha przewidywało przez internet najwyższą temperaturę za miesiąc. Zwykłe widełki trafiły w 74 przypadkach na 100, a przedziały z rozkładu w 88. W drugim 116 osób z platformy Amazon Mechanical Turk przewidywało temperaturę w Waszyngtonie. Tu różnica była największa, 29 wobec 74. Autorzy zastrzegają, że ta metoda jest zbyt złożona i czasochłonna na wiele codziennych szacunków. Przegląd z 2015 roku dodaje, że zwykłe widełki podawane po takim ćwiczeniu bywają szersze, a poprawa zdaje się wynikać głównie z tego, że metoda kieruje uwagę na wartości wcześniej uznane za najmniej prawdopodobne.
Czy pomaga pytanie osobno o dolną i osobno o górną granicę? Pomaga tylko czasem. Według przeglądu z 2015 roku w badaniu Solla i Klaymana takie rozdzielenie dało szersze i lepiej dobrane przedziały. U Teigena i Jørgensena pojedyncze granice wyznaczały zakres szerszy o 56 i 31 na 100 niż pełne przedziały. Nie działa to jednak zawsze. W pierwszym eksperymencie Harana i współpracowników osobne granice dały tyle samo trafień co zwykłe widełki, choć były szersze. Według przeglądu pytanie najpierw o najbardziej prawdopodobną wartość nie zwęża przedziałów, a czasem je poszerza.
Czy pomaga ćwiczenie z informacją zwrotną? Bywa pomocne. Teigen i Jørgensen opisują specjalistów od oprogramowania, którzy szacowali czas 30 zadań. Ich przedziały 90 procent trafiały na początku w 64 przypadkach na 100, a przy ostatnich dziesięciu zadaniach w 81. Według wcześniejszego badania tych autorów łatwiej nauczyć się obniżać własną pewność niż poszerzać przedziały. Przegląd z 2015 roku nazywa wyniki badań nad informacją zwrotną zaskakująco niejednoznacznymi. Pomagała szczegółowa informacja o własnej kalibracji, a sama informacja o tym, jaki był wynik, już nie.
Don Moore w pracy z 2023 roku proponuje wyjaśnienie, które podsuwa prostą radę. Według niego nadmierna precyzja bierze się z pomijania wszystkich sposobów, na jakie można się mylić, bo trudno pomyśleć o nich wszystkich naraz. Formaty pytań, które zmuszają do rozważenia innych możliwości, zmniejszają ją, ale żaden jej nie usuwa. Zadanie sobie pytania „jak mogę się tu mylić?” przed podaniem widełek wynika z tej teorii, ale przegląd z 2015 roku zaznacza, że skuteczność szukania argumentów przeciw własnemu zdaniu sprawdzano dotąd przy wyborze z dwóch odpowiedzi, a nie przy przedziałach.
Przełącz, żeby zobaczyć, ile przedziałów na 100 objęło prawdę w trzecim eksperymencie Harana i współpracowników, w którym 334 osoby podawały lata wyboru prezydentów Stanów Zjednoczonych.
Czy Twoi znajomi dobiorą widełki lepiej? Sprawdź, zanim przeczytają tę stronę.
O co spierają się badacze
Czy przedział nazwany „90 procent” ludzie traktują jak 90 procent? Według Teigena i Jørgensena raczej nie. Badacze pytali 237 studentów z Oslo o lata urodzenia i śmierci znanych postaci. Przedziały 90 procent i 50 procent miały podobną szerokość, średnio 99 i 85 lat, i trafiały prawie tak samo rzadko, w 23 przypadkach na 100. Gdy studenci sami podawali przedziały i oceniali, jak bardzo są ich pewni, mówili średnio o 42 na 100. Autorzy uważają, że przedział nazwany „90 procent” ludzie traktują raczej jak rozsądne widełki, w które wierzą mniej więcej w połowie. Piszą też, że to utrudnia ogólne wnioski o skali zjawiska, choć nie robi z niego wyłącznie artefaktu metody.
Klayman i współpracownicy pokazali, że przy wyborze jednej z dwóch odpowiedzi nadmierna pewność wynosi kilka punktów procentowych, a przy przedziałach około 45. Peter Juslin i współpracownicy tłumaczą to tym, że ludzie dobrze opisują przykłady, które mają w pamięci, ale traktują tę małą próbkę jak całość. Moore i współpracownicy odpowiadają, że to nie wyjaśnia, dlaczego zbyt wąskie widełki pojawiają się także wtedy, gdy faktów jest tak mało, że mieszczą się w pamięci roboczej. Sam Moore stawia na pomijanie sposobów, na jakie można się mylić, ale przyznaje, że jego badania nie obalają innych wyjaśnień.
Czy zdarza się odwrotny błąd, czyli zbyt szerokie widełki? Zdarza się rzadko. Według przeglądu z 2015 roku na przykład przy przedziałach 50 procent, które w jednym badaniu trafiały w 59 przypadkach na 100. U Teigena i Jørgensena gotowe, szerokie przedziały oceniano ostrożniej, niż trzeba. Moore wskazuje jeszcze rozkłady dla zdarzeń losowych, takich jak rzuty monetą. Osobną sprawą są różnice między kobietami a mężczyznami. Soll i Klayman opisali wyraźne różnice między nimi, a Moore pisze, że różnice płci we wszystkich odmianach nadmiernej pewności trudno powtórzyć.
Źródła i siła dowodów
Pierwsze badania opisali Alpert i Raiffa (1982). Zbyt wąskie przedziały wyszły potem między innymi u Klaymana i in. (1999), Solla i Klaymana (2004), Teigena i Jørgensena (2005), McKenziego i in. (2008) oraz Harana i in. (2010), a w danych z prawdziwych prognoz także w pracy Ben-Davida i in. (2013). Nie znamy metaanalizy ani wspólnie zaplanowanego powtórzenia w wielu laboratoriach. Siła efektu mocno zależy od formatu pytania (Klayman i in., 1999; Teigen i Jørgensen, 2005), a autorzy przeglądu (Moore i in., 2015) uważają przy tym nadmierną precyzję za najtrwalszą odmianę nadmiernej pewności.
Nie znamy badań obrazowania mózgu, badań osób z uszkodzeniem mózgu ani badań ze stymulacją, w których ludzie podawaliby przedziały liczbowe. Najbliżej jest badanie Shekhar i Rahneva (2018), w którym stymulacja prawej grzbietowo-bocznej kory przedczołowej obniżyła średnią pewność w zadaniu wzrokowym. Zbadano 21 osób, do analizy weszło 18, z aktywnym miejscem kontrolnym, bez stymulacji pozorowanej, a efekt był mały. Dłuższa stymulacja tej okolicy po obu stronach (Bor i in., 2017) nie zmieniła istotnie średniej pewności. Badanie pacjentów (Fleming i in., 2014) i metaanaliza (Vaccaro i Fleming, 2018) dotyczą pewności w innych zadaniach.
Dziesięć pytań o liczby związane z Polską, z prawdziwymi wartościami ze źródeł wymienionych wyżej. Przy każdym dolna i górna granica przedziału 90 na 100, jak w klasycznych badaniach (Klayman i in., 1999; McKenzie i in., 2008). Pola nie mają wartości startowej, bo taka wartość mogłaby podsuwać odpowiedź. Granica równa prawdziwej wartości liczy się jako trafienie. Po dziesięciu pytaniach pytanie o liczbę trafionych przedziałów, jak w badaniu z 2006 roku (Cesarini i in.) w opisie Moore'a i in. (2015). W pełnej wersji pięć kolejnych pytań, przy każdym najpierw zwykłe widełki, a potem 100 punktów do rozdzielenia między 8 albo 10 przedziałów równej szerokości. Przedział 90 na 100 z punktów strona liczy tak jak Haran i in. (2010). Zaczyna od przedziału z największą liczbą punktów, dokłada sąsiadów z większą liczbą punktów, aż zbierze się najwięcej, ale nie więcej niż 90, a brakującą część bierze proporcjonalnie z kolejnego sąsiada. Przedziały skrajne liczy jako tak samo szerokie jak pozostałe. U Harana i in. (2010) w trzecim eksperymencie połowa osób zaczynała od rozkładu, a tu wszyscy zaczynają od widełek. Liczba trafień przy dobrze dobranych przedziałach wynika z rozkładu dwumianowego dla 10 pytań i szansy 90 na 100. Wyniki z badań podane jako liczba trafień na 10 to średnie trafienia przedziałów 90 procent z Klaymana i in. (1999, eksperyment 3), McKenziego i in. (2008, eksperyment 1, średnia z pytań o odsetki i o liczby) oraz Teigena i Jørgensena (2005, eksperyment 3). Mnożnik szerokości przy wyniku to najmniejsze powiększenie przedziałów wokół ich środka, przy którym 9 z 10 objęłoby prawdę. Zadanie jest jednorazowe, bo kto zna efekt, poszerza widełki. Strona zapamiętuje w przeglądarce (localStorage) tylko liczbę podejść.
Powierzchnia kory pochodzi ze średniej grupowej HCP S1200 (Van Essen i in., 2013), a granice obszarów z atlasu HCP-MMP1 (Glasser i in., 2016). Jądra ogoniaste i jądro półleżące pochodzą z Melbourne Subcortex Atlas (Tian i in., 2020). Shekhar i Rahnev (2018): miejsce stymulacji w prawej grzbietowo-bocznej korze przedczołowej 28, 30, 38, obszary 46 i 8Ad; w przedniej części kory przedczołowej 28, 56, 26, obszar 9-46d. Praca nie nazywa wprost układu współrzędnych, opis oprogramowania wskazuje na MNI. Fleming i in. (2010): prawa przednia kora przedczołowa 24, 65, 18, obszary p10p, 10d i 9a, układ bez nazwy w tekście głównym. Fleming i in. (2014) nie podają szczytów. Vaccaro i Fleming (2018), poziom pewności, MNI: przyśrodkowa część kory czołowej 0, 20, 38, obszary a32pr, 8BM i a24pr; prawa przednia wyspa i zakręt czołowy dolny 44, 16, 0, obszary FOP4, MI i 44; brzuszno-przyśrodkowa kora przedczołowa −2, 44, −12, obszary 10r i 10v; prawy przedklinek 12, −66, 54, obszary 7Pm, 7PL i 7Am; prawe prążkowie brzuszne 10, 8, −2, jądro półleżące. Molenberghs i in. (2016), większa pewność, MNI: jądra ogoniaste 12, 12, −6 i −9, 12, −3.