3 z 10
Powtórzenia bez wyrównania wyników
Tyle prób powtórzenia badania z 1999 roku, liczonych tak jak oryginał, dało ten sam wynik (Stoet i Geary, 2012).
Heurystyki i błędy poznawcze · Efekty, które nie przetrwały
Nie obronił się
Ten sam trudny test można przedstawić jako sprawdzian zdolności albo jako badanie tego, jak ludzie rozwiązują problemy.
W 1995 roku Claude Steele i Joshua Aronson dali czarnym i białym studentom Uniwersytetu Stanforda bardzo trudny test słowny. Gdy przedstawiali go jako sprawdzian zdolności, czarni studenci rozwiązywali mniej zadań niż biali studenci z podobnymi wynikami egzaminu na studia. Gdy ten sam test był badaniem tego, jak ludzie rozwiązują problemy, ta różnica znikała. Autorzy nazwali to zagrożeniem stereotypem. Cztery lata później podobny wynik opisano u kobiet rozwiązujących zadania z matematyki, a efekt cytowano setki razy, opisywała go prasa, a w sprawie przed Sądem Najwyższym USA o uwzględnianie rasy przy przyjęciach na studia powołano się na te badania w opinii przyjaciela sądu. Zanim przeczytasz, co pokazały późniejsze badania, obstaw wyniki kilku z nich.
Cztery zakłady o wyniki badań. Odpowiedzi zostają w Twojej przeglądarce i nigdzie nie trafiają. Możesz też od razu czytać dalej, ale tekst niżej zdradza wynik.
W skrócie
To hipoteza, że obawa przed potwierdzeniem negatywnego stereotypu o własnej grupie, na przykład że kobiety słabiej radzą sobie z matematyką, obniża wynik testu w tej dziedzinie. W laboratorium badacze opisali setki takich eksperymentów, ale ich średni wynik jest zawyżony przez to, że badania bez efektu rzadziej trafiały do druku. W dużym eksperymencie w szkołach, z planem zarejestrowanym z góry, efektu nie było, a w badaniach prawdziwych egzaminów wyniósł praktycznie zero.
Tu kryje się opis efektu. Zdradza wynik zakładów, więc najpierw obstaw albo odkryj go od razu.
Zagrożenie stereotypem
Paulette Flore, Joris Mulder i Jelte Wicherts z Uniwersytetu w Tilburgu zaplanowali eksperyment, który miał dać wiarygodną odpowiedź dla holenderskich szkół. Plan, hipotezy i sposób analizy opisali i zarejestrowali, zanim zebrali dane. Od września 2016 do marca 2017 roku badali uczniów drugiej klasy szkół średnich, zwykle w wieku 13 lub 14 lat, z 86 klas w 21 szkołach. Do analizy weszły 2064 osoby, 1036 dziewcząt i 1028 chłopców.
Wszyscy rozwiązywali 20 zadań z matematyki z międzynarodowego badania TIMSS, przez 20 minut i bez kalkulatora. Przed testem czytali, że wyniki tego testu wiążą się z ocenami w szkole i ze zdaniem egzaminu końcowego. Połowa przeczytała dalej, że w ostatnim badaniu chłopcy i dziewczęta wypadli w nim różnie. Druga połowa, że wypadli tak samo. O tym, kto dostanie którą wersję, decydowało losowanie w obrębie każdej klasy, a osoba prowadząca badanie nie wiedziała, kto ma którą.
Uczennice, które przeczytały o różnicach, zdobyły średnio 9,10 punktu, a te, które przeczytały o braku różnic, 9,31. Różnica mieściła się w granicach przypadku. W rachunku, który porównuje, do której hipotezy dane pasują lepiej, brak efektu wypadł około 28 razy korzystniej niż przewidywany spadek u dziewcząt.
Czy efekt pojawił się przy którymś z czynników, które według teorii go wzmacniają? Nie pojawił się przy żadnym z czterech, czyli przy przywiązaniu do matematyki, przywiązaniu do własnej płci, lęku przed matematyką i trudności zadań. Chłopcy w obu grupach mieli wyższe wyniki niż dziewczęta.
Czy ten wynik dotyczy każdego ucznia i każdego przedmiotu? Autorzy ostrzegają, żeby nie rozciągać ich wyniku poza uczniów holenderskich szkół w wieku 13-14 lat i poza matematykę. Na udział zgodziła się mniejszość szkół, bo 83% zaproszonych odmówiło. Test nie był bardzo trudny, średnie grup wynosiły od 57% do 64% poprawnych odpowiedzi, co według autorów odpowiada realistycznej sytuacji testowej. Ich wniosek brzmi tak, że wpływu zagrożenia stereotypem na wyniki z matematyki nie należy nadmiernie uogólniać.
W 2021 roku Agnoli i współpracownicy z Uniwersytetu w Padwie powtórzyli często cytowane włoskie badanie zagrożenia stereotypem na znacznie większej grupie. Wzięło w nim udział 164 uczniów dziewiątej klasy, średnio w wieku 14 lat, i 164 uczniów jedenastej klasy, średnio w wieku 16 lat. Chłopcy wypadali w matematyce lepiej od dziewcząt, ale prawdopodobieństwo, że przypomnienie stereotypu obniżało wynik dziewcząt, autorzy opisali jako znikome. Uznali, że różnic płci w matematyce u włoskich nastolatków zagrożenie stereotypem może nie wyjaśniać.
Skoro w szkołach efektu nie widać, skąd wzięła się pewność, że istnieje?
Skąd się wziął
Czy trzeba wierzyć w stereotyp, żeby obniżył wynik? Steele i Aronson zakładali, że nie trzeba. Wystarczy wiedzieć, że ktoś może go zastosować do Ciebie, a test jest trudny i frustrujący. W pierwszym badaniu 114 czarnych i białych studentów Stanforda przez 30 minut rozwiązywało 30 trudnych zadań słownych, w większości z materiałów przygotowujących do egzaminu GRE. Jednej grupie mówiono, że test pozwoli poznać mocne i słabe strony ich zdolności językowych. Pozostałym, że badanie dotyczy psychologicznych czynników rozwiązywania problemów i nikt nie będzie oceniał ich zdolności.
Czy pierwsze badanie dało wyraźny wynik? Autorzy sami przyznali, że nie do końca. Czarni studenci w wersji „sprawdzającej zdolności” wypadli gorzej niż czarni studenci w pozostałych wersjach i gorzej niż biali w tej samej wersji, ale w analizie całego badania zależność była tylko na granicy istotności. Wyraźny wynik dało dopiero drugie badanie. Wzięło w nim udział 40 studentek, 20 czarnych i 20 białych, po 10 w każdej z czterech grup, a test skrócono do 27 zadań i 25 minut. Czarne studentki w wersji „sprawdzającej zdolności” rozwiązały poprawnie mniej więcej o połowę mniej zadań niż białe w tej samej wersji. W wersji „badawczej” obie grupy wypadły podobnie.
We wszystkich badaniach z 1995 roku wyniki porównywano po wyrównaniu ich o wynik egzaminu SAT, który podawali sami uczestnicy, w pierwszym badaniu przez telefon przed badaniem. W trzecim badaniu nikt nie rozwiązywał testu, a mierzono, jak bardzo sama instrukcja przywołuje stereotyp. W czwartym badaniu test był dla wszystkich „badawczy”, a różnica dotyczyła tylko ankiety przed testem. Połowa uczestników na końcu ankiety wpisywała swoją rasę. Czarni studenci, którzy ją wpisali, rozwiązali mniej zadań niż czarni studenci, którzy jej nie wpisywali. W tym badaniu w każdej z czterech grup było po 11 osób.
Czy studentki wypadały gorzej w każdym teście z matematyki? W 1999 roku Steven Spencer, Claude Steele i Diane Quinn przenieśli pomysł na kobiety i matematykę i wyszło im, że nie. Studentki z bardzo dobrym przygotowaniem matematycznym wypadały gorzej od studentów tylko w trudnym teście, a w łatwiejszym nie. W drugim badaniu, na 54 studentach University of Michigan, trudny test podzielono na dwie części i o jednej mówiono, że zwykle pokazuje różnice między kobietami a mężczyznami, a o drugiej, że nie pokazuje. Druga część okazała się tak trudna, że do analizy wzięto tylko pierwszą. Kobiety wypadły w niej gorzej od mężczyzn tylko wtedy, gdy słyszały o różnicach. Trzecie badanie, na 67 studentach w Buffalo, dało podobny wzorzec, gdy jedna grupa słyszała, że w teście nie ma różnic płci, a druga nie słyszała nic.
Na tych kilku badaniach powstało kilkaset kolejnych. Co pokazało ich zestawienie?
Powtórzenia
Gijsbert Stoet i David Geary zebrali w 2012 roku opublikowane próby powtórzenia badania z 1999 roku. Za powtórzenie uznawali tylko eksperymenty z kobietami i mężczyznami, z testem z matematyki i z losowym przydziałem do wersji instrukcji. Takich prac z dorosłymi znaleźli 20. Wynik oryginału powtórzył się w 11 z nich. W połowie prac wyniki wyrównywano jednak o wcześniejszy egzamin, czego oryginał z 1999 roku nie robił. Wśród 10 prac bez takiego wyrównania wynik powtórzył się w 3.
Paulette Flore i Jelte Wicherts zebrali w 2015 roku badania z dziewczętami poniżej 18 lat, łącznie 47 wyników od 3760 uczennic z sześciu krajów. Średni efekt był mały, ale istotny. Analizy statystyczne wskazały jednak, że w zbiorze brakuje badań z małymi i odwrotnymi wynikami, czyli takich, które zwykle nie trafiają do druku. Po uzupełnieniu tej luki efekt zmalał o około dwie trzecie i przestał być istotny. Autorzy napisali, że nie odważyliby się twierdzić, iż przypomnienie stereotypu w systematyczny sposób obniża wyniki dziewcząt z matematyki.
Oren Shewach, Paul Sackett i Sander Quint zebrali w 2019 roku 212 prób z udziałem dorosłych, największy taki zbiór. Wyłonili z niego 45 prób najbliższych warunkom prawdziwego egzaminu. Wyników nie wyrównywano o wcześniejszy egzamin, liczono je tak jak na egzaminie, przypomnienie stereotypu było subtelne, a grupę zagrożoną porównywano ze zwykłą grupą kontrolną, a nie z grupą, której mówiono, że różnic między grupami nie ma. W tych próbach efekt był mały, a po uwzględnieniu brakujących badań przestał być istotny.
Co wyszło na prawdziwych egzaminach? Cztery próby z prawdziwych egzaminów na uczelniach, decydujących o przydziale do kursów, z 1670 osobami, dały praktycznie zero. Tak samo wyszło w 9 badaniach, w których najlepszym obiecywano premię pieniężną.
Każdy punkt niżej mówi, w ilu przypadkach na 100, gdy porównasz losową osobę bez przypomnienia stereotypu z losową osobą z przypomnieniem, ta pierwsza ma wyższy wynik. 50 na 100 to brak efektu, jak przy rzucie monetą. Kreska pokazuje 95-procentowy przedział ufności.
| Zbiór badań | Na 100 |
|---|
Dlaczego zatem pierwsze badania dawały tak wyraźne wyniki?
Dlaczego wychodził
Jak wyrównywanie wyników mogło zawyżać liczony efekt? Zespół Shewacha pokazał, że w około 15% badań wielkość efektu liczono na wyrównanych wynikach, których rozrzut jest mniejszy. Ta sama różnica średnich wyglądała przez to na większą. Samo wyrównywanie o wcześniejszy egzamin miało sens jako sposób na zwiększenie czułości badania. W badaniach z takim wyrównaniem średni efekt wychodził o około dwie trzecie większy niż w pozostałych, choć ta różnica sama nie była istotna. Stoet i Geary zwrócili uwagę na drugi problem. Wyrównywanie o egzamin zakłada, że grupy nie różnią się wynikami tego egzaminu, a teoria zagrożenia stereotypem próbuje wyjaśnić właśnie tę różnicę.
Ustaw prawdziwy efekt i liczbę osób w każdej grupie, a potem przeprowadź 100 badań. Każda kropka to jedno badanie. Do druku trafiają tylko te, w których grupa z przypomnieniem wypadła istotnie gorzej, a reszta ląduje w szufladzie.
Gdy prawdziwego efektu nie ma, a w grupie jest 30 osób, do druku trafia zwykle około 5 badań na 100, ale każde z nich pokazuje wyraźny efekt. Przy 250 osobach w grupie i małym prawdziwym efekcie opublikowane badania mówią prawie prawdę.
Mózg
Zespół Anne Krendl z Dartmouth College przebadał w skanerze fMRI 28 praworęcznych studentek, dla których bycie dobrą z matematyki było ważne. Każda rozwiązywała w skanerze 50 trudnych działań, oceniając w ciągu 5 sekund, czy wynik jest prawdziwy. Potem połowa usłyszała, że badanie dotyczy postaw wobec matematyki, bo badania pokazały różnice płci w zdolnościach matematycznych, i wykonała test skojarzeń kobiet i mężczyzn z matematyką i sztuką. Druga połowa usłyszała, że chodzi o postawy polityczne. Na koniec wszystkie rozwiązały kolejne 50 działań.
Studentki z grupy kontrolnej poprawiły wynik, a w drugiej rundzie silniej angażowały obszary łączone z liczeniem i uczeniem się matematyki, czyli zakręt kątowy po obu stronach, lewą dolną korę ciemieniową i lewą dolną korę przedczołową. Studentki, którym przypomniano stereotyp, wyniku nie poprawiły, a ich lekki spadek mieścił się w granicach przypadku. U nich w drugiej rundzie silniej aktywowała się brzuszna część przedniego zakrętu obręczy, obszar łączony z przetwarzaniem informacji społecznych i emocjonalnych.
To badanie ma wyraźne ograniczenia. Grupy były małe, różnice w mózgu wykryto progiem bez korekty na wiele porównań, a skupiska aktywności były niewielkie. Nie było grupy mężczyzn, na co Stoet i Geary zwrócili uwagę przy tym badaniu i przy drugim badaniu fMRI z 2008 roku, zespołu Wragi, więc badanie nie mówi nic o różnicach płci w wynikach. Zadanie polegało na szybkim liczeniu pod presją czasu, a zespół Shewacha takich zadań do swojej metaanalizy nie włączał, bo zbierał testy bez silnej presji czasu. Sami autorzy zaznaczają, że nie wiedzą, jakie myśli towarzyszyły aktywności zakrętu obręczy.
W drugim badaniu z 1995 roku czarne studentki w wersji „sprawdzającej zdolności” ukończyły średnio 12,4 zadania, a białe w tej samej wersji 20,9. Na każde z pierwszych pięciu zadań poświęcały około 94 sekund, a pozostałe grupy około 71-73. Steele i Aronson uznali, że zagrożenie skłaniało do starania się, ale z mniejszą sprawnością. Pod względem lęku mierzonego kwestionariuszem grupy w tym badaniu się nie różniły. W dodatkowym badaniu, dołączonym do czwartego eksperymentu, czarni studenci po pytaniu o rasę deklarowali jednak wyższy lęk niż bez niego. W badaniu z 1999 roku zapewnienie, że test nie pokazuje różnic płci, obniżało lęk kobiet w stopniu na granicy istotności, a sami autorzy napisali, że nie znaleźli mocnych dowodów, by to lęk pośredniczył w spadku wyniku. Zespół Shewacha zwraca uwagę na inne możliwe wyjaśnienie. Gdy na wyniku nic nie zależy, osoby, którym przypomniano stereotyp, mogą po prostu wkładać w test mniej wysiłku.
Co zatem wolno powiedzieć o zagrożeniu stereotypem dzisiaj?
Co zostało
Mogłoby się intuicyjnie wydawać, że skoro tak wiele badań opisało ten efekt, musi on tłumaczyć część różnic w wynikach testów. Zestawienia badań pokazują coś skromniejszego. W laboratorium, w warunkach podobnych do egzaminu, przypomnienie stereotypu obniżało wynik nieznacznie, a po uwzględnieniu brakujących badań ten spadek przestawał być istotny. Analiza rozkładu istotnych wyników w badaniach z uczennicami wskazała, że za częścią z nich stoi prawdziwy efekt, a nie tylko statystyczne naciąganie. Zespół Shewacha, za Ryanem i Sackettem, pisze, że badania laboratoryjne odpowiadają na pytanie, czy coś takiego może się zdarzyć, a nie na pytanie, czy zdarza się w prawdziwych testach.
Ten wynik nie mówi, skąd biorą się różnice w wynikach testów między grupami. Mówi tylko, że zagrożenie stereotypem ich nie wyjaśnia albo wyjaśnia w niewielkim stopniu. Stoet i Geary ostrzegali, że skupienie się na tym jednym wyjaśnieniu może odwracać uwagę od innych czynników, na przykład od zainteresowań. Zespół Shewacha dodaje, że małe efekty, powtarzane u wielu osób i przez wiele lat, mogą mieć poważne skutki, a mały efekt, który znaleźli, może, choć nie musi, wystąpić u osób, których dotyczy stereotyp.
Tyle prób powtórzenia badania z 1999 roku, liczonych tak jak oryginał, dało ten sam wynik (Stoet i Geary, 2012).
Tak wypadł efekt w 4 próbach z prawdziwych egzaminów na uczelniach, decydujących o przydziale do kursów, z 1670 osobami (Shewach i in., 2019).
Tyle razy większy efekt dawały badania opublikowane niż te, które nie trafiły do czasopism (Shewach i in., 2019).
Czy Twoi znajomi obstawią lepiej? Sprawdź, zanim przeczytają tę stronę.
O co spierają się badacze
W 2017 roku Zigerell przeliczył dane metaanalizy Nguyen i Ryan z 2008 roku. Mniej dokładne badania dawały w niej większe efekty niż dokładniejsze. Cztery metody korekty na selekcję publikacji dały bardzo różne wyniki, od braku zmiany, przez spadek o połowę, po efekt bliski zeru. Zigerell przestrzegał zarówno przed cytowaniem tej metaanalizy jako dowodu znaczącego efektu, jak i przed ogłaszaniem, że efekt jest znikomy, bo za różnicą między małymi a dużymi badaniami mogą stać niezbadane okoliczności. Ryan i Nguyen odpowiedzieli, że nie widzą dowodów na selekcję publikacji tak silną, by uznać, że efektu nie ma, i wezwali do badania czynników, od których efekt zależy.
Spór dotyczy też wyrównywania wyników. Steele i Aronson bronili go w 1995 roku argumentem, że jeśli zagrożenie obniżało już wcześniej wyniki egzaminu SAT czarnych studentów, to wyrównanie o te wyniki raczej zmniejsza niż zwiększa różnicę w ich badaniu. Stoet i Geary uważają, że przy porównaniach kobiet i mężczyzn takie wyrównanie łamie założenia samej metody i lepiej oprzeć się na badaniach bez niego.
Jak autorzy holenderskiego eksperymentu tłumaczą brak efektu? Flore, Mulder i Wicherts wymienili kilka możliwych wyjaśnień. Mogą to być różnice między krajami, przypadkowy brak efektu w danych, zmiana pokoleniowa, po której dzisiejsi uczniowie są mniej wrażliwi na takie komunikaty, albo nieznane jeszcze czynniki. Zaznaczyli przy tym, że ich badanie ma wyraźnie większą moc niż wcześniejsze i że rozbieżności dawnych wyników, których nie tłumaczą czynniki przewidziane przez teorię, pasują do wzoru, jakiego można się spodziewać przy selekcji publikacji.
Zespół Shewacha uznał, że ciężar dowodu przechodzi teraz na tych, którzy twierdzą, że zagrożenie stereotypem silnie wpływa na wyniki egzaminów.
Źródła i siła dowodów
Ocena stoi na eksperymencie Flore, Mulder i Wichertsa (2018, 2064 uczniów, plan zarejestrowany z góry) i na metaanalizie Shewacha i in. (2019, 212 prób, w tym 4 z prawdziwych egzaminów). Potwierdzają ją metaanaliza badań z uczennicami (Flore i Wicherts, 2015) i przegląd powtórzeń Stoeta i Geary'ego (2012). Główne założenie efektu, że przypomnienie stereotypu obniża wyniki w prawdziwych testach, nie potwierdziło się. Badacze spierają się nadal o to, jak mały jest efekt w laboratorium i od czego zależy.
Ocena stoi na badaniu Krendl i in. (2008, 28 studentek, po 14 w grupie). Różnice w aktywności wykryto bez korekty na wiele porównań, w małych skupiskach, a spadek wyniku w grupie z przypomnieniem był w granicach przypadku. Badanie nie miało grupy mężczyzn i użyło zadania z szybkim liczeniem pod presją czasu.
Pierwszy zakład dotyczy badania 2 Steele'a i Aronsona (1995): 20 czarnych i 20 białych studentek, po 10 w każdej z czterech grup, test 27 zadań w 25 minut. Średnie wyniki w tej pracy podano na wykresie, po wyrównaniu o deklarowany wynik SAT; o różnicy około połowy świadczy odczyt z wykresu, w tekście stoi liczba ukończonych zadań, 12,38 i 20,93. Drugi dotyczy Stoeta i Geary'ego (2012), tabela 1: z 20 prac z dorosłymi wynik oryginału powtórzyło 11, a wśród 10 prac bez wyrównania wyników 3. Trzeci dotyczy Flore i in. (2018), tabele 3 i 4: 9,10 (n = 510) i 9,31 (n = 526) punktu po poprawce na zgadywanie, d = 0,05 (95% CI od -0,07 do 0,18), czynnik Bayesa 28,2 na korzyść braku efektu wobec hipotezy spadku u dziewcząt. Czwarty dotyczy Shewacha i in. (2019), tabela 2: d = 0,01 (95% CI od -0,17 do 0,19) w 4 próbach z egzaminów, N = 1670, wobec d = 0,36 w 177 próbach laboratoryjnych. Na wykresie znak wielkości efektu odwrócono, tak by wartość dodatnia oznaczała gorszy wynik po przypomnieniu stereotypu. Liczby „na 100” mówią, jak często losowa osoba bez przypomnienia stereotypu ma wyższy wynik niż losowa osoba z przypomnieniem; przy rozkładach normalnych wynika to z wielkości efektu d według wzoru 100 × Φ(d/√2) (McGraw i Wong, 1992). Dla Stoeta i Geary'ego użyto średnich -0,61 i -0,17 z błędem standardowym 0,11 i 0,10 (przedział ±1,96 błędu), dla Flore i Wichertsa (2015) g = -0,22 (od -0,34 do -0,10) i po uzupełnieniu brakujących badań metodą trim-and-fill g = -0,07 (od -0,21 do 0,06), dla Shewacha i in. d = -0,31 (od -0,38 do -0,24) dla 181 prób bez błędnie liczonego wyrównania i d = -0,14 (od -0,26 do -0,03) dla 45 prób w warunkach podobnych do egzaminu, po uzupełnieniu -0,09 (od -0,21 do 0,03). Wyniki Agnoli i in. (2021) podano bez liczb, bo autorzy opisali je w modelach statystycznych jako prawdopodobieństwo efektu, a nie jedną wielkością efektu. Symulacja szuflady losuje wynik każdego badania z rozkładu normalnego wokół prawdziwego efektu, z błędem √(2/n), i uznaje za opublikowane badania z jednostronnym p < 0,05.