Gdy standard pęka. Kryzys sondaży i możliwe rozwiązania

Złoty standard badań społecznych wyczerpał się. Czy to koniec wiarygodnych badań opinii? A może początek ich nowego rozdziału?

Sondaże to jedno z najważniejszych narzędzi pozwalających zrozumieć, co dzieje się w społeczeństwie – ważne są dziś, a w przyszłości mogą być jeszcze ważniejsze. 

O pożytkach z sondaży

Dane z sondaży naukowych są przede wszystkim używane przez szerokie grono naukowców. Przykładowo dane z projektów takich jak Europejski Sondaż Społeczny (ESS) wykorzystuje się w wielu dziedzinach nauki: socjologii, naukach politycznych, ekonomii, zdrowiu publicznym i medycynie, psychologii, medioznawstwie, demografii czy kryminologii. Dzięki nim można testować hipotezy, porównywać postawy między krajami i śledzić zmiany w czasie, a także sprawdzać, jak zjawiska społeczne współwystępują z innymi. Sondaże są też lustrem dla obywateli: pozwalają wyjść poza „bańkę informacyjną” i zobaczyć, które postawy są dominujące, a które marginalne. Pomagają obalać mity. Powszechne jest np. przekonanie, że młodzi bardziej martwią się zmianami klimatu, a starszym „już na tym nie zależy”. Współczesne badania pokazują obraz bardziej złożony: osoby starsze deklarują troskę o klimat w porównywalnym stopniu jak młodsi. Teza o jednoznacznie większym zaangażowaniu młodych nie ma mocnego potwierdzenia w danych. Sondaże porządkują więc debatę publiczną, korygując intuicje i stereotypy. W podobny sposób badania opinii otwierają oczy w sporach politycznych. Przykładowo dane ESS wskazują, że wyborcy partii uznawanych za populistyczne wskazują na silne przywiązanie do zasad demokracji, choć rozumieją demokrację w inny sposób niż wyborcy innych partii. Właśnie dlatego warto sięgać po liczby z danych sondażowych: pokazują one świat, którego na co dzień nie widzimy.
Wiedza płynąca z sondaży powinna też mieć znaczenie dla decydentów. Sondaże nie powinny skłaniać do bezrefleksyjnego podążania za najpopularniejszą opinią. Mogą za to wspierać projektowanie i wdrażanie rozwiązań: wskazywać, jak proponowane polityki są odbierane, czego ludzie się obawiają, które elementy budzą opór, a które są akceptowalne. Dobrze użyte stają się narzędziem responsywności władz – pomagają zrozumieć, jak komunikować cele i modyfikować szczegóły. Niekiedy ujawniają też, że część pomysłów – choć teoretycznie uzasadnionych – nie ma społecznej akceptacji i wymaga albo wyjaśnienia, albo zmiany.
Kolejne sfera, w której ważne są sondaże, to współczesne wyzwania. Żeby stawić im czoła, nie wystarczy sama wiedza techniczna. W obszarach takich jak np. łagodzenie skutków zmian klimatu są potrzebne zarówno ustalenia nauk o Ziemi i nauk ścisłych – skala zagrożeń, możliwe ścieżki redukcji, ocena kosztów i korzyści – jak i rozpoznanie społeczne: czy ludzie ufają nauce, jak rozumieją ryzyko, czy są gotowi na wyrzeczenia i jakie warunki sprzyjają zmianie zachowań. Bez tego najlepsze rozwiązania techniczne pozostaną niewdrożone. Z tej perspektywy nauki społeczne – w szczególności sondaże – odgrywają rolę komplementarną wobec nauk ścisłych: dostarczają wiedzy o postawach, barierach i motywacjach, bez której skuteczne wdrażanie rozwiązań jest niemożliwe.
Z tych wszystkich powodów wymienionych powyżej jakość badań sondażowych ma kluczowe znaczenie. Sondaże powinny być prowadzone z największą starannością: na rzetelnie dobranych próbach, z dobrze przetestowanymi pytaniami i przejrzystą metodologią. Tylko wtedy są wiarygodnym źródłem wiedzy dla nauki, społeczeństwa i polityki. Tu jednak pojawia się wyzwanie, z którym mierzą się dziś badacze.

Ideał a rzeczywistość?

Zastanówmy się przez chwilę, jakby wyglądałby ideał badań sondażowych. Zacznijmy od operatu próby, czyli kompletnego rejestru wszystkich osób należących do populacji. Z takiego rejestru losujemy – z góry znanym prawdopodobieństwem – osoby, które wezmą udział w badaniu. Następnie kontaktujemy się z wszystkimi wylosowanymi, prowadzimy wywiady albo prosimy o samodzielne wypełnienie ankiety, po czym analizujemy dane. Dzięki temu wyznaczamy rozkłady odpowiedzi i średnie badanych cech. Ponieważ pracujemy na próbie reprezentatywnej, to nie obserwujemy całej populacji, ale znamy mechanizm losowania. Pozwala on oszacować odsetki i średnie w populacji, wskazać przedziały, w których najpewniej leżą prawdziwe wartości, i określić prawdopodobieństwo błędu.
Tego typu wnioskowanie opiera się na dwóch mocnych założeniach: że potrafimy dobrać próbę rzeczywiście losowo – mamy kompletny rejestr populacji, znamy indywidualne prawdopodobieństwa wylosowania i zgodnie z nimi przeprowadzamy losowanie – oraz że przeprowadziliśmy badanie z wszystkimi wylosowanymi. W praktyce te założenia często nie są spełnione. Klasyczny model, świetnie realizowany w ESS, zakłada losowy dobór próby z operatu (w Polsce rejestr PESEL) i systematyczne próby kontaktu z wszystkimi wylosowanymi. Problem w tym, że część osób okazuje się niedostępna. Jeszcze 30–40 lat temu, gdy udawało się zrealizować 70–80 proc. próby, mówiono o trudnościach, ale traktowano je jako akceptowalne. Dziś sytuacja jest gorsza. Nawet przy największej staranności obecnie za sukces uchodzi około 50 proc. ukończonych wywiadów, a jako akceptowalne uznaje się 30–40 proc. A to oznacza, że z większością wylosowanych osób w ogóle nie rozmawiamy ani nie wiemy, czym różnią się od tych, które w badaniu wzięły udział. Problem pogłębia się z powodu zmian na rynku pracy ankieterskiej: coraz mniej osób chce pracować w terenie, sieci ankieterskie opierają się na starszych, świetnie wyszkolonych osobach, ale których jest coraz mniej. Zmienił się też nasz tryb życia – trudniej zastać ludzi w domu i umówić wywiad. Maleje też poczucie sensu udziału – wiele osób kojarzy ankiety z szybkim marketingiem, a nie z rzetelną nauką.
Na tym tle inaczej funkcjonuje sektor komercyjny. Najpierw szturmem zdobyły rynek wywiady telefoniczne, dziś dominują badania internetowe. Ich przewaga jest oczywista: są tańsze. Nie trzeba wysyłać ankieterów w teren, organizować dojazdów i wynagrodzeń. Wystarczy przygotować kwestionariusz, rozesłać zaproszenia i poczekać, aż respondenci wypełnią ankietę samodzielnie. Wraz z oszczędnością pojawia się jednak kłopot metodologiczny: większość takich badań nie opiera się na próbach losowanych z rejestru. Typowy mechanizm to samorekrutacja do panelu – ludzie zgłaszają się sami, tworzy się baza ochotników, z której rekrutuje się uczestników. W efekcie nie znamy populacji, z której pochodzą respondenci, nie znamy prawdopodobieństw znalezienia się w próbie, nie potrafimy rzetelnie oszacować błędów i powiedzieć, kogo w ogóle opisują takie badania. Nie znaczy to, że takie badania są bezużyteczne – w zadaniach biznesowych potrafią być pomocne – lecz trudno je traktować jako solidną podstawę do wnioskowania o stanie całego społeczeństwa.
Przez lata wierzono w „złoty standard”, do którego można było się zbliżać. Sondaże miały wysokie wskaźniki realizacji próby, a pracowały przy nich silne sieci dobrze wyszkolonych ankieterów. Wszystko to było wspomagane szeroką literaturą metodologiczną opisującą źródła błędów i sposoby ich ograniczania. Europejski Sondaż Społeczny był emanacją tej wiedzy. Z przykrością trzeba stwierdzić, że ten paradygmat się wyczerpał. Dramatycznie spadły odsetki zrealizowanej próby, a do tego doszły wysokie koszty klasycznych badań sondażowych. Często brakuje też instytucji zdolnych prowadzić wywiady face to face zgodnie z wyśrubowanymi standardami: w wielu krajach jest zaledwie jedna taka firma. Drastyczny przykład pochodzi z Czech w 2023 roku: w trakcie 11. rundy ESS nie udało tam się zrealizować badania face to face, bo żadna instytucja – publiczna ani prywatna – nie podjęła się realizacji projektu na wymaganym poziomie. Robienie „po staremu” staje się więc coraz droższe i coraz gorszej jakości. Jesteśmy więc w sytuacji kryzysu pewnego paradygmatu i musimy wymyślić się na nowo.

Co teraz?

Jednym z rozwiązań, w którego kierunku podąża ESS, jest rezygnacja z pracy ankieterów w głównej fazie na rzecz ankiet samodzielnie wypełnianych przy zachowaniu losowego doboru próby z pełnego rejestru mieszkańców. W Polsce oznacza to losowanie z rejestru PESEL i wysyłkę listownych zaproszeń. Osoby wylosowane mogą wybrać sposób udziału: wypełnić ankietę papierową i odesłać ją w kopercie zwrotnej albo wypełnić ją przez internet. Dzięki temu główna faza jest tańsza, a jednocześnie zachowuje fundament reprezentatywności, bo to wciąż próba z operatu populacji, a nie samorekrutacja.
Doświadczenia z Polski są tu ważne. W 2022 roku zrealizowano ESS techniką samodzielnie wypełnianych ankiet i uzyskano 39 proc. zrealizowanej próby. Dwa lata później, w badaniu face to face, wskaźnik wyniósł 41 proc. Różnica jakości nie jest duża, ale różnica kosztów – znacząca. Zmienia się też struktura osób biorących udział w badaniu: wywiady bezpośrednie częściej nadreprezentują starszych mieszkańców wsi, z kolei tryb ankiet samodzielnie wypełnianych przyciąga relatywnie więcej osób młodszych, pracujących i lepiej wykształconych.
Dużym eksperymentem będzie 12. runda ESS, w której we wszystkich krajach europejskich biorących udział w badaniu próba została podzielona na dwie równe części: jedna realizowana w trybie ankiet samodzielnie wypełnianych, druga w trybie face to face. Pozwoli to porównać skrzywienia doboru w obu technikach – które grupy są nad- lub niedoreprezentowane – oraz sprawdzić, jaki obraz społeczeństwa otrzymujemy każdym z tych sposobów. Proponowane przejście na ankiety samodzielnie wypełniane to próba wyjścia z kryzysu. Nie wiadomo jeszcze, czy okaże się skuteczna – sprawdzamy to na żywym organizmie społeczeństwa – ale próbować trzeba. Nawet jeśli kierunek się potwierdzi, pozostanie wiele otwartych pytań: wciąż słabo są rozpoznane procesy zachodzące, gdy respondent wypełnia kwestionariusz samodzielnie – na papierze, komputerze czy smartfonie. Trzeba ustalić, jak na odpowiedzi wpływają cechy interfejsu i sam fakt braku ankietera, jak ludzie przetwarzają długie pytania, co z osobami rzadko czytającymi czy funkcjonalnie niepiśmiennymi. To tworzy nową agendę teoretyczną i metodologiczną.
Nie oznacza to końca wywiadów face to face. Prawdopodobnie pozostaną potrzebne, zwłaszcza w badaniach osób starszych czy tam, gdzie kontakt bezpośredni jest niezbędny. Ich rola będzie jednak malała, a ciężar zbierania danych przesunie się w stronę metod tańszych i bardziej elastycznych. Równocześnie rodzi się pytanie, na ile potrzebujemy klasycznych danych sondażowych w świecie zalewanym informacjami behawioralnymi. Odpowiedź wymaga dalszego rozwinięcia.

A może koniec sondaży?

Zatrzymajmy się nad tym pytaniem: czy dane behawioralne mogą rozwiązać opisywany wyżej kryzys? Rejestry naszej aktywności – ślady ruchu po mieście, historia zakupów, polubienia i komentarze w sieci, dane z telefonów, komputerów i kart płatniczych – mówią o nas wiele. Na podstawie wzorów zachowań w mediach społecznościowych da się prognozować, na którą partię ktoś zagłosuje albo czy w ogóle stawi się w lokalu wyborczym. Ale to wciąż nie jest pełna odpowiedź. Zarówno badaczy społecznych, jak i decydentów politycznych interesuje nie tylko to, co ludzie robią, lecz także to – dlaczego coś robią: jakie mają motywacje i wartości, jak rozumują, co uruchamia decyzje. Same obserwacje zachowań tego nie odsłaniają. Potrzebujemy danych sondażowych, które pozwalają „zajrzeć do czarnej skrzynki” – do ludzkich sposobów myślenia i interpretacji świata. Ślady cyfrowe zostawia tylko część ludzi – zwykle bardziej aktywna i lepiej „widoczna” – co nie jest przekrojem całego społeczeństwa. Badania na losowych, reprezentatywnych próbach pozwalają odtworzyć rozkład postaw i motywacji wśród ogółu. Dane z zachowań powstają „po fakcie”, a w sondażu badacz konstruuje pytania i kieruje je do respondenta w sprawach, które chce zrozumieć. Dzięki temu można testować hipotezy, o które w danych behawioralnych nie da się „zapytać”.
Nie znaczy to, że danych behawioralnych nie warto używać. Mają zalety: często są mniej kosztowne, mniej podatne na błędy pamięci i odnoszą się do realnie zaobserwowanych działań. Ale nie mówią wszystkiego. Same nie wystarczą, by w pełni opisać to, co dzieje się z ludźmi – i dlaczego. Najmocniejszą strategią jest łączenie obu podejść: twardych obserwacji zachowań tam, gdzie są dostępne, oraz sondaży tam, gdzie trzeba dotrzeć do motywacji i znaczeń, których w logowaniach się i paragonach nie widać.

Bierzmy udział w sondażach!

Podsumowując: naprawdę potrzebujemy danych sondażowych. To one pozwalają opisać, jakie jest społeczeństwo i jak się zmienia; które poglądy dominują, a które pozostają na marginesie, jakie normy i wartości są ważne, co skłania ludzi do określonych działań, czego się boją, co ich cieszy. Problem w tym, że dotychczasowy model badań wyczerpał się z powodów praktycznych. Trzeba wymyślać sondaże na nowo: testować techniki, łączyć podejścia, korygować skrzywienia i łączyć źródła danych, by uzyskać rzetelny obraz całości. Jest jednak warunek: współpraca osób badanych. Wiarygodne wyniki wymagają udziału tych, którzy zostali wylosowani do próby – także nieinteresujących się polityką czy życiem publicznym. Tylko wtedy głos wszystkich będzie widoczny, a dane posłużą do dobrego opisu rzeczywistości i do podejmowania właściwych decyzji dotyczących nas wszystkich. Dlatego pozwolę sobie zakończyć apelem: bierzmy udział w badaniach sondażowych, zwłaszcza tych naukowych! Od naszej gotowości do rozmowy zależy jakość wiedzy o społeczeństwie. 

Chcesz wiedzieć więcej?

• Więcej informacji na temat planowanego w ramach Europejskiego Sondażu Społecznego przejścia z wywiadów ankieterskich na ankiety samodzielnie wypełniane można znaleźć pod poniższym linkiem (materiał w języku angielskim): https://europeansocialsurvey.org/methodology/methodology/data-collection-sc
• Strony internetowe projektu ESS: ess.ifispan.pl, europeansocialsurvey.org

• Nauki humanistyczne i społeczne