Dolazi li kraj empirijskih istraživanja u društvenim znanostima?

Budući da je kraj znanosti već odavno najavljen, vrijeme je zapitati se dolazi li i kraj empirijskih istraživanja u društvenim znanostima. Iako ovo pitanje u svjetlu sve većeg broja akademskih i primijenjenih empirijskih društvenih istraživanja može djelovati paradoksalno, smatramo ga važnim postaviti. Naime, naglašavajući „kraj“ ne mislimo na brojnost istraživanja, već na njihove ishode. Drugim riječima, nije se naodmet zapitati je li nastupio kraj empirijskih društvenih istraživanja, prvenstveno anketnih, a koja rezultiraju valjanim spoznajama o društvenim pojavama koje se njima istražuju?

Svepristuna anketomanija

Danas je lakše nego ikada realizirati anketno istraživanje. Bez imalo problema može ga provesti svaka institucija, organizacija, poduzeće, medij, udruga građana, skupina pojedinaca ili zainteresiran i informatički pismen pojedinac. Dovoljno je preuzeti besplatnu verziju nekog, na internetu dostupnog alata za izradu upitnika, ili nadoplatiti stotinjak eura za njegovu složeniju inačicu te sastaviti anketni obrazac. Pri tom za taj posao ne treba biti educiran. Ne trebate poznavati tehnike skaliranja, verbalizacije pitanja i sve drugo što se uči iz metodologije društvenih znanosti, a što je do nedavno bilo condicio sine qua non za pripremu i realizaciju anketnih istraživanja. Jednostavno iz menija ponuđenih formi pitanja birate one koje želite i kao od lego kockica sastavljate upitnik. Nakon toga lako je od nekog dobavljača uzoraka u Hrvatskoj ili svijetu kupiti određeni online uzorak, npr. 300, 400, 1000 ili n ispitanika (e-mail adresa) kojima se zatim elektroničkom poštom pošalje poveznica na upitnik. Normalno, kupovina uzorka može se izbjeći ukoliko onaj tko radi istraživanje posjeduje bazu podataka ili ukoliko sudionike istraživanja regrutira nekom inačicom tzv. „river sampling“ metode – primjerice pozivom na sudjelovanje u istraživanju posredstvom društvenih mreža što je danas učestala praksa.

Smrt slučajnog uzorka

Na ovaj način provode se brojna primijenjena društvena istraživanja poslovnog, aktivističkog ili žurnalističkog karaktera, ali i znanstvena istraživanja čiji se rezultati, uglavnom s minimalnim ogradama, zatim objavljuju u znanstvenim časopisima. Zapravo, ovakva znanstvena istraživanja u društvenim znanostima sve su brojnija. Pri tome njihov ključni problem nije konfekcijska priprema istraživanja, već realizacija: ona se u daleko najvećem broju provode na neprobabilističkim, uglavnom na prigodnim uzorcima.

Spomenik Augustu Comteu ispred Sorbonne. Smatrao je da principe spoznavanja prirodnih znanosti trebaju preuzeti i znanosti o društvu

Podsjetimo se, slučajni ili probabilistički uzorci oni su uzorci u kojima svaka jedinica populacije ima unaprijed poznatu vjerovatnost izbora u uzorak. Ispravno odrađena slučajnost izbora većeg broja populacijskih jedinica rezultira i reprezentativnošću uzorka, a takvi uzorci omogućuju i valjanu procjenu populacijskih parametara, izračun pogreške procjene te su jedan od uvjeta provođenje tzv. parametrijskih statističkih procedura. Dakle, kao što smo spomenuli, najveći broj internetskih istraživanja trenutno se provodi na neslučajnim uzorcima koji ne podrazumijevaju jednaku vjerojatnost izbora populacijskih jedinica u uzorak. U pravilu to su uzroci generirani nekom vrstom poziva za sudjelovanje u istraživanju ili izlučeni iz tzv. opt-in panela. Riječ je o panelima koje čine osobe koje su se same prijavile da žele sudjelovati u istraživanjima kako bi ostvarile pravo na neku nagradu, npr. honorar.

Prema tome, uslijed mogućnosti korištenja brojnih alata za izradu upitnika te mogućnosti da se posredstvom interneta anketa lako dostavi ispitanicima, provođenje anketnih istraživanja danas je jednostavnije i puno jeftinije nego ikada u prošlosti. Upravo zbog toga zadnjih godina svjedočimo pravoj eksploziji internetskih anketnih istraživanja. S druge strane, zbog toga što se uglavnom provode na neprobabilističkim uzorcima, internetska istraživanja prilično su izložena problemu koji proizlazi iz neadekvatne reprezentativnosti i/ili generabilnosti uzorka. Posljedično tome, i više je nego relevantno zapitati se u kojoj mjeri su rezultati takvih istraživanja valjani,  kakav je njihov spoznajni doseg?

Ovaj problem aktualan je i u slučaju offline metoda istraživanja. Primjerice, ne zaobilazi ni terenska istraživanja licem u lice u kućanstvima sudionika istraživanja, a koja su donedavno bila standard za ankete s velikim brojem čestica. I u ovom slučaju istraživači su gotovo prisiljeni provoditi istraživanja na neprobabilističkim uzrocima. To je posljedica činjenice što se tijekom zadnjih desetljeća drastično smanjio broj građana koji pristaju sudjelovati u istraživanjima što rezultira time da je u terenskim istraživanjima gotovo nemoguće ostvariti slučajnost izbora sudionika istraživanja. Tehnike koje su se donedavno koristile za slučajnost odabira sudionika istraživanja u terenskim istraživanjima, a koje podrazumijevaju slučajni izbor primarnih i sekundarnih jedinica uzorka pa zatim neku verziju tzv. slučajnog hoda i neku metodu slučajnog odabira sudionika istraživanja u kućanstvu, s povratom ukoliko slučajno odabrani član kućanstva nije dostupan, danas je vrlo teško primijeniti u praksi. Njihova primjena iziskuje velika financijska sredstva i iznimne organizacijske napore.

Smislenost interpretacije p vrijednosti

Dakle, situacija je prilično jasna. Empirijska istraživanja u društvenim znanostima sve češće se provode na neprobabilističkim uzorcima, a tipični istraživački ciljevi u brojnim slučajevima i dalje uključuju procjene populacijskih parametara kao i testiranje statističke značajnosti. Jednostavno, iako analiziraju podatke prikupljene na neslučajnim uzorcima istraživači i dalje nastavljaju po starom! Ovlaš surfanje po repozitoriju znanstvenih časopisa Hrčak to potvrđuje. Kao primjer uzmimo p vrijednost – društveni znanstvenici, pa tako i autor ovog članka, i dalje interpretiraju famoznu p vrijednost bez obzira što su podaci kojima barataju prikupljeni na uzorcima koji ne uključuju slučajnost izbora.

Kako p vrijednost u suštini ukazuje na vjerojatnost pogreške u zaključivanju prilikom provođenja statističkih testova, a koja proizlazi iz same slučajnosti izbora, problem s istraživanjima provedenim na prigodnim uzorcima mogao bi se slikovito predočiti pitanjem ima li uopće smisla uzimati u obzir p vrijednost ukoliko izbor jedinca uzorka (sudionika anketnih istraživanja) nije slučajan?

Mirta Galešić profesorica psihologije sa Santa Fe instituta iz SAD-a kaže da nema, iako se redovito interpretiraju, posebice u psihologiji gdje se to radi čak i na studentskim uzorcima. Slično misli i profesor Aleksandar Štulhofer s Filozofskog fakulteta u Zagrebu te dodaje da se taj problem odnosi i na primjenu parametrijskih statističkih procedura koje se i dalje učestalo koriste u analizi rezultata istraživanja prikupljenih i na prigodnim uzorcima. Takvu situaciju profesorica Ksenija Klasnić s istog fakulteta objašnjava činjenicom familijariziranost većine istraživača upravo s parametrijskom statistikom što sigurno objašnjava dio razloga zbog kojih one  prevladavaju u znanstvenim člancima. Navodi kako je to posljedica svojevrsnog tradicionalnog pristupa samih istraživača, ali i recenzenata i časopisa.

Do pojave računalno podržanog anketiranja (tzv. CAPI) metoda “papir i olovka” bila je jedini način provođenja anketa “licem u lice”

Nastupa li post-p vrijeme?

Na tragu mnogih pitanja svojstvenih društvenim i humanističkim znanostima o sudbini vremena „poslije“, i sociologija.hr postavila je svojim sugovornicima pitanje o tome dolazi li novo doba empirijskih istraživanja? Za potrebe ovog članka nazvati ćemo ga post-p vrijeme? Nastupa li post-p vrijeme, vrijeme u kojem su društveni znanstvenici osuđeni na prigodne uzorke? Jesmo li ušli u epohu u kojoj će svrha znanstvenog rada biti objavljivanje članaka temeljenih na podacima koji ne posjeduju ikakav potencijal generalizacije, no koji će s druge strane biti sasvim prikladni za rutinizirano znanstveno djelovanje, tj. za znanstveni business as usual.

Na sreću, izgleda da se i ovaj, za potrebe ovog članka ad-hoc smišljen postistički koncept kao i većina drugih koji su u zadnjih pola stoljeća najavljivali različite završetke neće ostvariti. Iako se metodolozi i praktikanti empirijskih istraživanja trenutno hrvu s problemima koje smo naznačili, očito se na obzoru sve jasnije pojavljuju neka nova rješenja. Izgleda da će p vrijednost ipak preživjeti!

Nova rješenja

Profesor Štulhofer budućnost vidi u kombinaciji istraživanja koja će se realizirati na većim neprobabilističkim online uzorcima te istraživanja usko specificiranih tema koja će se provoditi na online uzorcima koji će se zasnivati na nekom mehanizmu slučajnosti izbora. Istraživanja na većim neslučajnim uzorcima fokusirat će se testiranje veza koje su u pozadini pojava koje se istražuju. Drži da u slučaju takvih istraživačkih zadataka neprobabilistički uzorci mogu biti korisni. S druge strane mišljenja je kako je u slučaju deskriptivnih tema, npr. onih koje uključuju procjenu populacijskih parametara, potrebno koristiti kratke upitnike te istraživanja provoditi na kvalitetnijim online uzorcima u čijem će slučaju sama procedura uzorkovanja biti što je moguće sličnija proceduri uzorkovanja klasičnih slučajnih uzoraka. Naglašava da je u procesu obrade podataka koji se prikupljaju na takvim uzorcima poželjno koristiti tzv. bootstrapped izračune. Riječ je o proceduri koja multipliciranjem originalnog uzorka rezultira distribucijom parametra koji zanima istraživače (ili vise njih, primjerice regresijski koeficijent, p vrijednost…). Ova procedura bliska je bejzijanskoj statistici jer se multiplikacija originalnog uzorka može interpretirati i kao skup ponovljenih mjerenja iz kojih se dobiva posteriorna distribucija statističkog parametra. Ponovljena mjerenja i posteriorna distribucija omogućuju sve veću preciznost procjena jer se temelje na ukupnosti postojećih mjerenja.  

Profesor Dragan Bagić s Filozofskog fakulteta u Zagrebu misli da je prerano u potpunosti otpisati mogućnost valjane procjene populacijskih parametara posredstvom anketnih istraživanja. Smatra da nakon „smrti probabilističkih uzoraka“ nastupa era koncepta „reprezentativnog uzorka“. Drugim riječima, određena pouzdanost te mogućnost procjene populacijskih parametara nastojat će se osigurati brigom o strukturi realiziranog uzorka u odnosu na strukturu populacije, bez obzira na to što je uzorak (više ili manje) prigodan. Stoga drži da će kvotni uzorci postati novi zlatni standard. Da oni relativno dobro funkcioniraju, prema profesoru Bagiću pokazuju predizborna istraživanja koja su i dalje prilično precizna i pouzdana, bez obzira na uobičajenu poviku na njih (smatra da se pred predizborna istraživanja postavljaju potpuno nerealni i nepotrebni standardi očekivane preciznosti). Naravno, poteškoća se krije u tome što se reprezentativnost uzorka može osigurati samo prema manjem broju bitnih obilježja, a za koja se zna i struktura ciljne populacije. No, kako danas postoji sve više podataka o ljudima, njihovom ponašanju i karakteristikama, širi se i broj obilježaja prema kojima je moguće kontrolirati strukturu uzorka. Koncept reprezentativnosti u osnovi se nalazi u pozadini različitih pristupa koji se temelje na post stratifikaciji uzorka odnosno modeliranju rezultata. Iako se koristi različita terminologija, različiti pristupi modeliranju rezultata implicitno se vode konceptom reprezentativnosti, objašnjava profesor Bagić.

Što se tiče internetskih istraživanja, Bagić napominje da je u njihovom slučaju potrebno pronaći nova rješenja u postupku randomizacije uzorka. Prema njegovim riječima postojeći opt-in paneli, iako su relativno dobro strukturirani prema spolu i dobi pa čak i prema obrazovanju, mogu biti pristrani prema po nizu drugih obilježja (stavovi, životni stilovi, struktura slobodnog vremena itd.) te stoga predstavljaju loš okvir i za istraživanje na kvotnom uzorku. No, ovaj problem prema Bagićevim riječima u Hrvatskoj kao maloj zemlji nije baš lako riješiti. Lakše ga je riješiti u većim zemljama. Npr., u SAD-u postoji veliki broj komercijalnih i nekomercijalnih panela koji su regrutirani na različite načine te je moguće raditi „blanded“ uzorke za pojedino istraživanje, uzorke koji se baziraju na kombiniranju većeg broja panel uzoraka. Time se smanjuje utjecaj specifične regrutacijske selekcioniranosti svakog od pojedinih panel uzoraka.

Na tom tragu je i rješenje kojeg predlaže profesorica Galešić. Ona smatra da su online paneli budućnost anketnih istraživanja, ali ne već spomenuti ‘river sampled’ opt-in paneli, nego oni koji su regrutirani nekom kombinacijom probabilističkog uzorkovanja, a što bi onda omogućilo i izračun estimatora pogreške. Primjerice, profesorica Galešić navodi RDD metodu (tzv, random digit dialing, tj. slučajno generiranje telefonskih brojeva) ili address based sampling metodu (slučajni izbor adresa) kao metode slučajnog odabira sudionika u panel. Kao primjere panela generiranih nekom metodom slučajnog izbora izdvaja sljedeće panele u SAD, Njemačkoj i Nizozemskoj:

Profesorica Galešić napominja da bi se u svakoj zemlji trebal naći podrška za konstrukciju probabilističkih panela, a koja bi onda bili dostupni za korištenje svim društvenim znanstvenicima.

Novo rješenja zahtijevaju novo metodološko obrazovanje

Još od vjerojatno najpoznatijeg slučaja u povijesti anketnog istraživanja, od velikog promašaja u predviđanju pobjednika američkih predsjedničkih izbora 1936. godine časopisa The Literary Digest te točne procjene rezultata tih izbora od strane Georga Gallupa, među istraživačima postoji neupitan konsenzus kako su uzorak i uzorkovanje najvažniji čimbenici valjanosti zaključaka koji se donose na temelju anketnih istraživanja. Pogotovo u slučajevima kada je potrebno precizno odrediti populacijske parametre pojave koja se istražuje na uzorku. Zbog niza razloga, od koji smo u ovom članku istakli pojednostavljenje organizacije i provođenja anketnih istraživanja, a što je omogućeno razvojem digitalnih tehnologija, te sve manju spremnost građana na sudjelovanje u istraživanjima[1], izgleda kao da su empirijski orijentirani znanstvenici zadnjih godina malo po malo, gotovo poskrivečki, odustajali od tog konsenzusa. No, ponovna afirmacija probabilističkih i reprezentativnih uzoraka, na što su uputili i naši sugovornici, itekako je moguća. Pojavljuju se nova znanja i nove tehnološke i metodološke mogućnosti pa je za vjerovati da će novi pristupi u konstrukciji randomiziranih online panela kao i usavršavanje kvotnih uzoraka osigurati i sretan i zadovoljan život p vrijednosti i u budućnosti.   

George Gallup – na osnovu anketnog istraživanja 1936. godine predvidio je pobjedu Franklina D. Roosevelta na američkim predsjedničkim izborima i time postavio temelje za razvoj znanstveno utemeljenih istraživanja javnog mnijenja

Dakle, „reafirmacija uzorka“ je moguća i izgledna. Međutim, u maloj akademskoj i istraživačkoj zajednici kao što je Hrvatska ona neće biti jednostavna. Za nju su potrebni i financijski i organizacijski resursi ali i znanja i iskustvo u poslovima vezanim uz procese uzorkovanja. Koliko mi je poznato na hrvatskim znanstvenim institutima kao ni na društvenjačkim fakultetskim odsjecima nema stručnjaka profiliranih isključivo za ovo specifično područje društvenih istraživanja, a same akademske institucije nemaju ni organizacijske sposobnosti za samostalnu organizaciju i provođenje terenskog rada. Zbog toga za poslove uzorkovanja kao i za organizaciju i provođenja istraživačkog terenskog rada u pravilu angažiraju stručnjake i kapacitete iz privatnog sektora, tj. iz komercijalnih istraživačkih agencija. Stoga je u ovom kontekstu sasvim relevantno postaviti i pitanje o tome koliko su hrvatski društveni znanstvenici upućeni u problematiku uzorka i uzorkovanja? Koja relevantna znanja posjeduju kako bi se spomenuta reafirmacija mogla ostvariti? Time nužno dolazimo i do pitanja o kvaliteti metodološkog obrazovanja. Prema profesorici Klasnić, sociološko obrazovanje u Hrvatskoj o uzorkovanju nije dovoljno razvijeno pa mnogi istraživači prepuštaju tehnički dio ovog procesa onima koji se smatraju stručnjacima, a sami nemaju potrebu za dubinskim razumijevanjem problematike. S druge strane, profesor Bagić ističe da se često zanemaruju ograničenja u spoznajnim dosezima društvenih istraživanja. Smatra da u znanstvenoj zajednici ne postoji svijest o njima te se često postavljaju istraživačka pitanja na koja nije moguće odgovoriti s podacima prikupljenim na neadekvatnim uzorcima. Bagić smatra da smo u trenutnoj krizi teorije i epistemologije anketnih istraživanja i statističkih analiza u društvenim znanostima, naglašavajući da je teorija još uvijek bazirana na tradicionalnoj paradigmi koja je u praksi već zastarjela. Dok praksa uspješno rješava mnoge izazove, nedostaje adekvatna teorijska i epistemološka podloga koja bi mogla opravdati nove prakse. Dodaje da u mnogim segmentima praksa anketnih istraživanja danas daleko nadmašuje teoriju. Udžbenici, pa i mnogi kolegiji na sveučilištima, zapravo više nisu u skladu s potrebama aktualne prakse. Bagić ističe da “ako igdje studente podučavamo zastarjele stvari koje oni neće moći primijeniti u svom radu onda su to upravo metodološki i statistički kolegiji“.

[1] Tome svakako treba dodati i institucionalni pritisak kojem su znanstvenici izloženi u pogledu količine objavljivanja, tzv. fenomen publish or perish. Procjena njegovog utjecaja na hiperpodukciju različitih empirijskih istraživanja na manjkavim uzorcima izlazi iz okvira mogućnosti ovog članka. No, veza je i više nego očigledna.