Op woensdag 7 juni 2023 vond de jaarlijkse dag over mixed-mode onderzoek plaats, georganiseerd door het Nederlandstalig Platform Survey Onderzoek (NPSO). Tijdens deze bijeenkomst stond de vraag 'Wat is de toekomst voor mixed-mode survey onderzoek?' centraal. De eerste spreker van de dag was Aat Liefbroer, hoogleraar Demografie van de levensloop aan het Universitair Medisch Centrum Groningen, hoogleraar Demografie van jongvolwassenen en intergenerationele overdracht aan de Faculteit der Sociale Wetenschappen van de Vrije Universiteit Amsterdam, en themaleider Families en Generaties bij het NIDI. In zijn lezing besprak Aat de recente ontwikkelingen in enquêteonderzoek in Europa, met speciale aandacht voor de overgang van face-to-face onderzoek naar webonderzoek.
In een zaal bij de NWO in Den Haag zaten meer dan zestig experts op het gebied van surveyonderzoek, waaronder wetenschappers, oprichters van onderzoeksbureaus en medewerkers van overheidsinstellingen die dagelijks met vragenlijstonderzoek werken onder de Nederlandse bevolking. Aat informeerde ons over het GGP-onderzoek, een Europa-breed panelonderzoek waarbij elke drie jaar dezelfde vragenlijst wordt voorgelegd. Deze vragen gaan over gezinsvorming en intergenerationele relaties. Van oorsprong was de opzet van het GGP-onderzoek gebaseerd op face-to-face-interviews, met minimaal 7000 interviews per land. De afgelopen jaren zijn de onderzoekers van het GGP ook gaan experimenteren met online surveys voor hun dataverzameling.
Het GGP heeft een vergelijking tussen face-to-face en webonderzoek in drie landen uitgevoerd, met name gericht op response rate en datakwaliteit. Nadat Aat zichzelf en het GGP-onderzoek had geïntroduceerd, stelde hij de zaal zijn eerste vraag: "Wie denkt dat webonderzoek een hogere response rate heeft dan face-to-face onderzoek?" Na een stilte en veel om zich heen kijkende luisteraars staken twee personen aarzelend hun hand op. Aat knikte en ging verder met zijn volgende vraag: "En wie denkt dat face-to-face een hogere response rate heeft dan webonderzoek?" Meer dan zestig handen schoten snel de lucht in. Aat's mondhoeken krulden op als reactie op deze vastberaden actie. "Ik vind het leuk om mensen te verrassen. Ik was zelf in eerste instantie ook verbaasd," zei hij met een glimlach.
Aat klikte op zijn PowerPoint-afstandsbediening en het grote beeldscherm achter hem toonde een nieuwe dia met een grafiek. "Onverwachte resultaten kwamen uit ons onderzoek," vervolgde hij. "Inderdaad, in sommige gevallen resulteerde webonderzoek in een lagere respons rate. Maar net zo vaak, zo niet vaker, bleek webonderzoek veel effectiever te zijn bij het verkrijgen van respons. Zelfs ik kon het bijna niet geloven, maar dat is de realiteit."
In Kroatië werkt online dataverzameling zelfs zo goed dat de onderzoekers Ivan Čipin en Petra Međimurec ervoor hebben gekozen om volledig over te stappen van face-to-face naar de push-to-web onderzoeksmethode. In een recent webinar lichten Ivan Čipin en Petra Međimurec deze keuze toe: "In Kroatië was het uitvoeren van enquêtestudies online - push-to-web - een nieuwe praktijk. Tot onze verbazing leverde de pilotstudie in 2018 een onverwacht hoge respons op, wat ons aanmoedigde om dit opnieuw te herhalen in onze enquête."
Dit is niet de enige reden waarom het Kroatische team heeft gekozen voor online onderzoek. "Daarnaast is push-to-web kosteneffectiever in vergelijking met traditioneel face-to-face onderzoek," vervolgt Ivan. Bovendien maakt het methodologische verbeteringen mogelijk, omdat het de implementatie van random sampling mogelijk maakt zonder te hoeven clusteren. En het is effectiever bij het behandelen van gevoelige vragen. Bij het bespreken van gevoelige onderwerpen geven online enquêtes nauwkeurigere en eerlijkere antwoorden dan face-to-face enquêtes (GGP connect webinar 20: Ivan Čipin and Petra Međimurec).
Maar deze laatste punten schuiven we even terzijde, want in ons volgende blog zullen we uitgebreid ingaan op de datakwaliteit bij online onderzoek versus offline onderzoek.
Dus, laten we voor nu terugkeren van de reis door Kroatië en Aat Liefbroer weer vergezellen in Den Haag om kritisch te reflecteren op onze vooroordelen. In tegenstelling tot wat vaak wordt gedacht (of op zijn minst wat meer dan 60 enquête-experts op de derde verdieping van NWO dachten), is er geen reden tot zorg over een afname van de response rate bij de overstap van offline naar online onderzoek.
