*Scroll down for English*

Ivar Vermeulen.

Wetenschapper, vader, docent, voetballer. Wie is Ivar? Wat doet Ivar? En hoe is Ivar betrokken bij panl?

Iemand anders definiëren is altijd een uitdaging en doet zelden recht aan de realiteit. Dus heb ik besloten het Ivar zelf te vragen…*

Ivar, wie ben jij?

Ik ben van origine methodoloog. Ik heb statistiek en onderzoeksmethodologie gestudeerd, en ik ben gepromoveerd bij een informaticainstituut in het gebruik van formele logica in sociaal wetenschappelijke theorieën. Dat is heel wiskundig eigenlijk. Van daaruit ben ik steeds meer de sociale wetenschap ingerold en bij de afdeling communicatiewetenschap terechtgekomen. Toen ik op deze afdeling begon, was ik meer informaticus dan een communicatiewetenschapper. Zeker geen psychologisch georiënteerde communicatiewetenschapper, wat nu het geval is. Dat heb ik met de tijd geleerd. Ik vond sociale psychologie, met name beïnvloeding, ontzettend leuk om me mee bezig te houden, dus ik ben steeds meer die kant op gegaan. Dat is waar mijn huidige onderzoek zich op richt: hoe en waarom worden mensen overtuigd door de informatie waar ze aan blootgesteld worden?

Dus als ik het goed begrijp is door deze ontwikkeling van interesses jouw expertise een soort random mix tussen technologie, methodologie en sociale wetenschappen?  

Ja, dat zou je kunnen zeggen. Ik heb dus enigszins een computationele  achtergrond, mede daarom ben ik destijds bijvoorbeeld ook als directeur van het Netwerk Instituut gevraagd. Dat is een instituut voor interdisciplinair onderzoek, waarbij informatica, sociale wetenschap en ook geesteswetenschap samenkomen. Problemen die op ons als mensen en samenlevingen afkomen zijn complex en het is vrij inefficiënt om daar alleen maar met de bril van een informaticus of met de bril van een socioloog of met de bril van een taalkundige naar te kijken. Het is naar mijn mening heel belangrijk om wetenschappers van verschillende disciplines bij elkaar te krijgen, zodat ze elkaar kunnen verrijken. Het Netwerk Instituut faciliteert zulke samenwerkingen. Ook in mijn eigen onderzoek ga ik vaak zulke samenwerkingen aan. Ik focus me op sociaal wetenschappelijke vraagstukken maar ik werk graag samen met collega’s van andere disciplines. Programmeurs, software developers,  ik snap enigszins wat ze doen, hoe het achter de schermen werkt. Dit komt eigenlijk ook van pas bij panl. Met de ontwikkeling van panl werk ik nauw samen met de softwareontwikkelaars. Ik weet een beetje wat ingewikkeld is om te programmeren en wat minder ingewikkeld is, dit is ontzettend belangrijk bij het bespreken van mogelijke functionaliteiten voor panl en bij het opstellen van realistische doelen.

Interessant! Hoe ben je eigenlijk voor het eerst betrokken geraakt bij panl?

Ik werk veel met Martin samen, dus het is lastig om precies te zeggen wanneer mijn betrokkenheid bij de ontwikkeling van panl begon. We zijn beiden grootgebruikers van platforms bij ons onderzoek, dus we hebben het vaak over het gemis van een Nederlands alternatief voor Prolific of MTurk gehad. Op een bepaald moment kwam Martin met het plan om zelf een Nederlands platform op te zetten. Ik heb toen met Martin meegeschreven aan het voorstel. Martin was hoofdaanvrager en ik was zijn rechterhand. Dus eigenlijk was ik vanaf het begin al betrokken.

Hoe is de tocht met panl gegaan sindsdien?

We zijn aan het ontwikkelen en dat is hartstikke leuk. Wij mogen als onderzoekers zeggen wat wij denken dat belangrijk is om in het platform te bouwen en ook nadenken over wat goed is voor iedereen, zowel onderzoekers als deelnemers aan onderzoek. Daarbij lopen we tegen enorm veel inhoudelijke maar ook ethische beslissingen aan. Bijvoorbeeld, hoe verdeel je de macht op een eerlijke manier tussen onderzoekers en deelnemers? En moet dat wel in alle gevallen? Of, waar leg je initiatieven? Wat voor soort respondenten wil je eigenlijk precies hebben en hoe spreek je die zo goed mogelijk aan? Hoe zit het met betalingen? Dat zijn allemaal half-technische en half-ethische beslissingen die enorm interessant zijn en waar we soms heel verschillende meningen over hebben. Dat is op zichzelf ook interessant.

Het is ook leuk om met de softwareontwikkelaar samen te werken om te zien hoe onze ideeën tot leven komen. Tegelijkertijd is het soms ingewikkeld en frustrerend, omdat je zelf denkt dat je een goed plan hebt, en dan is de rest van het team het er niet mee eens. En dan, ja, gaan we het toch niet doen. En soms is het inhoudelijk ingewikkeld om helemaal te voorspellen hoe een bepaalde functionaliteit gaat uitpakken. We bouwen toch iets van kiet af aan op, dus dat is een uitdagende ontdekkingstocht.

Wat is jouw rol geweest in deze tocht? Wat zijn jouw focuspunten?

Ik weet redelijk wat van netwerkeconomie. Dus ook van de uitwisseling van waarde via platforms. Panl kan gezien worden als deel van de platformeconomie. Vanuit dat perspectief zijn studies die geplaatst worden op panl mini-taakjes en is het platform een soort marktplaats van vraag en aanbod. Er zitten dus zowel veel economische aspecten aan als sociale aspecten. Je kan er een hele sociale netwerkanalyse op loslaten. En er moet ook gerekend worden. Dat is binnen het team mijn expertise. Aan de hand van die netwerkanalyses beargumenteer ik bijvoorbeeld waarom we bepaalde designkeuzes wel of niet moeten maken.

Heb je een voorbeeld van zo een designkeuze?

Een heel simpel voorbeeld is het gebruik van mobiele telefoons voor panl. Moeten we mobiel gaan of niet? Het gebruiken van mobiele telefoons maakt het voor deelnemers veel toegankelijker om aan onderzoek mee te doen. Je treft mensen op een goed moment. Je geeft deelnemers flexibiliteit in tijd. Ook is het gebruik van mobiele telefoons logisch als je nadenkt over porties werk. Via panl bieden onderzoekers kleine porties werk aan, die lenen zich goed voor ‘tussendoor’ en daar hoort mobiele technologie ook bij. Bij het gebruik van een mobiele app horen ook notificaties. Dat is misschien nog wel een belangrijkere design keuze. Op een computer heb je ook notificaties, maar die komen anders binnen en hebben niet hetzelfde effect. Op de telefoon werkt een notificatie eerder als een soort ‘call to action’, dus gaan deelnemers gelijk aan de slag.

Het gebruik van mobiele telefoons heeft ook een keerzijde. Je creëert namelijk een hoop verwachtingen door panl op mobiele apparaten te plaatsen. Mensen verwachten bijvoorbeeld dat panl dan sociale media-functionaliteit heeft:reacties, likes, dislikes en het kunnen geven van ratings. Hoort dat dan ook bij panl? Dat willen we misschien wel helemaal niet. Dat is dan weer een bespreekpunt. Is het goed als deelnemers en onderzoekers elkaar kunnen beoordelen of commentaar kunnen geven? Heeft het toegevoegde waarde als er sociale media-regels gelden? Als de relaties op het platform informeel zijn? Of willen we juist wat meer afstand creëren? Wat zijn de gevolgen voor datakwaliteit? En voor betrokkenheid? Nou, dat zijn voorbeelden van onderwerpen en vragen waar we over nadenken.

Wat is volgens jou de kracht van panl?

Naar mijn mening zit de kracht van panl in de integratie van meerdere dingen. De integratie van mobiele notificaties en korte taken. Het feit dat het op Nederlands taalgebied is gericht, maar dus ook specifiek voor wetenschappelijk onderzoek is. Panl is vrij afgebakend. Gebruikers weten daardoor wat ze kunnen verwachten, zowel als onderzoeker en als deelnemer. Als deelnemer weet je dat je geen onzin hoeft te doen en je weet ook dat het onderzoek van belang is.

Panl beschermt respondenten per definitie tegen onrechtvaardige behandeling, omdat het vanuit de universiteiten is opgericht, met de bijbehorende ethische regels. Ik bedoel, op MTurk kunnen mensen ook studies zetten waar een respondent voor een kwartier werk vijftig cent krijgt. Dan ben je als onderzoeker gewoon mensen zwaar aan het onder betalen. Dat soort dingen kunnen niet bij ons. Panl houdt per definitie met onderzoeksethiek rekening. En het onderzoek zelf is ethisch getoetst. Het is altijd wetenschappelijk onderzoek, anders wordt de studie niet op ons platform gezet. Dus in die zin is er op panl aan alle kanten een vrij evenwichtige uitwisseling.

Daarnaast combineren we de fysieke en online functionaliteiten. Dat is ook een zeldzame integratie, dat onderzoekers mensen naar de universiteit kunnen halen met behulp van panl, om vervolgens in levende lijve onderzoek uit te voeren. Het binnenhalen van niet-studenten binnen de universiteit muren om onderzoek te kunnen doen is een enorme uitdaging voor universiteiten. Panl maakt dit niet alleen mogelijk, maar ook gemakkelijk. Voor mij, als communicatiewetenschapper, is fysiek onderzoek in de laatste jaren minder belangrijk geworden, want veel onderzoek gebeurt nu online. Maar dit geldt niet voor veel andere disciplines. Psychologisch onderzoek is soms veel te foutgevoelig om online uit te kunnen voeren. Tijdens sommige psychologische onderzoeken moeten bijvoorbeeld fysieke waarden worden gemeten, wat aanwezigheid een must maakt. Momenteel wordt veel van dat onderzoek uitgevoerd met behulp van studenten als onderzoek participanten. Dat is enigszins problematisch, want deze studenten hebben vaak veel meer voorkennis over de onderzoeken dan de gemiddelde Nederlander en vormen dus verre van een representatieve- of diverse onderzoeksgroep. Door de integratie van fysieke en online functionaliteiten is panl nuttig voor onderzoekers uit diverse disciplines.

Ik vergeet bijna het betalingssysteem dat we geïntegreerd hebben. Een deelnemer hoeft niet veel geld te sparen om uitbetaald te kunnen worden. Prolific heeft ook zo een betalingssysteem, maar dat zulke betalingen dus ook ontvangen kunnen worden voor deelname aan labonderzoek is een unieke functionaliteit.

Hoe ziet panl er in jouw gedachten uit over vijf jaar?

Over vijf jaar is panl een heel actieve plek waar onderzoekers per default het liefst hun onderzoek plaatsen omdat het snel respondenten oplevert. Het is een platform waar respondenten heen gaan om  een bijdrage te kunnen leveren aan wetenschap of misschien wat geld te verdienen. Over vijf jaar gaat een groep mensen met enige regelmaat naar het lab toe, door middel van panl, om daar aan studies mee te doen. Panl is dus een platform dat onderzoekers ondersteunt. Een platform dat het leven van onderzoekers gemakkelijker maakt. Ja, het is dan het idee dat onderzoekers in Nederland daarmee onderzoek over de Nederlandse culturele, politieke, en talige onderwerpen kunnen doen met voldoende deelnemers en zonder daar hoge bedragen voor hoeven te betalen. Zo krijgen ze geen achterstand op de Angelsaksische landen waar dit soort onderzoeks-voorzieningen vaak al wat beter geregeld zijn.

Wat is een droomonderzoek dat je zelf op panl zou willen plaatsen zodra het platform live gaat?

Ik zou heel graag een aantal van mijn huidige onderzoeken willen uitvoeren bij de Nederlandse doorsnee bevolking. Bijvoorbeeld mijn onderzoek over misinformatie en in hoeverre deze blijft hangen bij mensen.

Via de online platforms die er momenteel bestaan heb ik al vaker studies uitgevoerd onder de Noord-Amerikaanse en Engelse bevolking, maar het is moeilijk om communicatiewetenschappelijk onderzoek te kunnen doen onder een grotere groep ‘gewone’ Nederlanders. De onderzoeken die ik onder Nederlanders heb uitgevoerd waren vaak bij hoogopgeleide groepen. Die respondenten komen bij mij via het netwerk van studenten. Dat zijn de ouders en kenniskring van studenten, waarvan dan een hoog percentage een universitaire opleiding heeft afgerond. Die mensen reageren misschien wel heel anders op onze stimuli dan lager opgeleide mensen. Bovendien vind je vaak ook weinig mensen aan de rechterkant van het politieke spectrum, dus je hebt niet echt een goed verdeelde groep. Ik ben niet perse op zoek naar een representatief sample. Maar het lijkt me leuk onderzoek te doen bij een groep Nederlanders waarvan je denkt: dat is nou een groep gewone mensen. Het lijkt me geweldig als panl dat mogelijk zou kunnen maken.

En, laatste vraag, aan wat voor een onderzoek zou je zelf wel een mee willen doen?

Ik heb veel gehoord over onderzoek waarbij kunst wordt geannoteerd. Vaak is dat soort onderzoek voor de ontwikkeling van AI tools. Denk dan bijvoorbeeld aan de kunstwerken die in het Rijksmuseum hangen. Stel daar zou een AI overheen kunnen gaan die de catalogus zo goed kan maken dat alle beelden of schilderijen makkelijk te vinden zijn per thema, onderwerp of associatie. Nou ja, om die technologie mogelijk te maken zijn er veel mensen nodig die iets over een schilderij kunnen zeggen. AI kan al heel veel op het gebied van herkenning van visueel materiaal, maar tot een heleboel subtiele dingen is de huidige AI nog niet in staat. Voor zo’n onderzoek moeten deelnemers dus wat meer culturele kennis hebben, om goed aan te kunnen geven wat er op afbeeldingen gebeurt. Ze moeten bijvoorbeeld kunnen herkennen of er armoede of rijkdom wordt afgebeeld. Binnen de Nederlandse context ziet dat er heel anders uit dan binnen andere contexten. Dat soort onderzoek lijkt mij heel leuk om aan mee te werken. Maar ik ben geen kenner, ik ben een leek op dat vlak, dus dan zou het onderzoek moeten gaan over de interpretatie van ‘gewone’ Nederlanders: een onderzoek waarbij aan de hand van verschillende variabelen een schilderij gecategoriseerd moet worden, met de vraag wat een Nederlandse leek erin ziet.

Of een onderzoek over voetbal! Ik ben een voetbalfan dus als er een onderzoek over voetbal zou komen, eigenlijk alles over voetbal, dan zou ik het meteen leuk vinden. Een studie over ruimtelijk inzicht (welke pass is nu het beste?) of vragen over hoe je vanuit een verkeerde hoek kan zien of iemand buitenspel staat…daar wordt ik meteen al enthousiast van! Dus het zou voor mij echt om mijn eigen interesses gaan. Als ik het een leuk onderwerp vind, doe ik graag mee! 

*Mogelijk heeft de setting van het interview (een doordeweekse werkdag op de Vrije Universiteit Amsterdam) de zelfdefiniëring van Ivar ietwat beïnvloed. Laten we het een beïnvloeding-deskundige vragen. Ivar, wat denk jij?

Panl‘s development process: dilemma’s, decisions and unique integrations: an interview with one of our makers.

Ivar Vermeulen

Scientist, father, teacher, footballer. Who is Ivar? What does Ivar do? And how is Ivar involved with panl?

Defining someone else is always challenging and rarely does justice to reality. So I decided to ask Ivar to define himself instead…*

Ivar, who are you?

I am originally a methodologist. I studied statistics and research methodology, and I got my PhD from an informatica institute in the use of formal logic in social science theories. That’s really mathematical. From there I moved more and more into the social sciences and ended up in the communication sciences department. When I started at this department, I was more of a computer scientist than a communication scientist. Certainly not a psychologically oriented communication scientist, which is the case now. I became that over time. I really liked social psychology, especially influence, so I’ve been moving in that direction more and more. That is what my current research focuses on: how and why are people convinced by the information they are exposed to?

So if I understand correctly, due to this development of interests, your expertise is a kind of random mix between technology, methodology and social sciences?

Yes, you could say that. So I have a somewhat computational background, which is one of the reasons why I was asked to be director of the Network Institute at the time. This is an institute for interdisciplinary research, in which computer science, social science and humanities come together. Problems that confront us as people and societies are complex and it is quite inefficient to look at them only through the eyes of a computer scientist or the eyes of a sociologist or with the eyes of a linguist. In my opinion, it is very important to bring scientists from different disciplines together so that they can enrich each other. The Network Institute facilitates such collaborations. I also often enter into such collaborations in my own research. I focus on social science issues, but I enjoy working with colleagues from other disciplines. Programmers, software developers, I somewhat understand what they do, how it works behind the scenes. This actually also comes in handy with panl. With the development of panl I work closely with the software developers. I know a little about what is complicated to program and what is less complicated, this is extremely important when discussing possible functionalities for panl and setting realistic goals.

Interesting! How did you first get involved with panl?

I work with Martin a lot, so it’s hard to say when my involvement in the development of panl started exactly. We are both frequent users of platforms in our research, so we often talked about the lack of a Dutch alternative to Prolific or MTurk. At a certain point, Martin came up with the plan to set up a Dutch platform himself. I then co-wrote the proposal with Martin. Martin was the main applicant and I was his right-hand. So basically I was involved from the start.

How has the journey with panl been since then?

We are developing and that is great fun. As researchers, we are allowed to say what we think is important to build into the platform and also think about what is good for everyone, both researchers and research participants. In doing so, we are confronted with an enormous number of substantive but also ethical decisions. For example, how do you distribute power fairly between researchers and participants? And is that necessary in all cases? Or, where do you place initiatives? What kind of respondents do you actually want and how do you reach them as effectively as possible? What about payments? These are all half-technical and half-ethical decisions that are extremely interesting and about which we sometimes have very different opinions. That in itself is also interesting.

It’s also fun to work with the software developers to see our ideas come to life. At the same time, it is sometimes complicated and frustrating, because I think I have a good plan, and then the rest of the team disagrees. And then, yes, we’re not going to do it anyway. And sometimes it is substantively complicated to completely predict how a certain functionality will turn out. We are building something from scratch, so that is a challenging journey of discovery.

What was your role in this journey? What are your focal points?

I know quite a bit about network economics. That also includes the exchange of value via platforms. Panl can be seen as part of the platform economy. From that perspective, studies posted on panl are mini-tasks and the platform is a kind of marketplace of supply and demand. So there are many economic aspects as well as social aspects. You can do a whole social network analysis on it. And you also have to calculate. That is my expertise within the team. Based on these network analyses, I argue, for example, why we should or should not make certain design choices.

Do you have an example of such a design choice?

A very simple example is using mobile phones for panl. Should we go mobile or not? Using mobile phones makes it much more accessible for participants to participate in research. You meet people at a good time. You give participants flexibility in time. Also, using mobile phones makes sense when you think about portions of work. Via panl, researchers offer small portions of work, which lend themselves well to ‘in between’ and that includes mobile technology. Notifications are also part of using a mobile app. That is perhaps an even more important design choice. You also have notifications on a computer, but they arrive differently and do not have the same effect. On the phone, a notification works more like a kind of ‘call to action’, so participants get to work right away.

The use of mobile phones also has a downside. You create a lot of expectations by placing panl on mobile devices. For example, people expect panl to have social media functionalities: comments, likes, dislikes and being able to give ratings. Should that also be part of panl? We may not want that at all. That is again a point of discussion. Is it good if participants and researchers can assess each other or comment? Does it add value if social media rules apply? If the relationships on the platform are informal? Or do we just want to create a little more distance? What are the consequences for data quality? And for engagement? Well, those are examples of topics and questions that we think about.

Interesting! And what do you think is the power of panl?

In my opinion, the power of panl is in the integration of multiple things. The integration of mobile notifications and short tasks. The fact that it is aimed at the Dutch language area, but is also specific to academic research. Panl is quite demarcated. Users therefore know what to expect, both as a researcher and as a participant. As a participant you know that you don’t have to do nonsense and you also know that the research is important.

By definition panl protects respondents against unfair treatment, because it was set up by universities, with the associated ethical rules. I mean, on MTurk people can also put studies where a respondent gets fifty cents for fifteen minutes of work. Then as a researcher you are simply heavily underpaying people. That kind of thing is not possible with us. Panl always takes research ethics into account. And the research itself has been ethically tested. It is always academic research, otherwise the study will not be put on our platform. So in that sense there’s a pretty balanced exchange between all sides on panl.

In addition, we combine the physical and online functionalities. That is also a rare integration, that researchers can bring people to university with the help of panl, and then conduct research in person. Bringing non-students into the university walls to do research is a huge challenge for universities. Panl not only makes this possible, but also easy. For me, as a communication scientist, physical research has become less important in recent years, because a lot of research is now done online. But this is not the case for many other disciplines. Psychological research is sometimes far too error-prone to be conducted online. For example, during some psychological examinations, physical values must be measured, which makes physical presence a must. Currently, much of that research is conducted using students as research participants. This is somewhat problematic, because these students often have much more prior knowledge about the study than the average Dutch person and are therefore far from a representative or diverse research group. Through the integration of physical and online functionalities, panl is useful for researchers from various disciplines.

I almost forgot the payment system we integrated. A participant does not have to save a lot of money in order to be paid. Prolific also has such a payment system, but the fact that such payments can also be received for participation in lab research is a unique functionality.

Great! And what do you think panl will look like in five years?

In five years’ time, panl will be a very active place where researchers, by default, prefer to post their research because it quickly generates responses. It is a platform where respondents go to contribute to academia or maybe make some money. In five years’ time, a group of people will be going to the lab with some regularity, via panl, to participate in lab-studies. So panl is a platform that supports researchers. A platform that makes life easier for researchers. Yes, the idea is that researchers in the Netherlands can do research on Dutch cultural, political and linguistic subjects with sufficient participants and without having to pay high amounts for it. In this way they do not lag behind the Anglo-Saxon countries where these types of research facilities are often better organized.

What is a dream research you would like to post on panl once the platform goes live?

I would very much like to conduct some of my current studies with the average Dutch population. For example, my research on misinformation and the extent to which this sticks with people.

Via the online platforms that currently exist, I have often conducted studies among the North American and British population, but it is difficult to conduct communication science research among a larger group of ‘ordinary’ Dutch people. The studies I conducted among Dutch people were often among highly educated groups. Those respondents come to me through the network of students. These are the parents and acquaintances of students, of whom a high percentage has completed a university education. Those people may react very differently to our stimuli than less ‘high’ educated people. Moreover, these groups often include few people on the right side of the political spectrum, so this doesn’t  really make a well-distributed group, regarding multiple aspects. I’m not necessarily looking for a representative sample. But I think it would be fun to do research with a group of Dutch people that seems to be more like a group of ordinary people. I think it would be great if panl could make that possible.

And, last question, what kind of research would you like to participate in?

I’ve heard a lot about research that involves annotating art. Often that kind of research is for the development of AI tools. Think, for example, of the works of art that hang in the Rijksmuseum. Imagine an AI that could make the catalog so good that all images or paintings can be easily found by theme, subject or association. Well, to make that technology possible, a lot of people are needed who can say something about a painting. AI can already do a lot in the field of recognition of visual material, but the current AI is not yet capable of a lot of subtle things. For such a study, participants must therefore have a little more cultural knowledge in order to be able to accurately indicate what is happening in images. For example, they must be able to recognize whether poverty or wealth is depicted. In the Dutch context, this looks very different than in other contexts. I think it would be great fun to participate in that kind of research. But I’m not an expert, I’m a layman in that area, so the research should then be about the interpretation of ‘ordinary’ Dutch people: a study in which a painting has to be categorized on the basis of various variables, with the question of what a Dutch layman sees in it.

Or a survey about soccer! I’m a soccer fan so if there was a survey about soccer, basically anything about soccer, I’d love it right away. A study about spatial awareness (which pass is the best?) or questions about how you can see from the wrong angle whether someone is offside… that immediately gets me excited! So it would really be about my own interests. If I think it’s a fun topic, I’m happy to participate!

*Possibly the setting of the interview (an ordinary workday at the VU University Amsterdam) somewhat influenced Ivar’s self-definition. Let’s ask an influence expert… Ivar, what do you think?