Artikel - Testen in het lab of online – wat is beter?
Testen in het lab of online – wat is beter?
Weet je nog, covid?
Tot 2020 was fysiek testen de norm. We deden vrijwel alle onderzoeken in onze labs in hartje Amsterdam, bij hoge uitzondering deden we soms een online test. Klanten kwamen naar het lab, respondenten kwamen naar het lab. En toen kwam covid.
We werden gedwongen om in één klap alles online te doen. Het was een harde omslag: van bijna honderd procent offline, naar honderd procent online. Dat vroeg veel van onze onderzoekers. Je zit niet meer face to face tegenover respondenten in het lab. De techniek is veel kwetsbaarder, omdat je afhankelijk bent van het device en de verbinding die mensen thuis hebben. Er zijn veel meer en uitgebreidere instructies nodig. In het lab was het veel overzichtelijker, veel controleerbaarder. Maar omdat we geen keus hadden, werden we heel snel beter in het doen van online UX Tests. Uiteindelijk hebben we een eigen livestream omgeving gebouwd die technisch gezien net zo goed werkt als ons lab. Het gesprek online werd bijna net zo normaal als dat het voorheen fysiek in het lab was. Na een jaar of twee was covid voorbij en dan zou je zeggen: we gaan met z’n allen weer het lab in, want dat wilden we zo graag. Het tegenovergestelde is waar: de meeste onderzoeken vinden nog steeds online plaats. Maar is online testen ook beter?
'Het was een harde omslag: van bijna honderd procent offline, naar honderd procent online.'
Online testen heeft ook voordelen
Het heeft veel praktische voordelen om je UX Test online te doen – voor zowel de respondent, de klant als de onderzoeker. Klanten kunnen vanuit huis of kantoor het onderzoek volgen, ondertussen nog wat ander werk doen. Het vraagt veel minder van hun tijd en capaciteit. Hetzelfde geldt voor respondenten; zij hoeven ook niet meer naar het lab te komen. Ze kunnen het interview thuis doen, of zelfs vanaf hun vakantiebestemming – zolang de verbinding maar goed is.
Er zijn nog meer inhoudelijke voordelen aan online testen:
Natuurlijke omgeving. Mensen zitten thuis in hun eigen, veilige omgeving. Ze hebben veel minder het gevoel dat ze in een onderzoek zitten. Dat zorgt voor natuurlijker gedrag. Ze zitten thuis op de plek waar ze altijd zitten. Ze testen met de telefoon of laptop die ze elke dag gebruiken, niet met de test telefoon in ons lab. Ze voelen zich minder bekeken, omdat je niet tegelijkertijd met hen in een ruimte bent. De afstand zorgt ervoor dat respondenten zich minder bezwaard voelen om eerlijk te zijn – het lijkt makkelijker om kritisch te zijn als er een scherm tussen zit.
Makkelijker werven. Omdat mensen niet fysiek naar het lab hoeven te komen, wordt je wervings pool groter. Je kunt mensen werven die ver weg wonen. Of mensen die door een beperking niet naar het lab kunnen komen.
Hoef je dan helemaal niet meer het lab in?
Er zijn zat redenen om het lab in te gaan. Onlangs deden we onderzoek voor DELA. Daar was de waarde van fysiek testen heel goed zichtbaar.
We spraken mensen over de periode na de uitvaart. En wat er dan allemaal nog moet gebeuren. Op de eerste dag deden we de interviews online, de tweede dag zaten we samen met respondenten in het lab. We merkten een duidelijk verschil. Op dag twee hebben we mensen huilend tegenover ons gehad, op dag één niet. Dat laat zien dat er face to face meer ruimte is voor connectie, emotie en non-verbale communicatie. Online verdwijnt dat grotendeels. Het is afstandelijker. Er blijft altijd een scherm tussen de onderzoeker en de respondent in zitten. Aan de ene kant is de afstand fijn, dat maakt het soms makkelijker. Maar aan de andere kant zorgt de afstand ook voor… afstand.
‘Bij face to face interviews is er meer ruimte voor connectie, emotie en non-verbale communicatie. Online verdwijnt dat grotendeels. Het is afstandelijker.’
Online testen heeft onderzoek laagdrempeliger gemaakt. Maar een aantal krachten van het lab kun je nooit online krijgen. Echte verbinding met mensen is daar een voorbeeld van. Maar er zijn meer voorbeelden:
Niet elk prototype werkt online. Soms bevatten prototypes vertrouwelijke informatie. We mogen ze alleen tonen in een beveiligde omgeving. In zo’n geval hebben we geen keus en moeten respondenten naar het lab komen.
Uitwisseling is makkelijker. In het lab kun je makkelijker concepten laten zien. Een uitgeprinte schets, een praatplaat. Je kunt snel iets tekenen en het voorleggen. Die uitwisseling is online een stuk moeilijker.
De sweetspot: hybride testen
In de meeste gevallen zit de sweet spot in een combi van beide: deels online, deels fysiek. Dat noemen we hybride testen.
Respondenten op afstand, stakeholders in één ruimte
De interviews kunnen in veel gevallen prima online. Het allerbelangrijkste is dat je fysiek samen zit met je klant, met de opdrachtgever. Samen inzichten verzamelen, ideeën uitwerken, gedachten uitwisselen – we zien dat dat online veel minder gebeurt. Mensen raken afgeleid, ze zijn tussendoor met andere dingen bezig. Als je samen zit, zit je veel meer op een lijn als groep. Je houdt elkaar scherp. Je krijgt energie van elkaar zien, praten met elkaar, samen lunchen. Die ‘energiegevende factoren’ verdwijnen als je het online doet. Als je samen in de ruimte zit, ben je ook samen eigenaar van de verhalen, van de quotes. Dat zorgt ervoor dat het onderzoek meer impact heeft binnen de organisatie. Als iedereen op afstand meekijkt, ontstaat er ook afstand tot het onderzoek. Hoe hard je ook je best doet: online verdwijnt de groepsdynamiek voor een groot deel.
'Als iedereen op afstand meekijkt, ontstaat er ook afstand tot het onderzoek.’
De conclusie: nooit 100% online
Als je het maximale uit je UX Test wilt halen, zorg dan dat je altijd met je stakeholders in één ruimte zit op de onderzoeksdag. Of je de doelgroep ook in het lab uitnodigt hangt af van heel veel praktische zaken. Mag je het prototype delen? Kan je doelgroep makkelijk naar het lab komen? Wil je fysieke schetsen laten zien? Kortom: honderd procent online heeft eigenlijk nooit onze voorkeur.
Hulp nodig met het doen van je volgende UX Test? Je mag ons bellen of mailen.