Intelligence Group laat waarde van online onderzoek zien
<Update> In het onderstaande artikel heb ik verkeerde cijfers vergeleken zag ik bij herlezen van het artikel. Ik ben uitgegaan van het totaal en Intelligence Group heeft gevraagd naar het LinkedIn gebruik in de afgel0pen twee maanden. Voor de goede orde de cijfers op basis van de laatste 2 maanden over de career opportunities waar naar gevraagd had moeten worden in het onderzoek’.
N = 1.174.825
De verandering in het aantal profielen met career opportunities open in de laatste 2 maanden bedraagt +0,9%.
In de afgelopen twee maanden heeft 48% van de nieuwe LinkedIn gebruikers de career opportunties open staan. Dat is ca. 0,05% van het totaal aantal Nederlandse LinkedIn gebruikers.
In de verschillende functiegroepen kent de interesse in ’career opportunities’ een afwijking tot zo’n 8% van het algemeen gemiddelde.
Wanneer je deze kleine veranderingen als verwaarloosbaar ziet dan is het aantal mensen dat de career opportunities heeft aangezet even groot als het aantal dat deze heeft uitgezet.</update>
Intelligence Group maakt in het laatste onderzoek een forse fout maar laat vooral een mooi voorbeeld zien van waarom panel onderzoeken niet betrouwbaar zijn en hoe je online de echte cijfers kunt vinden. Intelligence Group heeft in een onderzoek onder 99 respondenten o.a. de vraag gesteld of de ‘job inquiries’ open zijn gezet op het LinkedIn profiel.
23% heeft daarop positief geantwoord. En daarop vervolgt het onderzoek: “Tevens heeft 23% het profiel opengesteld voor job inquiries, ofwel aangegeven dat werkgevers hen kunnen benaderen.”
Dat is in de eerste plaats een forse fout. ‘Job Inquiries’ zijn ‘vragen over een baan’. Deze personen zou je vragen over het werken bij of vacatures bij hun bedrijf mogen stellen. Career Opportunities betekent dat iemand open staat voor benadering voor een baan. Ik leg recruiters altijd uit dat je profielen waarop alleen job inquiries is opengezet (en dus geen career opportunities) vooral niet moet benaderen.
Interessanter is dat LinkedIn alle cijfers zo vertoont bij zoekopdrachten. Zou Intelligence Group de kloppende cijfers in het onderzoek willen opnemen dan is het percentage van de Nederlandse profielen met ‘career opportunities’ zo bij LinkedIn op te vragen. 41% van de profielen staat open voor een baanbenadering.
En dat geeft direct mooi vergelijkingsmateriaal tussen echte cijfers en een onderzoek op basis van vragen aan personen. Volgens het Intelligence Group onderzoek heeft 23% van de Nederlandse LinkedIn gebruikers ‘job inquiries’ open staan. Volgens de zoekfunctie van LinkedIn is dit 66% van de profielen met lokatie Nederland. Het panelonderzoek van Intelligence Group heeft in deze een afwijking van 43%.
Zou je overigens de vraag die Intelligence Group had moeten stellen aan de LinkedIn database stellen dan blijkt dat 41% van de Nederlandse profielen de career opportunities open heeft staan.
Michel Rijnders
Zoals altijd weer scherp Michel. En geheel terecht, alles dat je kan meten moet je niet proberen te onderzoeken en over fantaseren. Meten = weten. Onderzoeken is niet meten, maar gokken in veel gevallen. Zo blijkt elke keer weer bij allerlei vormen van onderzoek die af te zetten zijn tegen analytics.
Hoi Michel en Bas,
Het is voor veel mensen inderdaad niet helemaal duidelijk waar “job inquiries” precies voor staat. In het onderzoek is de volledige tekst dan ook als volgt geweest:
“Mijn profiel opengesteld voor “job inquiries” (benaderd worden door werkgevers)”
Hiermee denk ik dat het voor de ondervraagden in ieder wel duidelijk geweest wat we bedoeld hebben.
Verder merk je op dat onze cijfers niet kloppen, omdat in werkelijkheid 66% op LinkedIn benaderd wil worden door werkgevers. Wij hebben echter alleen gevraagd wat deze mensen in de afgelopen twee maanden hebben gedaan. Het is dus geen totaalcijfer, maar het gaat om de verandering. Wij vonden het juist interessant om te zien of LinkedIn-gebruikers zich de laatste tijd vaker beschikbaar hebben gesteld om benaderd te worden.
In ieder geval bedankt voor je kritische noot!
Hans Hoekstra
Een andere factor die de verschillen volgens mij voedt is het feit dat mensen vluchtig een optielijst doorlopen en niet altijd goed doordenken waar zij voor kiezen. Wordt het ze op de man/vrouw af gevraagd kan de keuze anders zijn.Worden ze – in dit geval – in de praktijk benaderd door een externe partij, zal men nog voorzichtiger zijn. Interpretatie van cijfers is gelukkig ook een vak.
Hallo Hans, de uitgebreidere vraag maakt het ook niet veel duidelijker. Mensen die het onderscheid kennen worden aan het twijfelen gebracht. Maar goed, een fout kan gebeuren.
Redenen voor verschillen in cijfers / antwoorden met de werkelijk zullen er zoals Arno aangeeft genoeg zijn. Dat is nu net mijn punt: wat heb je er aan als een panelonderzoek 20 tot 40 procent afwijkt van de werkelijkheid?
Op marketingfacts is mbt het laatste multiscope onderzoek overigens ook een aardige discussie over panelonderzoek vs de werkelijkheid gaande. Het is voor de duidelijkheid niet alleen IG die de mist ingaat, het zijn panelonderzoeken vs. Steeds beter meetbare werkelijkheid.
@Michel
In dat opzicht zou ik het interessant vinden om de werkelijke cijfers te weten. Ofwel: hoeveel LinkedIn-gebruikers die (actief op latent) een baan zoeken hebben in de afgelopen twee maanden hun profiel veranderd, zodat werkgevers hen kunnen benaderen?
Als die cijfers afwijken van de cijfers uit ons onderzoek, kunnen we pas concluderen dat het onderzoek niet representatief is, bijvoorbeeld doordat de respondenten in verwarring zijn gebracht.
Het zou mooi zijn als jij die cijfers hier kunt presenteren.
@Michel, het grappige is dat ik al zo lang een blogpost op mijn to do lijstje heb staan: onderzoeken vs meten… Want zoals je aangeeft, het gaat overal mis.
En daar zit het probleem, wat de meeste onderzoekers nog niet willen inzien. Want Hans, in mijn optiek is het niet dat je onderzoek niet representatief is, maar dat het het nooit kan zijn. Zoals Michel aangeeft, niet enkel IG. Dat is ook waar ik de laatste jaren tegen ageer. Voor het eerst in de geschiedenis kunnen we meten en blijken bijna alle onderzoek af te wijken, fors, van de werkelijkheid die te meten is. Niet omdat de respondenten in verwarring zijn gebracht (wat door je slechte vraagstelling in dit geval zeker het geval kan zijn), maar omdat de manier van onderzoeken niet werkt.
De vraag blijft natuurlijk in veel gevallen, zoals bij dit onderzoek, waarom je in hemelsnaam zou willen vragen en niet gewoon meet. De cijfers zijn voorhanden.
Hallo Hans,
Ik was al bezig met de update
Cijfers over de laatste twee maanden staan vermeld.
Of de vraagstelling in dit specifieke geval voor verwarring zorgt hoeven we volgens mij geen cijfers te gaan vergelijken.
Het aantal Nederlandse profielen dat publiek is gezet in de afgelopen 2 maanden is overigens ook aardig te vergelijken. 32% van het panel geeft aan dat ze het CV publiek zichtbaar hebben gemaakt. Als ik het percentage publieke profielen nu vergelijk met dat van ca. 2 maanden terug dan zie ik daar nauwelijks verschil in.
@Bas ik weet dat wij beiden en anderen zich er langer druk over maken (vragen vs meten, grootte onderzoeksgroepen, representativiteit, etc). Het zou mooi zijn om de onderzoeken eens goed te onderzoeken. Ben alleen bang dat er geen is die die handschoen oppakt.
Of wel?
@Michel en Bas,
Ik ben het helemaal met jullie eens dat de werkelijkheid (LinkedIn data) veel waardevoller is dan onderzoek. Probleem is echter dat de volledige werkelijkheid nog niet meetbaar is. Zo hebben we in dit geval een specifieke meting gedaan onder mensen die een baan zoeken. Volgens mij weet LinkedIn niet of mensen een baan zoeken (correct me if I’m wrong). Daarnaast weet LinkedIn ook niet hoeveel gebruikers (bijvoorbeeld) actief contact hebben gezocht met een potentiële werkgever of hoeveel baanzoekers LinkedIn gebruiken voor personal branding.
Mocht het zover komen, hou ik me zeker aanbevolen.
Even een misverstand uit de wereld helpen. Alle mediatitels in het AGO zijn gebaseerd op open antwoorden. Het AGO meet LinkedIn.com dus al vanaf het eerste moment dat een respondent LinkedIn.com spontaan genoemd heeft. Voor de liefhebbers zoek ik graag eens op wanneer dat geweest is.
Ter verduideliking van Hans zijn reactie. De onduidelijkheid slaat volgens mij op het artikel dat hierheen verwijst van recruiting roundtable.
@Michel: ik weet dat er een partij bezig is met een wetenschappelijk model voor het valideren van prijzen. Hoe goed zitten die eigenlijk in elkaar. Praat ik komende week mee. Zal hem eens vragen wat hij hier van denkt, want oh want heb ik deze (zeer rustige, genuanceerde) man al af en toe horen beginnen over de waardeloosheid van veel onderzoeken.
@Hans: Of ze op zoek zijn naar werk (actief) weten ze niet. Maar in alle eerlijkheid, jullie ook niet. Jullie weten enkel of ze zeggen op zoek te zijn naar werk. Belangrijke nuance… Dus de volledige waarheid? Nee, maar een stuk dichter bij op basis van een steekproef naar mogelijk intentioneel gedrag iets zeggen over het verwachte gedrag (wat op basis van metingen vaak ver van de werkelijkheid af blijkt te liggen).
Ik blijf erbij dat panelonderzoek zich altijd zou moeten focussen op dat wat niet meetbaar is. Als je praat over ‘top of mind werkgevers’ is panelonderzoek een goede manier. Als je praat over ‘wie leest wat online’ is het overbodig, dat is meetbaar.
Overigens een paar interessante observaties in het artikel op marketingfacts over de waarde van panelonderzoek. Nu heb ik groot respect voor multiscope en John Kivit, maar het feit dat vistaprint groter is dan nu.nl geeft aan dat het niet kán kloppen. En er worden daar goede argumenten aangehaald. Multiscope betaald mensen, mogelijk dezelfde mensen als b.v. euroclix, immers, een bepaald type personen zit in zo’n panel. Correct me if I’m wrong, maar jullie gebruiken panelclix van Euroclix, per definitie dus geen representatieve steekproef omdat ze een bepaald type personen aantrekken.
Maar wat daar nog belangrijker in is, de reden dat vistaprint waarschijnlijk beter scoort dan nu.nl onder dat panel is omdat die heel veel acties doen via o.a. euroclix. Andere adverteerders hebben dus een grote impact op de bezoekcijfers die men bij Multiscope meet (en daar meten ze nog echt en vragen ze het niet). Kan je nagaan hoeveel invloed dat op jullie cijfers zou hebben waar je zelfs exact hetzelfde panel zou gebruiken.