Slecht onderzoek

1 May
2007

Nadat we afgelopen week al schreven over twijfelachtig onderzoek van IG, loopt mijn RSS reader vandaag vol met ronduit slecht onderzoek. HRpraktijk bericht over het feit dat alle sollicitaties voortaan per e-mail gaan, onderzoek van… een online jobboard. IntermediairPW bericht over het feit dat de 9 tot 5 baan bijna is uitgestorven op basis van “een onderzoek”. En ook plaatst IntermediairPW een bericht (is het onderzoek?) dat contact met oud werknemers loont. Vreemd, zo’n bericht zonder verdere onderbouwing, terwijl die er wel is (recent nog in het FD). Spijtig, dat zoveel persberichten zo klakkeloos worden overgenomen. Vorm als lezer aub uw eigen mening voordat u alles dat (ook door gerenomeerde media) voor waar aan neemt. Zeker ook in de HR.

  • Auteur: Bas van de Haterd (Artikelen|Website)
    In: Algemeen
  • Tags:
  • Nou ja, de schattingen zijn zo'n 5000 actieve Nederlanders. Volgens dit bericht zouden 1.4 miljoen Nederlanders een account hebben en zouden er meer dan 800.000 actief zijn (1 tot 5 uur per?).

    Overigens zouden Nederlanders dan 30% van alle accounts bezitten.. (totaal zijn er 5.000.000 volgens Linden Lab).
  • Tja, het is een persbericht van Novum, die zouden dergelijke zaken moeten checken. Maar het lijkt me veel, maar goed, ik heb geen cijfers bij de hand in deze.
  • Over slecht onderzoek gesproken, Nu.nl neemt klakkeloos het persbericht (of advertorial?) over dat 8,5% van de nederlanders een tweede leven zou leiden in SecondLife: http://www.nu.nl/news/1063619/55/E%C3%A9n_op_ti...
  • @Bas; Je hebt helemaal gelijk. Je kunt zeker wel een representatief onderzoek doen onder 500 mensen, maar helaas wordt nergens bericht hoe men tot het onderzoek is gekomen en wat andere uitkomsten waren. Als het de 500 vaste klanten van Lexmark zijn, dan heb je best kans dat dat niet echt representatief is...

    Ach, aan de andere kant zou het wel leuk zijn om te zien dat de 9 tot 5 baan steeds minder gaat bestaan. Als mensen productiever zijn als ze thuis werken, dan moet je dat als ondernemer stimuleren. Daarbij worden anderen dan ook productiever, omdat ze minder in de file hoeven te staan elke dag...
    Ik blijf een voorstander van thuiswerken.
  • @Arne: als oud onderzoek wil ik benadrukken dat de hoeveelheid respondenten eigenlijk niets zegt over de representativiteit van een onderzoek. De 3000 van IG bij Hyves bleek ook niet te kloppen (helaas was dat door te rekenen). Terwijl alle statistische modellen aangeven dat 3000 meer dan genoeg is. Met 500 man KAN je een representatief onderzoek houden. De meeste opiniepeilingen zijn representatief (en komen heel ver in de buurt van de waarheid bij de verkiezingen zelf) en zijn gebaseerd op 1000 man. Dus dan kan je met 500 zeker iets zeggen over een doelgroep half zo groot, maar je moet dan wel een goede steekproef doen (die je ergens aan kan toetsen).

    @Leon: de oude media zeuren al jaren over de representativiteit van online panels. Maar dat is grootendeels gebaseerd op bull shit. Men toetst deze namelijk aan telefonisch onderzoek, maar... dat is net zo min representatief. Want laten we eerlijk zijn, het aantal mensen dat de hoorn erop gooit groei, dus ook daar heb je een vergelijkbaar verhaal met betrekking tot 'een vaste kern respondenten'.

    Het gaat er natuurlijk om dat je je steekproef zo a-select mogelijk neemt, maar online / offline heeft daar héél weinig mee te maken. Net zo min als 'betalen' een grote issue is (zeker met de miniscule bedragen die erin om gaan). Het gaat meer om 'waar heb je ze gevonden' en 'of ze toetsbaar representatief zijn'. Maar daarvoor heb je dus populatie gegevens nodig, demografisch, maar wat mij betreft vooral ook sociologisch (mentality model van Motivaction is daar heel goed voor). En je moet dus een blueprint van je doelgroep hebben (veel is niet verifieerbaar omdat je niet weet hoe groot de totale populatie is, maar soms is dat wel en dan moet je kijken of je wel in de buurt uitkomt). Wat je helaas dan heel vaak ziet is dat men gaat wegen, dus 'wij hebben meer bierdrinkers dan de NL populatie, dus die wegen maar 0,9 mee, dan komen we op een goede bier - cola drinkers verhouding). Kan, maar niet mijn favoriete manier.

    Overigens gebruik ik regelmatig de opinipeilingen als voorbeeld, omdat deze best goed zijn. De grap is dat interviewNSS en De Hond elkaar niet heel veel ontlopen, maar vanwege andere meetmethoden vaak in tijd wel een beetje.

    Het is alleen spijtig dat redacties per definitie onderzoek van zeg InterviewNSS, Pricewaterhousecoopers of het Nipo als waarheid aannemen, terwijl ze kleintjes meteen betwijfelen. Niet altijd even correct.
  • Heb in 1 van de afgelopen dagen een leuk stukje gelezen in NRC (jawel, offline het bestaat nog). Ging over de betrouwbaarheid van onderzoekjes en met name die van internetpanels. Het merendeel van de respondenten klikt zich bij dergelijke onderzoeken de vingers blauw en verslijt ongeveer een muis per week. De porté was: Hoe meer je meedoet, hoe meer je verdient, hoe onbetrouwbaarder de resultaten. Zodra het artikel online is bij NRC zal ik het hier melden (wel registreren natuurlijk).

    Het zou de moeite waard zijn als de dames en heren "onderzoekers" niet alleen laten zien HOEVEEL respondenten ze hebben, maar ook HOE ze eraan zijn gekomen en hoeveel GELD ze ervoor hebben betaald/gekregen. Dat maakt dat je het onderzoek met een korreltje of pakje zout moet nemen.

    Tegelijkertijd: laten we vooral niet doen alsof dit iets nieuws is. Zo lang we nog bij "serieuze" verkiezingen worden geconfronteerd met de meest uiteenlopende voorspellingen (De Hond versus Interview/NSS) heb ik niet de illusie dat onderzoekjes over e-mail, 9 tot 5, social networks, beste recruitmentsites e.d. het niveau ontstijgen van een gemiddelde horoscoop. Zeker niet als het gaat om internetpanels.

    Degene die daar dus belang aan hecht en op basis daarvan budget toewijst, zou beter moeten weten. Dan blijft over "wat nou als het echt zo is?". En dat zijn vooral leuke discussies: "wat nou als de maanlanding echt in de studio is opgenomen?" Geestig, het breekt de dag en we gaan vrolijk verder.
  • Toevallig heb ik zojuist een artikeltje geschreven over dat onderzoek onder die 500 mensen. Ik moest ook direct denken aan het fijne woordje representativiteit. En dan ook de vermelding dat ze het onderzoek onder medewerkers houden. Ik betwijfel of ik zelf 100% objectief zou kunnen zeggen of ik thuis objectiever werk als ik daarmee een kans zou krijgen mijn baas te overtuigen mij thuis te laten werken.

    Ik ben het er mee eens dat veel onderzoeken op zijn minst twijfelachtig zijn. Toch vind ik het vaak interessant om met de resultaten te spelen en te speculeren. Dan ga ik er maar even van uit dat het onderzoek klopt en doe daar iets mee. Met de gedachte 'wat nou als het echt zo is', wat nou als minimaal 25% van de mensen thuis productiever werkt. Dan is dat toch interessant, iets waar je meer mee moet kunnen.
    Het enige probleem daarvan is, is dat je speculeert. En dat gebeurd genoeg. En het wordt ook verward met echte, concrete kennis. En daar kun je gemakkelijk de fout in gaan.
  • Het is wel leuk om ook te vermelden dat het onderzoek over de 9-5 baan is gehouden onder een zeer representatieve 500 kantoormedewerkers. Waarschijnlijk had het bedrijf de enquete zelfs binnenshuis kunnen houden. Dit is een trend die mij de laatste tijd nog wel het meeste opvalt. De titel onderzoek is tot daar aan toe. Als het dan tenminste om een onderzoek gaat. In veel gevallen gaat het om het bevragen van een kleine groep. En 500 mensen representatief verklaren voor de volledige Nederlandse kantoorbevolking gaat mij toch echt te ver. Aan de andere kant is het leuk om te zien dat de conclusie wordt verbonden aan het fet dat 23% zegt even productief of productiever te zijn thuis. Dan blijven er 77% minder productieve mensen over. Niet echt een reden om die thuis te laten werken, denk ik. Zelf vind ik het wel jammer. Ik hoor wel bij die 23%. Datzelfde geldt voor de 40% die gelooft in een nieuwe vorm mobiel kantoor.
  • Cor
    Volgens mij heeft dit te maken met een groot, concurrerend aanbod van sites aan de ene kant en het nagenoeg ontbreken van kritische redacteuren (te duur voor sommige uitgevers) aan de andere kant. Vervolgens zorgen RSS-feeds ervoor dat 'nieuws' automatisch wordt verspreid.

    Het komt zelfs voor dat non-nieuws twee keer wordt verspreid. Eerst via internet, daarna als RSS-feed van nieuws dat in een papieren uitgave is verschenen. Omdat kritische redacteuren vaak ontbreken (of onvoldoende tijd hebben) komt het voor dat hetzelfde non-nieuwtje twee keer bij dezelfde site wordt gepubliceerd.
  • Ik vind het in het algemeen al een tijd opvallen dat HR/P&O; persberichten makkelijk klakkeloos overgenomen worden en het zo soms goedkoop scoren is op de nieuwssites met je naam en het 'onderzoek'. Nu weet ik niet of dat voor al het nieuws geldt of dat dit specifiek geldt voor het vakgebied.

    Intussen is onderzoek dus erg lucratief en makkelijk marketen, maar dienen lezers inderdaad kritisch te zijn.
  • En nog niet op 'post' gedrukt of de volgende slechte weergave van op zich misschien wel aardig onderzoek komt in mijn reader binnen.

    De kop: e-mailers meest productief

    De inhoud: Het aantal mailtjes is van minder belang, het gaat vooral om de sociale positie binnen het (digitale) netwerk van het bedrijf.

    http://www.hrpraktijk.nl//Nieuws/Nieuws/35262_E...

    De conslusie: netwerkers het meest productief. Tja, dat roep ik al jaren.
blog comments powered by Disqus

Werving en Recruitment is Digg proof thanks to caching by WP Super Cache