Derfor må du (ikke) lytte til meta-analysene…

Du blir fortalt at det er smartest å bruke evnetester, at strukturert intervju er mye bedre enn ustrukturert, og at du snarest må slutte å bruke CV og referanser. Jeg vil her vise at selv om meta-analyser er viktig i moderne forskning, er det også all mulig grunn til å bruke dem med forsiktighet.

Prediktive konsulenter hevder at meta-analyser angir gullstandarden for valg av utvelgelsesmetode. Budskapet er at hvis du ikke følger Schmidt & Hunters moralske forordning, vil du bli offer for et utall bias, diskriminere, velge feil kandidat, skape svakere resultat, og vise deg inkompetent i utvelgelse.

Meta-analysene framstår som en udiskutabel vitenskapelig sannhet de prediktive konsulenter kan sole seg i glansen fra, og brukes til å forsterke deres salgsbudskap. Ledere imponeres over et så vanskelig begrep som ‘meta-analyse’ og er glad for at de endelig har blitt opplyst om Den Ene og Rene Sannhet.

Det kan være store prestasjonsforskjeller blant søkerne. Derfor er det viktig å bruke metoder som kan forutsi framtidige prestasjoner med høy grad av sikkerhet. Dette kalles metodenes prediktive validitet.

For å finne ut hvilke metoder som er gode, gjennomføres stadig nye (primær)studier. Utfordringen er at kvaliteten varierer og har ulike former for skjevheter, feil og mangler. Samtidig undersøkes bare en- eller få metoder samtidig, og dekker bestemte yrkesgrupper, jobber, og kulturer og ikke andre.

Meta-analysene oppsummerer og gir kunnskapsstatus på tvers av mange primærstudier. Gjennom ulike former for vurderinger og statistiske korreksjoner får man bedre mål på metoders kvalitet enn det man kan finne i primær-studier, og er derfor sentralt i moderne forskning. Hvordan det korrigeres viser seg imidlertid å ha store konsekvenser, og her oppstår store problem.

Enkelt sagt beregner meta-analyser gjennomsnittet av tidligere primærstudier. Siden dette gir større datagrunnlag enn hver av primærstudiene, blir også konklusjonene sikrere. Samtidig ser man på spredningen innad i- og mellom studier, og lar gode studier telle mer enn dårligere. Videre gjøres statistiske korreksjoner for det fenomen at ikke alle som søkte på jobben blir utsatt for de ulike utvelgelsesmetodene, og at man kun får prestasjonsmål for dem som faktisk ansettes (beskåret spredning). De statistiske korreksjonene bygger på ulike former for vurderinger, og disse viser seg å være diskutable og gi ulike resultat.

Hvis meta-analyser viser den ene- og rene sannhet, hvorfor gir de da ulike resultat, slik det vises i tabellen? Og hvordan kan Schmidt komme til helt andre resultat i en (fortsatt upublisert) studie fra 2016, enn han selv gjorde i 1998?

Særlig overraskende er det at Schmidt og kolleger finner at ustrukturerte intervju har like høy prediktiv validitet som strukturerte. Med denne undersøkelsen kan man altså fortsette å gjennomføre ustrukturerte intervju, noe de samme prediktive forskerne tidligere har kritisert som en elendig metode. Svaret ligger i diskutable vurderinger, og statistiske beregninger og korreksjoner. Meta-analyser er altså ingen vidunderkur.

Nevnte Schmidt var tidlig ute med stor entusiasme og optimisme om meta-analysenes styrker, og argumenterte for at med så sikker kunnskap, ville det være uansvarlig å fortsette å undersøke visse typer spørsmål i nye empiriske primærstudier.

Andre og senere forskere er betydelig mer varsomme i sine vurderinger, og demonstrerer således at det ikke er tale om et sannhets-serum. Meta-analyser kan aldri bli bedre enn primærstudiene de bygger på, slik at det fortsatt er viktigere å få større, grundigere og bedre primærstudier, enn å forsøke å regne bort feil og mangler med statistikk.

Det er imidlertid også andre diskutable aspekt, og dette handler om å finne gjennomsnittet av epler, pærer, poteter og kiwi. Nå må du følge godt med i svingene!

Spørsmålet meta-analysene skal besvare, er hvor godt ulike utvelgelsesmetoder (uavhengig variabel) gjetter om jobbprestasjoner (avhengig variabel). Det er pussig at man mangler tydelige definisjoner av både metoder og prestasjoner når man skal undersøke nettopp hvor godt ulike metoder kan forutsi prestasjoner. Det er altså uklarhet om både uavhengig og avhengig variabel!

Schmidt & Hunter bruker begrepet «overall job performance», og begrepet «overall» viser at det er et samlebegrep med skjult variasjon (i avhengig variabel).

Prestasjoner deles vanligvis i tre: 1) Oppgavemessige prestasjoner, 2) Medborgerskap, og 3) Fravær av kontraproduktiv atferd. Som leder er det viktig å vurdere alle disse tre områdene, men metodene er ulikt egnet til hvert av disse. Evnetester er godt egnet til å forutsi oppgavemessige prestasjoner, men sier lite om motivasjon, hjelpsomhet, lojalitet, sportsånd, eller hang til å lyve, stjele og trakassere. Samtidig bygges «forurensning» inn i konklusjonen når det gjerne er nærmeste overordnede som er satt til å vurdere prestasjonene.

Meta-analyser kan altså forlede oss til å overse viktige hensyn og viktig variasjon, og til å trekke forenklede konklusjoner.

Samme uklarhet gjør seg gjeldende for utvelgelsesmetodene (altså uavhengig variabel). Det skilles mellom strukturerte- og ustrukturerte intervju, men det er ikke klart hva slags struktur det er tale om. Det er tross alt forskjell på en tematisert intervjuguide, og det å lese opp et spørreskjema. Andre meta-undersøkelser har gått grundigere til verks, og kan vise kvalitative forskjeller mellom ulike former for intervjustruktur. Referansesjekk betyr ikke det vi gjør her i Norge når vi ringer tidligere sjefer, medarbeidere eller kunder. I stedet menes anbefalingsbrev, som knapt brukes her til lands.

Meta-analysene har også andre innebygde problem, eksempelvis manglende normalfordeling. Til jobb der det kreves høyere utdanning, vil alle søkere ha høyere evnenivå enn befolkningen for øvrig, slik at evnenivå ikke skiller like godt blant søkerne. Selv om de smarteste vanligvis presterer best, er det ikke slik at i en gruppe smarte vil det den aller smarteste prestere best!

Videre forutsettes at alle metoder er likestilt, mens man i praksis bruker ulike metoder til ulike tider i prosessen. Man studerer ikke søkernes CV for å forutsi jobbprestasjoner, men for å sjekke om krav til utdanning, erfaring og sertifiseringer er tilfredsstilt. Selv om evnetester har høy prediktiv validitet, håper jeg ingen ville ansatt som kirurg en som manglet kirurgutdanning, uansett hvor kognitivt skarp søkeren måtte være!

Tross uklarhet og uenighet, er meta-analysenes hovedkonklusjon enkel: Man bør bruke metoder som måler relevante aspekt ved jobbatferd, altså hva kandidaten kan, har gjort tidligere, og hvor bra han eller hun har lykkes med det.

For deg som er leder er det viktig at du velger best mulig metoder, og det er et slikt arbeidsgiverperspektiv meta-analysene bygger på. At en metode er god for arbeidsgiver, betyr imidlertid ikke nødvendigvis at denne er nyttig, aksepteres eller likes av søkerne.

Metoder vil i ulik grad hjelpe søkerne når de skal gjøre sine vurderinger og valg. Prediktive forskere anbefaler ofte evnetester, og mange fraråder endatil intervju. Evnetester hjelper ikke kandidatene til å vurdere arbeidet og arbeidsplassen, mens intervju kan gi dem sentral informasjon for å gjøre sine valg. Et godt gjennomført finaleintervju vil kunne fungere som en god Realistic Job Preview, og endatil forberede- og hjelpe dem i innfasingen til ny jobb.

Prediktiv validitet er derfor ikke eneste hensyn i valg av metode. Man må også tenke sosial validitet, informasjonsrikdom for søkerne, og mye mer!

Du må ta meta-analysene på alvor, men samtidig forstå at de ikke forteller ‘sannheten, hele sannheten og intet annet enn sannheten’… Derfor denne artikkelens paradoksale tittel: Du må (ikke) lytte til meta-analysene.

Les også: Temaserien: Rekrutteringsveilederen. 

Tekst: Frode Hübertz Haaland, han er førsteamanuensis, forsker, forfatter og foredragsholder innen ansettelser, førstegangsledelse og lederskifter.