Arbeidsdeskundig Kennis Centrum (AKC)
Door de gekozen opzet van het onderzoek kunnen voor het eerst, wetenschappelijk verantwoord, uitspraken over loonwaardebepaling worden gedaan.
De probleemstelling is drieledig:
Inzicht in de betrouwbaarheid en validiteit van de diverse methoden voor loonwaardebepaling, indien toegepast door loonwaardedeskundigen.
Inzicht in de betrouwbaarheid en validiteit van de overeengekomen basissystematiek voor loonwaardebepaling, indien toegepast door loonwaardedeskundigen.
Inzicht of de overeengekomen systematiek voor loonwaardebepaling een verbetering betekent wat betreft betrouwbaarheid en validiteit.
De probleemstelling van het onderzoek is vertaald in drie onderzoekvragen:
Hoe groot is de inter-beoordelaarsbetrouwbaarheid (IBB) op T0 respectievelijk T1 op organisatieniveau (methode)? Neemt de IBB toe op T1 en is het verschil met T0 significant?
Wat is de mate van overeenstemming tussen de bepaalde loonwaardescores en de gouden standaard (juiste loonwaarde) op T0 en T1? Neemt deze overeenstemming toe op T1 en is het verschil met T0 significant?
Wat is de afstand tussen de bepaalde loonwaardescores en de gouden standaard (juiste loonwaarde) op T0 en T1? Neemt deze afstand af op T1 en is het verschil met T0 significant?
De nieuwe basissystematiek loonwaardebepaling kent, zoals eerder aangegeven, zes deelelementen. Daarvan vormen Pi3 (normloon), Pi4 (de prestatie t.o.v. de norm) en Pi5 (de loonwaarde) het hart. Daarom is deze eerste resultatenanalyse gebaseerd op Pi3 (normloon), Pi4 (de prestatie t.o.v. de norm) en Pi5 (de loonwaarde).
De uitkomstmaten met betrekking tot betrouwbaarheid en validiteit zijn voor Pi3, Pi4 en Pi5 afzonderlijk bepaald. Pi5 is namelijk samengesteld uit Pi3 x Pi4 (Pi5 = Pi3 x Pi4 gecorrigeerd voor een eventuele deeltijdfactor).
Er is gewerkt met de volgende uitkomstmaten:
inter-beoordelaarsbetrouwbaarheid (betrouwbaarheid);
het aantal scores binnen 10%-bandbreedte ten opzichte van de gouden standaard (juiste loonwaarde) (validiteit);
de absolute procentuele afstand tot de gouden standaard (juiste loonwaarde) (= 100% x absolute verschil/gouden standaard) (validiteit).
Indien een +/- bandbreedte was afgesproken bij de gouden standaard, is uitgegaan van het midden van die bandbreedte. Dit is een conservatieve benadering van de validiteit.
Sterke elementen van de opzet van de efficacy pilot zijn:
een loonwaardesystematiek met ‘inhoudsvaliditeit’1;
door experts opgestelde ‘real life’ casussen;
gouden standaarden voor casussen met ‘inhoudsvaliditeit’;
drie duidelijke uitkomstmaten (inter-beoordelaarsbetrouwbaarheid, de mate van overeenstemming met en de afstand tot de gouden standaard;
een uitgevoerd procesevaluatie;
de deelname van drie loonwaardesystematieken.
De mogelijke zwaktes van het onderzoek zijn nader bekeken en konden veelal zonder de opzet van het onderzoek te verstoren worden gecompenseerd. Het ging daarbij om:
alleen voor UWV een RCT;
grotendeels alleen voor- en na meting;
missings op T0 voor Pi3
een klein aantal deelnemers per organisatie (met name VTA);
mogelijk confounding2 tussen organisaties door verschil in kenmerken van de deelnemers;
slechts gedeeltelijk rekening gehouden met clustering van geneste gegevens.
Voor een gedetailleerdere verantwoording wordt verwezen naar de Wetenschappelijke verantwoording uitvoering efficacy pilot en resultatenanalyse. PowerPointpresentatie AKC, Dr. Ton Schellart MBA, mei 2014.
Inhoudsvaliditeit (‘content validity’): bij inhoudsvaliditeit wordt onderzocht of de empirische meetlat het gehele theoretische begrip dekt. Loonwaarde is een theoretisch begrip met een breed domein. Dat is door de experts uiteengerafeld in zes empirische indicatoren, die zijn gekoppeld aan de stappen voor de vaststelling van loonwaarde. Zo zijn afspraken gemaakt voor gegevensverzameling, het vaststellen van ijkpunten (normfunctie en normloon), het vaststellen van de prestatie (Tempo, Kwaliteit en Inzetbaarheid), rekenformules(T x K x I) en kosten (Additionele kosten) die niet in de loonwaarde verrekend worden. Een methode behoort alle aspecten van het te onderzoeken begrip te meten, indien het een representatieve weerspiegeling van het begrip wil geven. In dit project is zeer nauwgezet met de inhoudsvaliditeit omgegaan door eerst met alle experts een rapport op te stellen met alle te meten aspecten van het begrip ‘loonwaarde’.
Confounding: er is sprake van confounding wanneer een derde factor, die gerelateerd is aan zowel de determinant als de uitkomst, het causale verband tussen die twee verstoort.