Cahier 13b – Validering loonwaardevaststelling resultaten
3 Wetenschappelijke verantwoording van de probleemstelling, vraagstelling en gekozen uitkomstmaten van het onderzoek

Door de gekozen opzet van het onderzoek kunnen voor het eerst, wetenschappelijk verantwoord, uitspraken over loonwaardebepaling worden gedaan.

De probleemstelling is drieledig:

1. Inzicht in de betrouwbaarheid en validiteit van de diverse methoden voor loonwaardebepaling, indien toegepast door loonwaardedeskundigen.

2. Inzicht in de betrouwbaarheid en validiteit van de overeengekomen basissystematiek voor loonwaardebepaling, indien toegepast door loonwaardedeskundigen.

3. Inzicht of de overeengekomen systematiek voor loonwaardebepaling een verbetering betekent wat betreft betrouwbaarheid en validiteit.

De probleemstelling van het onderzoek is vertaald in drie onderzoekvragen:

1. Hoe groot is de inter-beoordelaarsbetrouwbaarheid (IBB) op T0 respectievelijk T1 op organisatieniveau (methode)? Neemt de IBB toe op T1 en is het verschil met T0 significant?

2. Wat is de mate van overeenstemming tussen de bepaalde loonwaardescores en de gouden standaard (juiste loonwaarde) op T0 en T1? Neemt deze overeenstemming toe op T1 en is het verschil met T0 significant?

3. Wat is de afstand tussen de bepaalde loonwaardescores en de gouden standaard (juiste loonwaarde) op T0 en T1? Neemt deze afstand af op T1 en is het verschil met T0 significant?

De nieuwe basissystematiek loonwaardebepaling kent, zoals eerder aangegeven, zes deelelementen. Daarvan vormen Pi3 (normloon), Pi4 (de prestatie t.o.v. de norm) en Pi5 (de loonwaarde) het hart. Daarom is deze eerste resultatenanalyse gebaseerd op Pi3 (normloon), Pi4 (de prestatie t.o.v. de norm) en Pi5 (de loonwaarde).

De uitkomstmaten met betrekking tot betrouwbaarheid en validiteit zijn voor Pi3, Pi4 en Pi5 afzonderlijk bepaald. Pi5 is namelijk samengesteld uit Pi3 x Pi4 (Pi5 = Pi3 x Pi4 gecorrigeerd voor een eventuele deeltijdfactor).

Er is gewerkt met de volgende uitkomstmaten:

• inter-beoordelaarsbetrouwbaarheid (betrouwbaarheid);

• het aantal scores binnen 10%-bandbreedte ten opzichte van de gouden standaard (juiste loonwaarde) (validiteit);

• de absolute procentuele afstand tot de gouden standaard (juiste loonwaarde) (= 100% x absolute verschil/gouden standaard) (validiteit).

Indien een +/- bandbreedte was afgesproken bij de gouden standaard, is uitgegaan van het midden van die bandbreedte. Dit is een conservatieve benadering van de validiteit.

Sterke elementen van de opzet van de efficacy pilot zijn:

• een loonwaardesystematiek met ‘inhoudsvaliditeit’¹;

• door experts opgestelde ‘real life’ casussen;

• gouden standaarden voor casussen met ‘inhoudsvaliditeit’;

• drie duidelijke uitkomstmaten (inter-beoordelaarsbetrouwbaarheid, de mate van overeenstemming met en de afstand tot de gouden standaard;

• een uitgevoerd procesevaluatie;

• de deelname van drie loonwaardesystematieken.

De mogelijke zwaktes van het onderzoek zijn nader bekeken en konden veelal zonder de opzet van het onderzoek te verstoren worden gecompenseerd. Het ging daarbij om:

• alleen voor UWV een RCT;

• grotendeels alleen voor- en na meting;

• missings op T0 voor Pi3

• een klein aantal deelnemers per organisatie (met name VTA);

• mogelijk confounding tussen organisaties door verschil in kenmerken van de deelnemers;

• slechts gedeeltelijk rekening gehouden met clustering van geneste gegevens.

Voor een gedetailleerdere verantwoording wordt verwezen naar de Wetenschappelijke verantwoording uitvoering efficacy pilot en resultatenanalyse. PowerPointpresentatie AKC, Dr. Ton Schellart MBA, mei 2014.