Arbeidsdeskundig Kennis Centrum (AKC)
De opzet van het AKC loonwaardevalideringsproject bood de mogelijkheid om in een laboratoriumsituatie de inter-beoordelaarsbetrouwbaarheid en de convergente validiteit1 te onderzoeken van loonwaardenmethodieken.
De eerste stap was, zoals hiervoor aangegeven, het beschrijven van de inhoud en de begrippen van de basissystematiek loonwaardebepaling. Dit werd vastgelegd in het rapport Standaardisering en uniformering van de kernbegrippen en modulen van loonwaardebepaling (AKC, oktober 2013). Vervolgens zijn er dertien realistische loonwaardecases beschreven, met filmpjes van arbeidssituaties. Het ging hierbij om cases van werknemers met arbeidsbeperkingen in het bedrijfsleven en de publieke sector, die al geruime tijd in die functie werken (d.w.z. een eventuele leercurve al hebben doorlopen). Deze dertien casussen zijn beschreven op basis van de basissystematiek.
Door experts van de betrokken systemen is, onder begeleiding van het AKC, voor elk van de dertien cases een juiste loonwaarde berekend, de zogenaamde gouden standaard. Dat gebeurde door voor elke casus de zes deelelementen van loonwaardebepaling gezamenlijk vast te stellen. Deze gouden standaarden dienden als ijkpunten voor het vaststellen van de mate waarin een methode meet wat het moet meten (validiteit). Drie van de dertien cases zijn gebruikt voor trainingsdoeleinden. Tien cases zijn in de experimentfase gebruikt.
Daarna zijn de volgende stappen van het loonwaardevalideringsonderzoek – in de vorm van een Randomized Controlled Trial (RCT)2 – doorlopen:
Meting T0: loonwaarde-experts bepalen de loonwaarde van de tien cases in een gecontroleerde laboratoriumopzet. Duur: drie dagen.
Training interventiegroep: een gedegen AKC-training van twee dagen in de basissystematiek. De interventiegroep wordt getraind, de controlegroep wordt niet getraind.
Meting T1: loonwaarde-experts bepalen nogmaals (in een andere volgorde) de loonwaarde van de tien casussen in dezelfde gecontroleerde laboratoriumopzet. Duur: drie dagen.
Beoordeling: beoordeling van de loonwaardevaststellingen in T0 en T1 door koppels van experts van de verschillende systemen volgens standaardmethode van dubbele, onafhankelijke beoordeling met daarna een consensusmeeting en monitoring van de wijze van beoordeling.
Analyse: analyse van de data en uitspraken over mate van inter-beoordelaarsbetrouwbaarheid en de mate van overeenkomst met de gouden standaard (juiste loonwaarde), de validiteit.
Rapportage en advisering: rapportage en adviezen per systeem.
De oorspronkelijke opzet van de efficacy pilot was een twee-armige Randomized Controlled Trial (RCT)3 met tien casussen en tien deelnemers in de interventiegroep (IG) en tien deelnemers in de controlegroep (CG ) (op basis van een ‘power analyse’).
De deelnemers van Dariuz, VTA en UWV (Sociaal Medische Zaken (SMZ) en WERKbedrijf) hebben de volgende stappen doorlopen:
Random indelen in interventiegroep (IG) en controlegroep (CG).
T0-meting (IG en CG) op basis van tien casussen.
Training interventiegroep (IG) op basis van drie casussen.
T1-meting (IG en CG) op basis van dezelfde tien casussen als T0 (in random volgorde).
Bij een twee-armige RCT en tien casussen zijn tien deelnemers nodig in IG en tien deelnemers in CG per loonwaardesystematiek (VTA, Dariuz, UWV) (op basis van een ‘power analyse’). In de praktijk bleken er echter onvoldoende loonwaarde-experts beschikbaar om een volledige twee-armige RCT uit te voeren. De beschikbaarheid van 33 loonwaardedeskundigen (Dariuz: 10, VTA/DWI: 6, UWV: 17), leidde voor Dariuz en VTA/DWI tot een voor- en nameting (15 IG en 1 CG) en voor UWV tot een RCT (random toegedeeld: 8 IG en 9 CG, gestratificeerd naar SMZ/WERKbedrijf).
Met de zestien arbeidsdeskundigen van VTA en Dariuz is een voor- en nameting gehouden. Een meting voorafgaande aan de training (T0) en een meting na de training (T1). Voor UWV kon vanwege een voldoende aantal deelnemers een Randomized Controlled Trial (RCT) worden ingericht met een interventiegroep en een controlegroep: zeventien deelnemers zijn random toegewezen aan de experimentgroep (acht deelnemers) en aan de controlegroep (negen deelnemers). De experimentgroep kreeg de training wel, de controlegroep niet. Bij beide groepen werd een T0- en een T1-meting uitgevoerd. In totaal hebben 23 van de 33 deelnemers aan de pilot de training gevolgd. Eén deelnemer van VTA heeft de beoogde training niet gevolgd, maar heeft wel meegedaan aan de T0- en T1-metingen.
De twee metingen leverden 2 x10 x 33 = 660 loonwaardeberekeningen op. Die zijn geanalyseerd op drie van de zes in de basissystematiek vooraf gedefinieerde elementen van de loonwaardebepaling, te weten: Pi3 = het normloon, Pi4 = de prestatie t.o.v. de norm en Pi5 = de loonwaarde.
De stappen van het loonwaardevalideringsonderzoek (Efficacy4 onderzoek) | ||
Stap 1 (september 2013) | Samenstelling experimentgroep per methode die meedoet in de validatie. | Samenstelling controlegroep met dezelfde specificaties als de experiment groep. |
Stap 2 = T0 (november 2013) | Experimentgroep maakt casuïstiek in een laboratoriumsituatie5. | Controlegroep maakt casuïstiek in een laboratoriumsituatie6. |
Stap 3 (november 2013) | Training in de nieuwe basissystematiek (inhoud validatie-afspraken). | Geen training in de nieuwe basissystematiek (inhoud validatie-afspraken). |
Stap 4 = T1 (november 2013) | In laboratoriumsituatie maken van dezelfde casuïstiek als bij stap 1, maar in een andere volgorde7. | In laboratoriumsituatie maken van dezelfde casuïstiek als bij stap 1, maar in een andere volgorde8. |
Stap 5 = beoordeling (december 2013 – maart 2014) | Beoordeling van de loonwaardevaststellingen in T0 en T1 door koppels van experts van de verschillende systemen volgens de standaardmethode van dubbele consensusbeoordeling en monitoring. | |
Stap 6 = analyse data (april - mei 2014) | Analyse van de data en uitspraken over de mate van bandbreedte ten opzichte van de gouden standaard. | |
Stap 7 = advies (mei-juni 2014) | Advies en valideringsrapport. Adviezen en waardering van de methoden ten opzichte van de gouden standaard in termen van de mate van validiteit en inter-beoordelaarsbetrouwbaarheid. | |
De uitgebreide beschrijving van de opzet van het loonwaardevalideringsproject van het AKC is te vinden in hoofdstuk 5 van AKC Cahier 13 A Validering loonwaardevaststelling . Deelrapport Inhoudsvalidatie methoden en opzet onderzoek loonwaarde validering. Standaardisering en uniformering van de kernbegrippen en modulen van loonwaardebepaling. AKC, oktober 2013 (publicatie mei 2014).
Convergente validiteit: hierbij vergelijkt men verschillende methoden (of verschillende meetlatten) die beogen hetzelfde begrip te meten met elkaar.
Randomized Controlled Trial (RCT): een onderzoek waarbij de werkzaamheid of effectiviteit van een instrument of interventie wordt onderzocht door de deelnemers aan het onderzoek op basis van toeval toe te wijzen aan een groep die het instrument toepast (of een nieuwe behandeling ondergaat) en een groep die het instrument niet toepast (of de normale behandeling ondergaat), ‘ususal care’. In een RCT wordt de situatie voorafgaand aan een interventie (T0) en na de interventie (T1 en eventueel T2 en zo verder) gemeten bij zowel de interventiegroep als de controlegroep, om het effect van het instrument of de nieuwe behadeling te meten.
Twee-armige RCT: een Randomized Controlled Trial waarbij de deelnemers op basis van toeval (‘random’) zijn toegewezen aan twee groepen: een interventiegroep en een controlegroep. Er kunnen ook drie-armige of vier-armige RCT’s zijn, waarbij meerdere, verschillende interventiegroepen worden vergeleken met een controlegroep.
Efficacy: de werkzaamheid van een instrument of interventie. Deze werkzaamheid wordt onderzocht in een laboratoriumsituatie, waarbij bepaalde belangrijke omstandigheden constant kunnen worden gehouden, dan wel kunnen worden ‘gemanipuleerd’ door de onderzoekers. Dit in tegenstelling tot effectiviteitsonderzoek, dat het effect van een instrument of interventie in de werkelijkheid onderzoekt.
Voor experimentgroep en controlegroep dezelfde casuïstiek op hetzelfde moment.
Voor experimentgroep en controlegroep dezelfde casuïstiek op hetzelfde moment.
Voor experimentgroep en controlegroep dezelfde casuïstiek op hetzelfde moment.
Voor experimentgroep en controlegroep dezelfde casuïstiek op hetzelfde moment.