Cohen's kappa

Inter-observer agreement geeft aan in hoeverre verschillende observers tot hetzelfde oordeel komen bij het uitvoeren van eenzelfde meting. Het geeft daarmee aan hoe gevoelig de metingen zijn voor de persoon die de metingen verricht. Vaak wordt er ook gekeken naar de intra-observer agreement, hierbij wordt gekeken in hoeverre een observer tot hetzelfde oordeel komt bij het herhaalderlijk uitvoeren van een meting.

kappa

Kappa (ook wel Cohen's kappa genoemd) is een maat voor inter-observer agreement.

Mijn kappa komt veel lager uit dan ik verwacht, waar kan dit door komen?

Ik wil uitrekenen wat de kappa tussen drie radiologen is bij het beoordelen van kleine longembolien. Het gaat mij er om hoe vaak zij een mini-longembolie zien (heb ik waarde 2 gegeven, grotere longembolie of geen longembolie heb ik waarde 1 gegeven). De meeste waarden zijn 1, met in een paar gevallen (en verschillende voor de drie radiologen) een 2. Ook al is er discrepantie tussen de radiologen, toch zou je verwachten dat het nog een redelijke kappa zou hebben: zo vaak komt zo'n mini-longembolie niet voor. Toch krijg ik juist een hele lage kappa (0.08). Dit snap ik niet.

Niet zeker te zeggen zonder de data te zien, maar een plausibele verklaring voor het verkrijgen van een dergelijke lage kappa in dit geval is het volgende. Kappa berekent niet de overeenkomst tussen de raters sec, maar berekent de mate waarin de raters meer overeenkomen dat wat puur op basis van toeval verwacht zou worden. Wanneer het meerendeel van de embolien door de raters als 1 gescoord worden, en de keuze van welke embolien een 2 krijgen puur op basis van toeval gemaakt zou worden, dan is er nog steeds een grote kans dat de raters in veel gevallen beide een 1 gescoord hebben. Het is dus lastig om nog veel toe te voegen aan deze op toeval berustende overeenstemming. Blijkbaar is de werkelijke overeenstemming niet veel beter gebleken.

Referenties

• Douglas G, Altman, Practical Statistics for Medical Research, pag. 404
• Discussie over het nut van kappa en een uitgebreide verwijzing naar literatuur[1].

Terug naar OVERZICHT voor een overzicht van alle statistische onderwerpen op deze wiki.

Terug naar KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse.