Cohen's kappa - Revision history

M Wolvers: *Zeer heldere uitleg over kappa op de Kennisbasis Statistiek [http://www.wynneconsult.com/root/Assoc/Cohe336.htm] broken link eruit gehaald

2024-05-13T08:50:44Z

*Zeer heldere uitleg over kappa op de Kennisbasis Statistiek [http://www.wynneconsult.com/root/Assoc/Cohe336.htm] broken link eruit gehaald

← Older revision		Revision as of 10:50, 13 May 2024
Line 122:		Line 122:
	= Referenties =		= Referenties =

	*Zeer heldere uitleg over kappa op de Kennisbasis Statistiek [http://www.wynneconsult.com/root/Assoc/Cohe336.htm]
	*Douglas G, Altman, Practical Statistics for Medical Research, pag. 404		*Douglas G, Altman, Practical Statistics for Medical Research, pag. 404
	*[http://www.ncbi.nlm.nih.gov/pubmed/2348207 Feinstein AR, Cicchetti DV. High agreement but low kappa: I. The problems of two paradoxes. J Clin Epidemiol. 1990;43(6):543-9.]		*[http://www.ncbi.nlm.nih.gov/pubmed/2348207 Feinstein AR, Cicchetti DV. High agreement but low kappa: I. The problems of two paradoxes. J Clin Epidemiol. 1990;43(6):543-9.]

Rebecca Holman: /* Hoe kan ik bij een gewogen kappa zelf de gewichten specificeren? */

2018-11-29T10:06:39Z

Hoe kan ik bij een gewogen kappa zelf de gewichten specificeren?

← Older revision		Revision as of 12:06, 29 November 2018
Line 118:		Line 118:
	''Vooralsnog heb ik via de extensie in SPSS een lineair gewogen kappa gebruikt, maar we willen nu graag handmatig gewichten gaan toekennen aan verschillende categorieën. Dat handmatig gewichten toekennen is in de extensie van SPSS niet mogelijk. Weet u misschien een programma’tje dat ik kan gebruiken waarbij dat wel mogelijk is?		''Vooralsnog heb ik via de extensie in SPSS een lineair gewogen kappa gebruikt, maar we willen nu graag handmatig gewichten gaan toekennen aan verschillende categorieën. Dat handmatig gewichten toekennen is in de extensie van SPSS niet mogelijk. Weet u misschien een programma’tje dat ik kan gebruiken waarbij dat wel mogelijk is?

	In [[statistische software#SPSS\|SPSS]] door ipv de extensie te gebruiken een stuk syntax te gebruiken en daarin de gewenste gewichten te specificeren. Zie de referentie naar Valiquette op [https://www-304.ibm.com/support/docview.wss?uid=swg21477357 deze website van SPSS]. In [[statistische software#Stata\|Stata]] kun je het direct specificeren bij gebruik van de functie [http://www.stata.com/manuals13/rkappa.pdf kapwgt]. In [[statistische software#R\|R]] kun je de weightmatrix ook direct specificeren in de ‘kappa2’ functie van de [http://cran.r-project.org/web/packages/irr/irr.pdf irr package]. Hierin lijk je wel een symmetrische gewichten matrix in te moeten geven. In de cohen.kappa functie in [https://personality-project.org/r/psych/help/kappa.html package psych] lijk je de hele matrix te kunnen specificeren.		In [[statistische software#SPSS\|SPSS]] door ipv de extensie te gebruiken een stuk syntax te gebruiken en daarin de gewenste gewichten te specificeren. Zie de referentie naar Valiquette op [https://www-304.ibm.com/support/docview.wss?uid=swg21477357 deze website van SPSS]. In [[statistische software#Stata\|Stata]] kun je het direct specificeren bij gebruik van de functie [http://www.stata.com/manuals13/rkappa.pdf kapwgt]. In [[statistische software#R\|R]] kun je de weightmatrix ook direct specificeren in de ‘kappa2’ functie van de [http://cran.r-project.org/web/packages/irr/irr.pdf irr package]. Hierin lijk je wel een symmetrische gewichten matrix in te moeten geven. In de cohen.kappa functie in [https://personality-project.org/r/psych/help/kappa.html package psych] lijk je de hele matrix te kunnen specificeren.

	~~Mogelijkheid hiervoor is er ook in [http://agreestat.com/agreestat Agree Stat], een commercieel beschikbare excel-tool~~.

	= Referenties =		= Referenties =

Rebecca Holman: /* Waar vind ik kappa in SPSS? */

2018-11-29T10:06:09Z

Waar vind ik kappa in SPSS?

← Older revision		Revision as of 12:06, 29 November 2018
Line 110:		Line 110:
	Voor meedere beoordelaars/beoordelingen (generalized kappa of Fleiss' kappa) is er nog geen standaard procedure in SPSS, er is wel een SPSS extensie beschikbaar (zie onder). Op deze [http://www.ccitonline.org/jking/homepage/ website] vind je meerdere macro's (o.a. in excel, [http://www.ccitonline.org/jking/homepage/interrater.txt SPSS] en SAS) die een kappa bij meerdere observers uit kunnen rekenen.		Voor meedere beoordelaars/beoordelingen (generalized kappa of Fleiss' kappa) is er nog geen standaard procedure in SPSS, er is wel een SPSS extensie beschikbaar (zie onder). Op deze [http://www.ccitonline.org/jking/homepage/ website] vind je meerdere macro's (o.a. in excel, [http://www.ccitonline.org/jking/homepage/interrater.txt SPSS] en SAS) die een kappa bij meerdere observers uit kunnen rekenen.

	Voor een gewogen (weighted) kappa welke gebruikt wodt voor ordinale uitkomstmaten is er ook nog geen standaard procedure in SPSS, er is wel een SPSS extensie beschikbaar (zie onder)~~. Er wordt een rekenprogramma aangeboden op de [http://faculty.vassar.edu/lowry/kappa.html website van Vassar college]~~. Ook is er de volgende mogelijkheid: de weighted kappa (met kwadratische weegfunctie) is in wezen gelijk aan een [[intraclass correlatie coefficient]]. Een duidelijke omschrijving hiervan kun je vinden in "Biostatistiscs, The Bare Essentials, Norman & Streiner - pag 220-222"..		Voor een gewogen (weighted) kappa welke gebruikt wodt voor ordinale uitkomstmaten is er ook nog geen standaard procedure in SPSS, er is wel een SPSS extensie beschikbaar (zie onder). Ook is er de volgende mogelijkheid: de weighted kappa (met kwadratische weegfunctie) is in wezen gelijk aan een [[intraclass correlatie coefficient]]. Een duidelijke omschrijving hiervan kun je vinden in "Biostatistiscs, The Bare Essentials, Norman & Streiner - pag 220-222"..

	Voor zowel de Fleiss kappa als de weighted kappa zijn voor SPSS 20 extension budles beschikbaar. Na het downloaden hiervan komen er extra menu opties onder Analyze -> Scale. De volgende stappen zijn hiervoor nodig. Voordat deze extensies kunnen worden geïnstalleerd moet eerst de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/0c39f1d0-c6ba-44f8-bffc-c8f0bb97e1f6 PythonEssentials plugin] worden gedownload en geïnstalleerd. Hierbij moet de juiste versie voor het besturingssysteem worden gekozen (voor de meeste pc’s in het AMC zal dit windows 32 bits (win32) zijn). Het gedownloade installatieprogramma kan vervolgens worden uitgevoerd. Wanneer de Python plugin is geïnstalleerd kunnen de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/23c2eac7-e524-4393-a4b9-0d224a2a0eda extensies voor het berekenen van een gewogen kappa of Fleiss kappa] worden gedownload. Deze extensies zijn te activeren in SPSS, via Utilities > Extension Bundles > Install Extension Bundle. Vervolgens kan de bestandslocatie van de gedownloade extensiebundel worden geselecteerd.		Voor zowel de Fleiss kappa als de weighted kappa zijn voor SPSS 20 extension budles beschikbaar. Na het downloaden hiervan komen er extra menu opties onder Analyze -> Scale. De volgende stappen zijn hiervoor nodig. Voordat deze extensies kunnen worden geïnstalleerd moet eerst de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/0c39f1d0-c6ba-44f8-bffc-c8f0bb97e1f6 PythonEssentials plugin] worden gedownload en geïnstalleerd. Hierbij moet de juiste versie voor het besturingssysteem worden gekozen (voor de meeste pc’s in het AMC zal dit windows 32 bits (win32) zijn). Het gedownloade installatieprogramma kan vervolgens worden uitgevoerd. Wanneer de Python plugin is geïnstalleerd kunnen de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/23c2eac7-e524-4393-a4b9-0d224a2a0eda extensies voor het berekenen van een gewogen kappa of Fleiss kappa] worden gedownload. Deze extensies zijn te activeren in SPSS, via Utilities > Extension Bundles > Install Extension Bundle. Vervolgens kan de bestandslocatie van de gedownloade extensiebundel worden geselecteerd.

J Wezelman: /* Hoe wordt kappa berekend? */

2015-07-01T09:07:34Z

Hoe wordt kappa berekend?

← Older revision		Revision as of 11:07, 1 July 2015
Line 10:		Line 10:
	Kappa drukt een voor kans gecorrigeerde overeenkomst uit, en wordt als volgt berekend:		Kappa drukt een voor kans gecorrigeerde overeenkomst uit, en wordt als volgt berekend:

	<math>\kappa=\frac{\text{\% voor kans gecorrigeerde geobserveerde overeenkomst}}{\text{\% voor kans gecorrigeerde potentiele overeenkomst}}</math>		<math>\kappa=\frac{\%\text{voor kans gecorrigeerde geobserveerde overeenkomst}}{\%\text{voor kans gecorrigeerde potentiele overeenkomst}}</math>

	===Voorbeeld berekening kappa===		===Voorbeeld berekening kappa===

Nan van Geloven: /* Referenties */

2015-04-09T09:55:41Z

Referenties

← Older revision		Revision as of 11:55, 9 April 2015
Line 130:		Line 130:
	*[http://www.ncbi.nlm.nih.gov/pubmed/8621993 Lantz CA, Nebenzahl E. Behavior and interpretation of the kappa statistic: resolution of the two paradoxes. J Clin Epidemiol. 1996 Apr;49(4):431-4.]		*[http://www.ncbi.nlm.nih.gov/pubmed/8621993 Lantz CA, Nebenzahl E. Behavior and interpretation of the kappa statistic: resolution of the two paradoxes. J Clin Epidemiol. 1996 Apr;49(4):431-4.]
	*[http://www.ncbi.nlm.nih.gov/pubmed/843571 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159–174. DOI: 10.2307/2529310.]		*[http://www.ncbi.nlm.nih.gov/pubmed/843571 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159–174. DOI: 10.2307/2529310.]
			*[http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3402032/ Hallgren KA. Computing Inter-Rater Reliability for Observational Data: An Overview and Tutorial. Tutorials in quantitative methods for psychology. 2012;8(1):23-34.]


	{{onderschrift}}		{{onderschrift}}

Nan van Geloven at 07:36, 10 February 2015

2015-02-10T07:36:39Z

← Older revision		Revision as of 09:36, 10 February 2015
Line 1:		Line 1:
	{{auteurs\|		{{auteurs\|
	\|mainauthor= prof.dr. R.J. de Haan		\|mainauthor= prof.dr. R.J. de Haan
	\|coauthor=		\|coauthor= dr. ir. N van Geloven
	}}		}}
	Kappa (ook wel Cohen's kappa genoemd) is een maat voor [[diagnostisch onderzoek#Hoe analyseer ik de betrouwbaarheid van mijn meetmethode? \|intra- en interobserver agreement]]. De kappa coëfficiënt is een voor kans gecorrigeerde maat van overeenkomst tussen beoordelingen. Een kappa van 0 betekent dat de overeenkomst tussen beoordelingen volledig op kans berust, een kappa van 1 is een volledige overeenkomst.		Kappa (ook wel Cohen's kappa genoemd) is een maat voor [[diagnostisch onderzoek#Hoe analyseer ik de betrouwbaarheid van mijn meetmethode? \|intra- en interobserver agreement]]. De kappa coëfficiënt is een voor kans gecorrigeerde maat van overeenkomst tussen beoordelingen. Een kappa van 0 betekent dat de overeenkomst tussen beoordelingen volledig op kans berust, een kappa van 1 is een volledige overeenkomst.

Nan van Geloven: /* Hoe kan ik bij een gewogen kappa zelf de gewichten specificeren? */

2015-02-10T07:36:21Z

Hoe kan ik bij een gewogen kappa zelf de gewichten specificeren?

← Older revision		Revision as of 09:36, 10 February 2015
Line 114:		Line 114:
	Voor zowel de Fleiss kappa als de weighted kappa zijn voor SPSS 20 extension budles beschikbaar. Na het downloaden hiervan komen er extra menu opties onder Analyze -> Scale. De volgende stappen zijn hiervoor nodig. Voordat deze extensies kunnen worden geïnstalleerd moet eerst de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/0c39f1d0-c6ba-44f8-bffc-c8f0bb97e1f6 PythonEssentials plugin] worden gedownload en geïnstalleerd. Hierbij moet de juiste versie voor het besturingssysteem worden gekozen (voor de meeste pc’s in het AMC zal dit windows 32 bits (win32) zijn). Het gedownloade installatieprogramma kan vervolgens worden uitgevoerd. Wanneer de Python plugin is geïnstalleerd kunnen de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/23c2eac7-e524-4393-a4b9-0d224a2a0eda extensies voor het berekenen van een gewogen kappa of Fleiss kappa] worden gedownload. Deze extensies zijn te activeren in SPSS, via Utilities > Extension Bundles > Install Extension Bundle. Vervolgens kan de bestandslocatie van de gedownloade extensiebundel worden geselecteerd.		Voor zowel de Fleiss kappa als de weighted kappa zijn voor SPSS 20 extension budles beschikbaar. Na het downloaden hiervan komen er extra menu opties onder Analyze -> Scale. De volgende stappen zijn hiervoor nodig. Voordat deze extensies kunnen worden geïnstalleerd moet eerst de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/0c39f1d0-c6ba-44f8-bffc-c8f0bb97e1f6 PythonEssentials plugin] worden gedownload en geïnstalleerd. Hierbij moet de juiste versie voor het besturingssysteem worden gekozen (voor de meeste pc’s in het AMC zal dit windows 32 bits (win32) zijn). Het gedownloade installatieprogramma kan vervolgens worden uitgevoerd. Wanneer de Python plugin is geïnstalleerd kunnen de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/23c2eac7-e524-4393-a4b9-0d224a2a0eda extensies voor het berekenen van een gewogen kappa of Fleiss kappa] worden gedownload. Deze extensies zijn te activeren in SPSS, via Utilities > Extension Bundles > Install Extension Bundle. Vervolgens kan de bestandslocatie van de gedownloade extensiebundel worden geselecteerd.

	= Hoe kan ik bij een gewogen kappa zelf de gewichten specificeren? =		==Hoe kan ik bij een gewogen kappa zelf de gewichten specificeren?==

	''Vooralsnog heb ik via de extensie in SPSS een lineair gewogen kappa gebruikt, maar we willen nu graag handmatig gewichten gaan toekennen aan verschillende categorieën. Dat handmatig gewichten toekennen is in de extensie van SPSS niet mogelijk. Weet u misschien een programma’tje dat ik kan gebruiken waarbij dat wel mogelijk is?		''Vooralsnog heb ik via de extensie in SPSS een lineair gewogen kappa gebruikt, maar we willen nu graag handmatig gewichten gaan toekennen aan verschillende categorieën. Dat handmatig gewichten toekennen is in de extensie van SPSS niet mogelijk. Weet u misschien een programma’tje dat ik kan gebruiken waarbij dat wel mogelijk is?

Nan van Geloven at 07:41, 17 September 2014

2014-09-17T07:41:43Z

← Older revision		Revision as of 09:41, 17 September 2014
Line 113:		Line 113:

	Voor zowel de Fleiss kappa als de weighted kappa zijn voor SPSS 20 extension budles beschikbaar. Na het downloaden hiervan komen er extra menu opties onder Analyze -> Scale. De volgende stappen zijn hiervoor nodig. Voordat deze extensies kunnen worden geïnstalleerd moet eerst de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/0c39f1d0-c6ba-44f8-bffc-c8f0bb97e1f6 PythonEssentials plugin] worden gedownload en geïnstalleerd. Hierbij moet de juiste versie voor het besturingssysteem worden gekozen (voor de meeste pc’s in het AMC zal dit windows 32 bits (win32) zijn). Het gedownloade installatieprogramma kan vervolgens worden uitgevoerd. Wanneer de Python plugin is geïnstalleerd kunnen de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/23c2eac7-e524-4393-a4b9-0d224a2a0eda extensies voor het berekenen van een gewogen kappa of Fleiss kappa] worden gedownload. Deze extensies zijn te activeren in SPSS, via Utilities > Extension Bundles > Install Extension Bundle. Vervolgens kan de bestandslocatie van de gedownloade extensiebundel worden geselecteerd.		Voor zowel de Fleiss kappa als de weighted kappa zijn voor SPSS 20 extension budles beschikbaar. Na het downloaden hiervan komen er extra menu opties onder Analyze -> Scale. De volgende stappen zijn hiervoor nodig. Voordat deze extensies kunnen worden geïnstalleerd moet eerst de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/0c39f1d0-c6ba-44f8-bffc-c8f0bb97e1f6 PythonEssentials plugin] worden gedownload en geïnstalleerd. Hierbij moet de juiste versie voor het besturingssysteem worden gekozen (voor de meeste pc’s in het AMC zal dit windows 32 bits (win32) zijn). Het gedownloade installatieprogramma kan vervolgens worden uitgevoerd. Wanneer de Python plugin is geïnstalleerd kunnen de [https://www.ibm.com/developerworks/community/files/app?lang=en#/collection/23c2eac7-e524-4393-a4b9-0d224a2a0eda extensies voor het berekenen van een gewogen kappa of Fleiss kappa] worden gedownload. Deze extensies zijn te activeren in SPSS, via Utilities > Extension Bundles > Install Extension Bundle. Vervolgens kan de bestandslocatie van de gedownloade extensiebundel worden geselecteerd.

			= Hoe kan ik bij een gewogen kappa zelf de gewichten specificeren? =

			''Vooralsnog heb ik via de extensie in SPSS een lineair gewogen kappa gebruikt, maar we willen nu graag handmatig gewichten gaan toekennen aan verschillende categorieën. Dat handmatig gewichten toekennen is in de extensie van SPSS niet mogelijk. Weet u misschien een programma’tje dat ik kan gebruiken waarbij dat wel mogelijk is?

			In [[statistische software#SPSS\|SPSS]] door ipv de extensie te gebruiken een stuk syntax te gebruiken en daarin de gewenste gewichten te specificeren. Zie de referentie naar Valiquette op [https://www-304.ibm.com/support/docview.wss?uid=swg21477357 deze website van SPSS]. In [[statistische software#Stata\|Stata]] kun je het direct specificeren bij gebruik van de functie [http://www.stata.com/manuals13/rkappa.pdf kapwgt]. In [[statistische software#R\|R]] kun je de weightmatrix ook direct specificeren in de ‘kappa2’ functie van de [http://cran.r-project.org/web/packages/irr/irr.pdf irr package]. Hierin lijk je wel een symmetrische gewichten matrix in te moeten geven. In de cohen.kappa functie in [https://personality-project.org/r/psych/help/kappa.html package psych] lijk je de hele matrix te kunnen specificeren.

			Mogelijkheid hiervoor is er ook in [http://agreestat.com/agreestat Agree Stat], een commercieel beschikbare excel-tool.

	= Referenties =		= Referenties =

Nan van Geloven: /* Referenties */

2014-07-30T11:52:30Z

Referenties

← Older revision		Revision as of 13:52, 30 July 2014
Line 121:		Line 121:
	*[http://www.sciencedirect.com/science/article/pii/089543569090159M Cicchetti DV, Feinstein AR. High agreement but low kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiol. 1990;43(6):551–558.]		*[http://www.sciencedirect.com/science/article/pii/089543569090159M Cicchetti DV, Feinstein AR. High agreement but low kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiol. 1990;43(6):551–558.]
	*[http://www.ncbi.nlm.nih.gov/pubmed/8621993 Lantz CA, Nebenzahl E. Behavior and interpretation of the kappa statistic: resolution of the two paradoxes. J Clin Epidemiol. 1996 Apr;49(4):431-4.]		*[http://www.ncbi.nlm.nih.gov/pubmed/8621993 Lantz CA, Nebenzahl E. Behavior and interpretation of the kappa statistic: resolution of the two paradoxes. J Clin Epidemiol. 1996 Apr;49(4):431-4.]
			*[http://www.ncbi.nlm.nih.gov/pubmed/843571 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33:159–174. DOI: 10.2307/2529310.]

	{{onderschrift}}		{{onderschrift}}

Nan van Geloven: /* Hoe interpreteer ik Cohen’s Kappa? */

2014-07-30T11:50:46Z

Hoe interpreteer ik Cohen’s Kappa?

← Older revision		Revision as of 13:50, 30 July 2014
Line 84:		Line 84:

	==Hoe interpreteer ik Cohen’s Kappa? ==		==Hoe interpreteer ik Cohen’s Kappa? ==
	Kappa waarden worden (op arbitraire(!) afkappunten) geïnterpreteerd in termen van: ‘slecht’ (k < 0); ‘gering’ (0-0,20); ‘matig’ (0,21-0,40); ‘redelijk’ (0,41-0,60); ‘voldoende tot goed’(0,61-0,80) en ‘bijna perfect’(0,81-1,00).		Kappa waarden worden (op arbitraire(!) afkappunten) geïnterpreteerd in termen van: ‘slecht’ (k < 0); ‘gering’ (0-0,20); ‘matig’ (0,21-0,40); ‘redelijk’ (0,41-0,60); ‘voldoende tot goed’(0,61-0,80) en ‘bijna perfect’(0,81-1,00). In het Engels: k < 0 reflects ‘poor’ , 0 to 0.20 ‘slight’, 0.21 to 0.4 ‘fair’, 0.41 to 0.60 ‘moderate’, 0.61 to 0.8 ‘substantial’, and above 0.81 ‘almost perfect’ [[Cohen's kappa#Referenties\|(zie referentie Landis en Koch)]].

	==Mijn kappa komt veel lager uit dan ik verwacht, waar kan dit door komen (1)?==		==Mijn kappa komt veel lager uit dan ik verwacht, waar kan dit door komen (1)?==