Betrouwbaarheidsinterval: Difference between revisions

From Wikistatistiek
Jump to navigation Jump to search
 
(9 intermediate revisions by the same user not shown)
Line 9: Line 9:


Vaak wordt er in het medisch onderzoek een betrouwbaarheidsinterval gegeven rondom de schatting van een bepaald effect (of een bepaald verschil tussen groepen). Bijvoorbeeld: "women receiving treatment were less likely to report severe pain (risk ratio 0.41, 95% confidence interval 0.32 to 0.55)".
Vaak wordt er in het medisch onderzoek een betrouwbaarheidsinterval gegeven rondom de schatting van een bepaald effect (of een bepaald verschil tussen groepen). Bijvoorbeeld: "women receiving treatment were less likely to report severe pain (risk ratio 0.41, 95% confidence interval 0.32 to 0.55)".
==Welke software is er voor het berekenen van betrouwbaarheidsintervallen?==
In de meeste statistische pakketten kun je aangeven dat je de resultaten van een analyse met bijbehorend betrouwbaarheidsinterval wilt zien. Het programma [[statistische software#CIA|CIA]], behorend bij het boek "Statistics with confidence" is helemaal gewijd aan het berekenen van betrouwbaarheidsintervallen. Er is een versie van CIA te downloaden vanaf de CRU website onder [http://www.amc-cru.nl/tools.aspx Tools (AMC intranet)].
==Hoe bereken ik een betrouwbaarheidsinterval rondom een incidence rate?==
'' Ik heb nu de death rate per 1000y berekend, door het totaal aantal overledenen te delen door de som aantal jaren follow up (persoonsjaren). Graag zou ik bij deze death rate een 95% CI willen berekenen in SPSS. Kan dit?
Ik ken geen methode om deze confidence intervallen in [[statistische software|SPSS]] uit te rekenen. De manier waarop dit kan staat op de [http://www.statisticalhelp.com/rates/poisson_rate_confidence_interval.htm site van StatsDirect Ltd] beschreven.
Je kunt dit zelf implementeren (in bijv excel, of [[statistische software|R]]), maar je kunt ook gebruik maken van bestaande implementaties. De nieuwere versies van het programma [http://www.som.soton.ac.uk/research/sites/cia/ CIA] heeft opties hiervoor  en ook op de website [http://www.openepi.com OpenEpi] vind je onder 'Person Time' opties.


==Welke betrouwbaarheidsintervallen horen er bij de toetsen die ik gedaan heb?==
==Welke betrouwbaarheidsintervallen horen er bij de toetsen die ik gedaan heb?==
Line 25: Line 15:
Een 95% betrouwbaarheidsinterval kun je berekenen rondom een ‘[[effect maten|effect maat]]’. Voor ieder van de genoemde vergelijkingen zou je dan moeten gaan kiezen welke effectmaat je wilt rapporteren en daarbij het betrouwbaarheidsinterval uitrekenen.
Een 95% betrouwbaarheidsinterval kun je berekenen rondom een ‘[[effect maten|effect maat]]’. Voor ieder van de genoemde vergelijkingen zou je dan moeten gaan kiezen welke effectmaat je wilt rapporteren en daarbij het betrouwbaarheidsinterval uitrekenen.


- Bij een [[Chi-kwadraat toets]] (het vergelijken van proporties) kun je denken aan een [[Associatiematen_2x2_tabel|risk difference, risk ratio of odds ratio]]. De laatste 2 kun je inclusief betrouwbaarheidsinterval opvragen in de crosstabs procedure van SPSS (vink ‘risk’ aan, let wel goed op welke groep als referentie gekozen wordt). Een risk difference wordt volgens mij niet aangeboden in de crosstabs procedure. Je zou die bijv kunnen verkrijgen via de ‘two by two table’ calculator op de [http://www.openepi.com OpenEpi website] . Of met [[Statistische_software#CIA|CIA]].
- Bij een [[Chi-kwadraat toets]] (het vergelijken van proporties) kun je denken aan een [[Associatiematen_2x2_tabel|risk difference, risk ratio of odds ratio]]. De laatste 2 kun je inclusief betrouwbaarheidsinterval opvragen in de crosstabs procedure van SPSS (vink ‘risk’ aan, let wel goed op welke groep als referentie gekozen wordt). Een risk difference wordt volgens mij niet aangeboden in de crosstabs procedure. Je zou die bijv kunnen verkrijgen via de ‘two by two table’ calculator op de [http://www.openepi.com OpenEpi website] .


- bij een [[Mann-Whitney U toets]] kun je denken aan het rapporteren van de betrouwbaarheidsintervallen rondom de twee medianen van beide groepen en een geschat verschil tussen de medianen + betrouwbaarheidsinterval. Volgens mij geeft SPSS voor die laatste geen optie. Je zou dit ook via [[Statistische_software#CIA|CIA]] kunnen berekenen.
- bij een [[Mann-Whitney U toets]] kun je denken aan het rapporteren van de betrouwbaarheidsintervallen rondom de twee medianen van beide groepen en een geschat verschil tussen de medianen + betrouwbaarheidsinterval. Volgens mij geeft SPSS voor die laatste geen optie.  


- [[Survival analyse|Kaplan Meier analyse]]: indien je daar alleen een (of meerdere) survival curves mee plot, dan ligt het voor de hand dat je een 95% betrouwbaarheidsinterval rondom het geschatte survival (of event) percentage rapporteert. SPSS geeft dat voor bijv mean en median survival (indien deze beide berekend kunnen worden). Voor de curve zelf geeft SPSS niet een betrouwbaarheidsinterval. Dit zou je eventueel kunnen berekenen met [[Statistische software#R|R]], functie survfit. Wellicht ben je meer geintersseerd in een schatting van het verschil in termen van ratio tussen 2 curves op een bepaald punt. Dat zou je eventueel zelf mbv de standaard errors die SPSS geeft + een delta methode aanpassing kunnen berekenen.
- [[Survival analyse|Kaplan Meier analyse]]: indien je daar alleen een (of meerdere) survival curves mee plot, dan ligt het voor de hand dat je een 95% betrouwbaarheidsinterval rondom het geschatte survival (of event) percentage rapporteert. SPSS geeft dat voor bijv mean en median survival (indien deze beide berekend kunnen worden). Voor de curve zelf geeft SPSS niet een betrouwbaarheidsinterval. Dit zou je eventueel kunnen berekenen met [[Statistische software#R|R]], functie survfit. Wellicht ben je meer geintersseerd in een schatting van het verschil in termen van ratio tussen 2 curves op een bepaald punt. Dat zou je eventueel zelf mbv de standaard errors die SPSS geeft + een delta methode aanpassing kunnen berekenen.
Line 33: Line 23:
==Hoe bereken ik het betrouwbaarheidsinterval rondom een relatief risico behorend bij een gepaarde (McNemar) vergelijking?==
==Hoe bereken ik het betrouwbaarheidsinterval rondom een relatief risico behorend bij een gepaarde (McNemar) vergelijking?==


''Onze gematchte dichotome uitkomstmaat hebben we vergeleken met gepaarde testen ([[McNemar toets]]), waar een aantal hele mooie p-waarden uitkomen. Om deze bevindingen echter nog iets meer kracht bij te zetten, zouden we hier ook graag een [[Associatiematen_2x2_tabel#Relatief_risico|relatief risico]] met betrouwbaarheidsinterval bij weer willen geven. Als je echter op de 'gewone' manier deze relatieve risico's berekent, past de conclusie over significantie op basis van het betrouwbaarheidsinterval niet altijd bij de p-waarde uit de McNemar toets. Zo kan het betrouwbaarheidsinterval de 1 bevatten, maar wel een P van <0.05 of andersom. Dit verschil is waarschijnlijk te verklaren doordat dit relatief risico met betrouwbaarheidsinterval geen rekening houd met het feit dat het om gepaarde data gaat. Mijn vraag is dan ook of er een mogelijkheid is om het relatieve risico met betrouwbaarheidsinterval over gepaarde data te berekenen, zodanig dat we zowel dit betrouwbaarheidsinterval als de p-waarde uit de McNemar toets samen in een tabel weer kunnen geven.  
''Onze gematchte dichotome uitkomstmaat hebben we vergeleken met gepaarde testen ([[McNemar toets]]), waar een aantal hele mooie p-waarden uitkomen. Om deze bevindingen echter nog iets meer kracht bij te zetten, zouden we hier ook graag een [[Associatiematen_2x2_tabel#Relatief_risico|relatief risico]] met betrouwbaarheidsinterval bij weer willen geven. Als je echter op de 'gewone' manier deze relatieve risico's berekent, past de conclusie over significantie op basis van het betrouwbaarheidsinterval niet altijd bij de p-waarde uit de McNemar toets. Zo kan het betrouwbaarheidsinterval de 1 bevatten, maar wel een P van <0.05 of andersom. Dit verschil is waarschijnlijk te verklaren doordat dit relatief risico met betrouwbaarheidsinterval geen rekening houdt met het feit dat het om gepaarde data gaat. Mijn vraag is dan ook of er een mogelijkheid is om het relatieve risico met betrouwbaarheidsinterval over gepaarde data te berekenen, zodanig dat we zowel dit betrouwbaarheidsinterval als de p-waarde uit de McNemar-toets samen in een tabel weer kunnen geven.  


Na een kleine zoektocht kom ik hiervoor op de volgende [http://www.ncbi.nlm.nih.gov/pubmed/16345058 methode van Price en Bonett].  
Na een kleine zoektocht kom ik hiervoor op de volgende [http://www.ncbi.nlm.nih.gov/pubmed/16345058 methode van Bonett en Price].  
Op deze [http://medicine.cf.ac.uk/primary-care-public-health/resources/ bijbehorende website] staat een uitwerking hiervan in de vorm van een excel-calculator aangeboden. Let erop dat er in de calculator van de volgende datastructuur wordt uitgegaan:
Op deze [https://www.researchgate.net/publication/305073462_Excel_spreadsheet_to_calculate_Bonett-Price_confidence_interval_for_a_ratio_of_paired_proportions_or_of_sizes_of_overlapping_groups website] staat een uitwerking hiervan in de vorm van een Excel-calculator aangeboden. Let erop dat er in de calculator van de volgende datastructuur wordt uitgegaan:
{| border ="1" style=align="center" cellpadding="3" cellspacing="0"
{| border ="1" style=align="center" cellpadding="3" cellspacing="0"
|
|
Line 70: Line 60:
''Ik zou graag tevens een betrouwbaarheidsinterval geven van deze niet normaal verdeelde data. Is dat mogelijk?
''Ik zou graag tevens een betrouwbaarheidsinterval geven van deze niet normaal verdeelde data. Is dat mogelijk?


Ja dat kan. Ik begrijp dat je een betrouwbaarheidsinterval wilt berekenen bij het gepaarde verschil. Je zou hiervoor de Hodges-Lehmann procedure kunnen gebruiken. Als je met [[statistische_software#SPSS|SPSS]] werkt geeft [http://www-01.ibm.com/support/knowledgecenter/SSLVMB_21.0.0/com.ibm.spss.statistics.help/alg_nonparametric_related_hodges-lehman.htm  deze website] tips voor hoe deze aan te roepen.
Ja dat kan. Ik begrijp dat je een betrouwbaarheidsinterval wilt berekenen bij het gepaarde verschil. Je zou hiervoor de Hodges-Lehmann procedure kunnen gebruiken. In [[statistische_software#SPSS|SPSS]] 28 kun je een dergelijk betrouwbaarheidsinterval opvragen onder Analyze ->  Nonparametric Tests -> Related Samples.  


Let wel op welk verschil je precies schat. De Hodges-Lehmann procedure schat het mediane verschil (= de mediaan van alle gepaarde verschillen). Dit is niet hetzelfde als het verschil tussen de twee medianen per interventiegroep.
Let wel op welk verschil je precies schat. Déze Hodges-Lehmann procedure schat het mediane verschil (= de mediaan van alle gepaarde verschillen). Dit is niet hetzelfde als het verschil tussen de twee medianen per interventiegroep.


==Referenties ==
==Referenties ==


*Douglas G. Altman, David Machin, Trevor N. Bryant, Martin J. Gardner, Statistics with confidence, BMJ books.  
*Douglas G. Altman, David Machin, Trevor N. Bryant, Martin J. Gardner, Statistics with confidence, BMJ books.  
*[http://www.som.soton.ac.uk/research/sites/cia/ CIA] Confidence interval analysis - software behorend bij het boek Statistics with confidence.
*[http://www.bmj.com/cgi/reprint/331/7521/903 Douglas G. Altman, J Martin Bland, Statistical Notes, Standard deviations and standard errors, BMJ 2005;331:903]
*[http://www.bmj.com/cgi/reprint/331/7521/903 Douglas G. Altman, J Martin Bland, Statistical Notes, Standard deviations and standard errors, BMJ 2005;331:903]
*[http://www.openepi.com OpenEpi] Dean AG, Sullivan KM, Soe MM. OpenEpi: Open Source Epidemiologic Statistics for Public Health, Version 2.3.1. www.OpenEpi.com, updated 2011/23/06, accessed 2011/11/28.
*[http://www.openepi.com OpenEpi] Dean AG, Sullivan KM, Soe MM. OpenEpi: Open Source Epidemiologic Statistics for Public Health, Version 2.3.1. www.OpenEpi.com, updated 2011/23/06, accessed 2011/11/28.

Latest revision as of 16:59, 21 November 2024

Auteur dr. ir. N. van Geloven
Co-Auteur
auteurschap op deze site

Het betrouwbaarheidsinterval (Engels confidence interval (CI)) wordt gebruikt om aan te geven hoe zeker je bent van een geschatte waarde. Het is een interval waar binnen je verwacht dat de werkelijke waarde ligt. Formeel zegt het interval iets over welke waardes verwacht worden als een experiment meerdere keren herhaald zou worden. Vaak wordt het 95% betrouwbaarheidsinterval gebruikt. Hiermee zeg je eigenlijk: stel ik zou mijn onderzoek 100 maal herhalen, dan verwacht ik dat de werkelijke waarde (parameter) minstens 95 keer binnen het (voor ieder onderzoek apart opgestelde) 95% betrouwbaarheidsinterval ligt.

Wanneer gebruik ik een betrouwbaarheidsinterval?

Je kunt een betrouwbaarheidsinterval gebruiken bij iedere schatting die je maakt. Bijvoorbeeld: als ik van een groep patienten het gemiddelde gewicht gemeten heb, dan kan ik het gemiddelde gewicht van de hele patientpopulatie schatten middels door het gemiddelde van mijn steekproef te nemen en de zekerheid van deze schatting aangeven met een betrouwbaarheidsinterval.

Vaak wordt er in het medisch onderzoek een betrouwbaarheidsinterval gegeven rondom de schatting van een bepaald effect (of een bepaald verschil tussen groepen). Bijvoorbeeld: "women receiving treatment were less likely to report severe pain (risk ratio 0.41, 95% confidence interval 0.32 to 0.55)".

Welke betrouwbaarheidsintervallen horen er bij de toetsen die ik gedaan heb?

In mijn onderzoek voer ik een Chi-square test, Mann-Whitney test en een Kaplan-Meier analyse uit om twee groepen met elkaar te vergelijken. In de eerste versie van mijn artikel had ik de p-waarden gerapporteerd. Omdat we slechts een beperkt aantal deelnemers hebben stelde één van mijn co-auteurs voor om ipv de p-waarde het 95%-betrouwbaarheidsinterval te rapporteren. Naar mijn idee kan ik dit interval bij bovengenoemde testen in SPSS echter niet uit de analyses krijgen. Klopt dit? Hebben jullie ideeën over hoe ik de intervallen wel kan verkrijgen?

Een 95% betrouwbaarheidsinterval kun je berekenen rondom een ‘effect maat’. Voor ieder van de genoemde vergelijkingen zou je dan moeten gaan kiezen welke effectmaat je wilt rapporteren en daarbij het betrouwbaarheidsinterval uitrekenen.

- Bij een Chi-kwadraat toets (het vergelijken van proporties) kun je denken aan een risk difference, risk ratio of odds ratio. De laatste 2 kun je inclusief betrouwbaarheidsinterval opvragen in de crosstabs procedure van SPSS (vink ‘risk’ aan, let wel goed op welke groep als referentie gekozen wordt). Een risk difference wordt volgens mij niet aangeboden in de crosstabs procedure. Je zou die bijv kunnen verkrijgen via de ‘two by two table’ calculator op de OpenEpi website .

- bij een Mann-Whitney U toets kun je denken aan het rapporteren van de betrouwbaarheidsintervallen rondom de twee medianen van beide groepen en een geschat verschil tussen de medianen + betrouwbaarheidsinterval. Volgens mij geeft SPSS voor die laatste geen optie.

- Kaplan Meier analyse: indien je daar alleen een (of meerdere) survival curves mee plot, dan ligt het voor de hand dat je een 95% betrouwbaarheidsinterval rondom het geschatte survival (of event) percentage rapporteert. SPSS geeft dat voor bijv mean en median survival (indien deze beide berekend kunnen worden). Voor de curve zelf geeft SPSS niet een betrouwbaarheidsinterval. Dit zou je eventueel kunnen berekenen met R, functie survfit. Wellicht ben je meer geintersseerd in een schatting van het verschil in termen van ratio tussen 2 curves op een bepaald punt. Dat zou je eventueel zelf mbv de standaard errors die SPSS geeft + een delta methode aanpassing kunnen berekenen.

Hoe bereken ik het betrouwbaarheidsinterval rondom een relatief risico behorend bij een gepaarde (McNemar) vergelijking?

Onze gematchte dichotome uitkomstmaat hebben we vergeleken met gepaarde testen (McNemar toets), waar een aantal hele mooie p-waarden uitkomen. Om deze bevindingen echter nog iets meer kracht bij te zetten, zouden we hier ook graag een relatief risico met betrouwbaarheidsinterval bij weer willen geven. Als je echter op de 'gewone' manier deze relatieve risico's berekent, past de conclusie over significantie op basis van het betrouwbaarheidsinterval niet altijd bij de p-waarde uit de McNemar toets. Zo kan het betrouwbaarheidsinterval de 1 bevatten, maar wel een P van <0.05 of andersom. Dit verschil is waarschijnlijk te verklaren doordat dit relatief risico met betrouwbaarheidsinterval geen rekening houdt met het feit dat het om gepaarde data gaat. Mijn vraag is dan ook of er een mogelijkheid is om het relatieve risico met betrouwbaarheidsinterval over gepaarde data te berekenen, zodanig dat we zowel dit betrouwbaarheidsinterval als de p-waarde uit de McNemar-toets samen in een tabel weer kunnen geven.

Na een kleine zoektocht kom ik hiervoor op de volgende methode van Bonett en Price. Op deze website staat een uitwerking hiervan in de vorm van een Excel-calculator aangeboden. Let erop dat er in de calculator van de volgende datastructuur wordt uitgegaan:

Cases (of gepaarde groep 1)
positief negatief
Controls (of gepaarde groep 2) positief a b
negatief c d

Hoe bereken ik een betrouwbaarheidsinterval behorend bij een verschil tussen twee medianen?

Achtergrond: we verrichten een randomized cross-over studie waarbij twee interventies worden vergeleken. Bij normaal verdeelde data geef ik per interventie:

Mean + SD, + een paired difference, een SD van de paired difference, en een 95%CI van de paired difference

Een aantal (secondaire) uitkomstmaten zijn niet normaal verdeeld. Ik geef hierbij nu per interventie:

Median + IQR, + paired difference en een IQR van de paired difference.

Ik zou graag tevens een betrouwbaarheidsinterval geven van deze niet normaal verdeelde data. Is dat mogelijk?

Ja dat kan. Ik begrijp dat je een betrouwbaarheidsinterval wilt berekenen bij het gepaarde verschil. Je zou hiervoor de Hodges-Lehmann procedure kunnen gebruiken. In SPSS 28 kun je een dergelijk betrouwbaarheidsinterval opvragen onder Analyze -> Nonparametric Tests -> Related Samples.

Let wel op welk verschil je precies schat. Déze Hodges-Lehmann procedure schat het mediane verschil (= de mediaan van alle gepaarde verschillen). Dit is niet hetzelfde als het verschil tussen de twee medianen per interventiegroep.

Referenties

Klaar met lezen? Je kunt naar het OVERZICHT van alle statistische onderwerpen op deze wiki gaan of naar de pagina KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse. Wil je meer leren over biostatistiek? Volg dan de AMC e-learning Practical Biostatistics. Vind je op deze pagina's iets dat niet klopt? Werkt een link niet? Of wil je bijdragen aan de wiki? Neem dan contact met ons op.

De wiki biostatistiek is een initiatief van de voormalige helpdesk statistiek van Amsterdam UMC, locatie AMC. Medewerkers van Amsterdam UMC kunnen via intranet ondersteuning aanvragen.