Poweranalyse
POWERANALYSE:
Wat is een power analyse?
Een power en sample size analyse berekend het aantal proefpersonen dat je in een studie moet includeren om een vooraf gedefinieerd minimaal klinisch relevant verschil met een bepaalde kans (power) waar te nemen.
Waarom doe ik een power en sample size analyse?
Een van de meest gestelde vragen vooraf aan een studie is: hoeveel proefpersonen heb ik in deze studie nodig? Een belangrijke vraag, een verkeerde sample size kan 3 ethische bezwaren opleveren. Ten eerste, een onderschatting van de sample size kan er toe leiden dat een werkelijk effect niet door de studie gedetecteerd wordt en proefpersonen dus voor niets worden getest. De studie leidt dan tot een fout-negatieve conclusie. Ten tweede, in het geval van een te grootte sample size zal een deel van de proefpersonen onnodig een effectieve interventie worden onthouden. Ten derde, als de interventie niet werkzaam blijkt te zijn worden te veel proefpersonen blootgesteld aan een ineffectieve interventie.
Wanneer heb ik een power en sample size analyse nodig?
Voor de uitvoering en rapportage van (vergelijkend) onderzoek gelden regels. In de CONSORT statement, waarin je deze regels terug kan vinden, wordt expliciet de eis verwoord dat de onderzoeker vooraf aan de studie de sample size moet berekenen en deze in de methode sectie van het artikel moet rapporteren. Bedenk hierbij dat de RCT inclusief sample size berekening vooraf aan de uitvoering geregistreerd dient te worden. Bovendien krijg je zonder een goede sample size berekening geen positieve beoordeling van de Medisch Ethische Commissie. Verder is het de economische onderbouwing van een subsidie aanvraag en van belang voor de logistieke planning van de studie.
Welke software is beschikbaar voor power en sample size analyse
Voor het berekenen van de sample size is het programma nQUERY beschikbaar. nQuery Advisor is een gevalideerd en gebruikersvriendelijk programma dat u de mogelijkheid biedt om voor diverse onderzoeksdesigns en type data de gewenste groepsgrootte en statistische power te berekenen. U treft nQuery, inclusief instructies voor het downloaden, aan op de CRU-website via de link Tools (http://www.amc-cru.nl/tools.aspx?panel=SOF).
Welke informatie heb ik nodig voor een power en sample size analyse
Een sample size berekening is deels gebaseerd op beredeneerde keuzes, je hebt informatie nodig over:
- De gewenste power van de studie (1-β). De keuze voor het power niveau bepaald hoe zeker je kan zijn dat een type II error vermeden wordt.
- Het gewenste significantie niveau (α). Dit α niveau laat zien welke kans je accepteert om een type I error te maken.
- Maak een keuze voor een eenzijdig of tweezijdige test. Een mogelijk effect is zelden strikt eenzijdig, de gangbare keuze is tweezijdig testen.
- Bepaal het kleinste nog (klinisch) relevante verschil (effect) wat je wilt kunnen aantonen in je studie.
- Hoeveel variatie verwacht je in de proefpersonen van dezelfde studiegroep, hoe groot zal de standaard deviatie zijn.
- Welke statistische toets wordt gebruikt tijdens de analyse van de studie.
- Als je studie moet kunnen aantonen of groepen gelijk zijn moet je opgeven welk klein verschil je nog ziet als onbelangrijk (waarbij de groepen nog als equivalent worden gezien). Hiervoor moet je een equivalentie limit opgeven.
- Maak een inschatting hoeveel proefpersonen verloren zullen gaan voor de analyse zodat je kan corrigeren voor de sample size.
Wat is een type I en type II fout
In de studie proberen we te bepalen of de groepen hetzelfde zijn (nul hypothese) of verschillend zijn (alternatieve hypothese). We kunnen hierbij twee type fouten maken: een type I error (α) en een type II error (β). We maken een type I error als we ten onrechte de nul hypothese verwerpen (fout positief). We maken een type II error als we ten onrechte de nul hypothese accepteren (fout negatief).
Wat is power
Als β de kans is op een fout negatieve conclusie, dan kunnen we met 1-β, ofwel de power geeft de kans geven op het vinden van een gedefinieerd verschil dat werkelijk bestaat ofwel de nul hypothese wordt terecht verworpen. De gebruikelijke keuze voor de power is 1-β = 0,80.
Wat is α'
De gebruikelijke keuze voor α is 0,05, m.a.w. je accepteert een kans van 5% dat je conclusie over een verschil tussen beide groepen fout positief is. In tabel 1 zie je de samenhang tussen de hypothesen en conclusies uit de studie uitgedrukt in een twee bij twee tabel.
'Wat is de invloed van keuze voor α en power op de sample size?
Het is gebruikelijk om te kiezen voor een α van 0,05 en een power van 0,80. Stel je verlaagt α naar 0,01 bij een power van 0,80 dan zal je benodigde sample size met ± 50% toenemen. De kans op een fout positieve conclusie is dan nog maar 1 procent. Het verhogen van de power naar 0,90 bij een α van 0,05 zal je sample size ongeveer 30% doen toenemen.
Als een effectief middel wordt vergeleken met een goedkoper alternatief kun je er voor kiezen om minder kans te lopen op een fout positieve conclusie, dus een lager α level te nemen. Je wilt geen effectief middel ten onrechte inruilen voor een niet effectief middel. In dit zelfde voorbeeld zou je ook de power te verlagen, je maakt je minder zorgen om een effectieve behandeling te missen, die heb je al.
Waarom kies je een- of tweezijdige toetsing
Je moet beslissen of er één dan wel tweezijdig getoetst moet worden. Gangbaar is tweezijdig, eenzijdig toetsen is alleen verdedigbaar als het effect van een interventie onmogelijk anders kan zijn dan verwacht. Tweezijdig toetsen geeft een hogere sample size dan eenzijdig toetsen.
Wat is effect size
De effect size of het behandeleffect is het verschil tussen de controle en experimentele groep in fractie successen (dichotome uitkomst maat: succes/falen) of het verschil tussen twee gemiddelden bij een continue uitkomstmaat (verschil in gemiddelde bloeddruk). Een inschatting kun je maken op basis van de literatuur of het resultaat van een pilot studie. Het behandeleffect dat je gebruikt in de sample size berekening moet in ieder geval het kleinste klinisch relevante verschil weergeven.
Waarom moet je vooraf aan de studie de variatie in de studiegroepen weten
Als een waarneming gepaard gaat met veel variatie wordt het moeilijker om een verschil met een andere groep aan te tonen. Hoe groter de variatie in de waarnemingen hoe meer proefpersonen je nodig hebt om een verschil met een andere groep aan te tonen. Dit wordt wel vergeleken met de ruis die je op de radio hoort, hoe meer ruis (variatie) hoe moeilijker het wordt om het echte signaal (effect) te horen, dus hoe meer variatie hoe moeilijker het wordt om de schatter van het effect te vinden. Deze variatie is onderdeel van de sample size berekening.
Welke statistische toets
Als je in nQUERY een keuze maakt voor een bepaalde sample size berekening zul je merken dat deze altijd gebaseerd is op een type statistische analyse. Je moet dus al een idee hebben hoe jou data geanalyseerd moet worden. Hulp bij het maken van een keuze zijn de overzichten die je vindt in de ‘wiki biostatistiek’ (http://biostatistiek/mediawiki, alleen beschikbaar via het AMC netwerk.
Ga naar de vragen over het gebruik van de Benodigde info voor poweranalyse
Post hoc poweranalyse
Wanneer is een post hoc poweranalyse zinvol? De resultaten van een clinical trial omvatten een behandeleffect met een betrouwbaarheidsinterval (en/of een p waarde). Bij een significant resultaat is het duidelijk dat de power voldoende was om dit verschil te detecteren. Een post-hoc powerberekening is eigenlijk alleen van belang, wanneer je geen significant verschil hebt gevonden en je twijfelt aan de power van de studie (je hebt dus geen power analyse vooraf gedaan). De berekening geeft dan aan of de p waarde groter 0.05 te maken heeft met te weinig power (het resultaat van de berekening), of dat je wel voldoende power had om een effect te vinden, maar het effect er gewoon niet is. In dat laatste geval is er sprake van een "true negative" resultaat, terwijl bij een te lage power je niet kan uitsluiten dat je met een "false negative" resultaat te maken hebt.
Ga naar de vragen over het gebruik van de Post hoc poweranalyse
Poweranalyse in een equivalentiestudie
In een equivalentiestudie probeer je aan te tonen dat groepen hetzelfde zijn. Ook in deze groepen zal variatie in de waarnemingen aanwezig zijn. Daarom moet je opgeven welk (klein) verschil tussen de groepen je ziet als verwaarloosbaar, ofwel dan zie je de groepen nog als gelijk [equivalence limit difference]. Verder geef je op welk verschil je verwacht [expected difference], dat zal in de regel kleiner zijn dan de limiet die je hanteert voor de gelijkheid. De gemeenschappelijke standaard deviatie, die je ook nodig hebt in de berekening, van de twee groepen waarvan je de gelijkheid wilt aantonen vindt je meestal in eerdere studies. Als je bovenstaande hebt ingevoerd zal nQUERY de effect size voor je uitrekenen. Voor de power wordt vaak 90% gekozen, je loopt dan minder kans dat je ten onrechte de nul hypothese verwerpt, wat bij een equivalentie studie betekent dat je ten onrechte het bestaan van een significant verschil tussen de groepen verwerpt.
Poweranalyse voor een Kappa coefficient
De Kappa coëfficiënt is een voor kans gecorrigeerde maat van overeenkomst tussen twee beoordelaars. Een Kappa van 0 betekent dat de overeenkomst tussen twee beoordelaars volledig op kans berust, een Kappa van 1 is een volledige overeenkomst. Hoe vaak moet je twee beoordelaars een object gelijktijdig maar onafhankelijk van elkaar laten beoordelen alvorens je een valide uitspraak over de Kappa kan doen (het gaat hier over een dichotome beoordeling, bijv. ziekte is aanwezig/afwezig). In nQUERY kun je voor de Kappa de sample size bereken. In het scherm nieuwe tabel, study goal and design kies je eerst “Agreement”, dan onder number of groups “one” en onder “analysis methode” voor “test”. De verdere ingrediënten voor een Kappa met 2 beoordelaars zijn: Test significance level (0,05); 1 or 2 sided test, meestal 2; Proportion successes (bijvoorbeeld proportie ziekte aanwezig), Null hypothesis agreement, k0 , geef hier een waarde op hoger dan 0 (bijv. 0,40) want je verwacht ook een hogere overeenkomst dan 0; Alternative agreement, k1 hier geef je de Kappa die wilt detecteren (bijv. 0,70); en vervolgens geef je de power (80% of 90%). nQUERY berekend op basis van deze gegevens de sample size.
Poweranalyse in een “clustered” trial
Hoe wordt een groepsgrootte berekening aangepast bij een ‘clustered’ trial? In een “clustered” trial randomiseer je groepen (clusters) in plaats van individuen. Groepen zijn bijvoorbeeld afdelingen in een ziekenhuis. De patiënten in de studie worden per afdeling gerandomiseerd dus krijgen per afdeling dezelfde interventie. Het voordeel van dit studie design is dat patiënten die verschillende interventies loten elkaar kunnen beinvloeden (contamineren). Het nadeel is dat je in een cluster trial meer patiënten nodig hebt dan in een “gewone” trial. Er is een relatie tussen het aantal proefpersonen in een cluster en het aantal cluster dat je nodig hebt. Hoe meer proefpersonen zich in een cluster bevinden, hoe minder clusters je nodig hebt. Een voorbeeld uit BMJ (Kerry, 1998): betreft huisartspraktijken, na interventie (placebo/experiment) wil men een verschil van 0,1 mmol/L cholesterol met een power van 90% en een significantie van 5% aantonen. Bij 10 patienten per praktijk heb ik 558 praktijken nodig (4% meer patienten dan een gewone trial). Bij 50 patienten per praktijk heb ik 126 praktijken nodig (17% meer patienten dan een gewone trial). Bij 500 patienten per praktijk ben ik met 32 clusters klaar, maar ik heb bijna 3 keer zoveel patienten nodig als in een gewone gerandomiseerde trial. De extra patienten t.g.v. het cluster effect noemt men het design effect of de inflatiefactor. Je hebt de volgende gegevens nodig: significatie niveau; power; standaard deviatie; klinisch relevant verschil (delta); het aantal patienten per cluster (k); correlatie tussen patienten in hetzelfde cluster (rho, gebruikelijk is > 0,05).
Poweranalyse bij een diagnostische studie
Sensitiviteit en specificiteit gebruik je wanneer je een nieuwe test met een "gouden standaard" vergelijkt. Sensitiviteit heeft betrekking op personen die door de gold standaard als positief worden bestempeld. Sensitiviteit is dan het percentage van die groep die ook door de nieuwe test als positief worden bestempeld. Specificiteit heeft betrekking op personen die door de gold standaard als negatief worden bestempeld. Specificiteit is dan het percentage van die groep die ook door de nieuwe test als negatief worden bestempeld. Uit een powerberekening vindt je hoeveel positieve en negatieve mensen je nodig hebt om sensitiviteit en specificiteit met een bepaalde power te kunnen toetsen. Afhankelijk van hoe vaak beide typen voorkomen in de populatie heb je dan een bepaalde steekproefgrootte nodig. Je kunt je voorstellen dat het aantal van de meest zeldzame soort bepalend is voor de steekproefgrootte. Sample size voor sensitiviteit en specificiteit bereken je apart. Er is geen directe mogelijkheid om in nQUERY de sample size voor sensitiviteit uit te rekenen. Het volgende kun je doen. Bereken in nQUERY de sample size voor 1 proportie (kies: Proportions – one Group – Confidence Interval). De “expected proportion” kun je opvatten als de beoogde sensitiviteit terwijl je met de “distance from proportion to limit” de gewenste breedte van het betrouwbaarheidsinterval rond de sensitiviteit aangeeft. De zo berekende sample size moet je wel corrigeren voor de proportie true positives (TP) die je verwacht. Stel je verwacht een proportie TP van 0,33 dan moet je de sample size zoals je die berekend heb met 1 proportie met (1/0,33) vermenigvuldigen. POWERANALYSE:
Verwijzingen naar literatuur
- Florey CD. Sample size for beginners. BMJ 1993; volume 306: 1181-4
- Kerry Sm, Bland JM. Statistics notes: sample size in cluster randomization. BMJ 1998; volume 316: 549