Poweranalyse
POWERANALYSE:
Wat is een power analyse?
Een power en sample size analyse berekend het aantal proefpersonen dat je in een studie moet includeren om een vooraf gedefinieerd minimaal klinisch relevant verschil met een bepaalde kans (power) waar te nemen.
Waarom doe ik een power en sample size analyse?
Een van de meest gestelde vragen vooraf aan een studie is: hoeveel proefpersonen heb ik in deze studie nodig? Een belangrijke vraag, een verkeerde sample size kan 3 ethische bezwaren opleveren. Ten eerste, een onderschatting van de sample size kan er toe leiden dat een werkelijk effect niet door de studie gedetecteerd wordt en proefpersonen dus voor niets worden getest. De studie leidt dan tot een fout-negatieve conclusie. Ten tweede, in het geval van een te grootte sample size zal een deel van de proefpersonen onnodig een effectieve interventie worden onthouden. Ten derde, als de interventie niet werkzaam blijkt te zijn worden te veel proefpersonen blootgesteld aan een ineffectieve interventie.
Wanneer heb ik een power en sample size analyse nodig?
Voor de uitvoering en rapportage van (vergelijkend) onderzoek gelden regels. In de CONSORT statement, waarin je deze regels terug kan vinden, wordt expliciet de eis verwoord dat de onderzoeker vooraf aan de studie de sample size moet berekenen en deze in de methode sectie van het artikel moet rapporteren. Bedenk hierbij dat de RCT inclusief sample size berekening vooraf aan de uitvoering geregistreerd dient te worden. Bovendien krijg je zonder een goede sample size berekening geen positieve beoordeling van de Medisch Ethische Commissie. Verder is het de economische onderbouwing van een subsidie aanvraag en van belang voor de logistieke planning van de studie.
Welke software is beschikbaar voor power en sample size analyse
Voor het berekenen van de sample size is het programma nQUERY beschikbaar. nQuery Advisor is een gevalideerd en gebruikersvriendelijk programma dat u de mogelijkheid biedt om voor diverse onderzoeksdesigns en type data de gewenste groepsgrootte en statistische power te berekenen. U treft nQuery, inclusief instructies voor het downloaden, aan op de CRU-website via de link Tools (http://www.amc-cru.nl/tools.aspx?panel=SOF).
Welke informatie heb ik nodig voor een power en sample size analyse
Een sample size berekening is deels gebaseerd op beredeneerde keuzes, je hebt informatie nodig over:
- De gewenste power van de studie (1-β). De keuze voor het power niveau bepaald hoe zeker je kan zijn dat een type II error vermeden wordt.
- Het gewenste significantie niveau (α). Dit α niveau laat zien welke kans je accepteert om een type I error te maken.
- Maak een keuze voor een eenzijdig of tweezijdige test. Een mogelijk effect is zelden strikt eenzijdig, de gangbare keuze is tweezijdig testen.
- Bepaal het kleinste nog (klinisch) relevante verschil (effect) wat je wilt kunnen aantonen in je studie.
- Hoeveel variatie verwacht je in de proefpersonen van dezelfde studiegroep, hoe groot zal de standaard deviatie zijn.
- Welke statistische toets wordt gebruikt tijdens de analyse van de studie.
- Als je studie moet kunnen aantonen of groepen gelijk zijn moet je opgeven welk klein verschil je nog ziet als onbelangrijk (waarbij de groepen nog als equivalent worden gezien). Hiervoor moet je een equivalentie limit opgeven.
- Maak een inschatting hoeveel proefpersonen verloren zullen gaan voor de analyse zodat je kan corrigeren voor de sample size.
Wat is een type I en type II fout
In de studie proberen we te bepalen of de groepen hetzelfde zijn (nul hypothese) of verschillend zijn (alternatieve hypothese). We kunnen hierbij twee type fouten maken: een type I error (α) en een type II error (β). We maken een type I error als we ten onrechte de nul hypothese verwerpen (fout positief). We maken een type II error als we ten onrechte de nul hypothese accepteren (fout negatief).
Wat is power
Als β de kans is op een fout negatieve conclusie, dan kunnen we met 1-β, ofwel de power geeft de kans geven op het vinden van een gedefinieerd verschil dat werkelijk bestaat ofwel de nul hypothese wordt terecht verworpen. De gebruikelijke keuze voor de power is 1-β = 0,80.
Wat is α'
De gebruikelijke keuze voor α is 0,05, m.a.w. je accepteert een kans van 5% dat je conclusie over een verschil tussen beide groepen fout positief is. In tabel 1 zie je de samenhang tussen de hypothesen en conclusies uit de studie uitgedrukt in een twee bij twee tabel.
'Wat is de invloed van keuze voor α en power op de sample size?
Het is gebruikelijk om te kiezen voor een α van 0,05 en een power van 0,80. Stel je verlaagt α naar 0,01 bij een power van 0,80 dan zal je benodigde sample size met ± 50% toenemen. De kans op een fout positieve conclusie is dan nog maar 1 procent. Het verhogen van de power naar 0,90 bij een α van 0,05 zal je sample size ongeveer 30% doen toenemen.
Als een effectief middel wordt vergeleken met een goedkoper alternatief kun je er voor kiezen om minder kans te lopen op een fout positieve conclusie, dus een lager α level te nemen. Je wilt geen effectief middel ten onrechte inruilen voor een niet effectief middel. In dit zelfde voorbeeld zou je ook de power te verlagen, je maakt je minder zorgen om een effectieve behandeling te missen, die heb je al.
Waarom kies je een- of tweezijdige toetsing
Je moet beslissen of er één dan wel tweezijdig getoetst moet worden. Gangbaar is tweezijdig, eenzijdig toetsen is alleen verdedigbaar als het effect van een interventie onmogelijk anders kan zijn dan verwacht. Tweezijdig toetsen geeft een hogere sample size dan eenzijdig toetsen.
Wat is effect size
De effect size of het behandeleffect is het verschil tussen de controle en experimentele groep in fractie successen (dichotome uitkomst maat: succes/falen) of het verschil tussen twee gemiddelden bij een continue uitkomstmaat (verschil in gemiddelde bloeddruk). Een inschatting kun je maken op basis van de literatuur of het resultaat van een pilot studie. Het behandeleffect dat je gebruikt in de sample size berekening moet in ieder geval het kleinste klinisch relevante verschil weergeven.
Waarom moet je vooraf aan de studie de variatie in de studiegroepen weten
Als een waarneming gepaard gaat met veel variatie wordt het moeilijker om een verschil met een andere groep aan te tonen. Hoe groter de variatie in de waarnemingen hoe meer proefpersonen je nodig hebt om een verschil met een andere groep aan te tonen. Dit wordt wel vergeleken met de ruis die je op de radio hoort, hoe meer ruis (variatie) hoe moeilijker het wordt om het echte signaal (effect) te horen, dus hoe meer variatie hoe moeilijker het wordt om de schatter van het effect te vinden. Deze variatie is onderdeel van de sample size berekening.
Welke statistische toets
Als je in nQUERY een keuze maakt voor een bepaalde sample size berekening zul je merken dat deze altijd gebaseerd is op een type statistische analyse. Je moet dus al een idee hebben hoe jou data geanalyseerd moet worden. Hulp bij het maken van een keuze zijn de overzichten die je vindt in de ‘wiki biostatistiek’ (http://biostatistiek/mediawiki, alleen beschikbaar via het AMC netwerk.
Ga naar de vragen over het gebruik van de Benodigde info voor poweranalyse
Post hoc poweranalyse
Wanneer is een post hoc poweranalyse zinvol? De resultaten van een clinical trial omvatten een behandeleffect met een betrouwbaarheidsinterval (en/of een p waarde). Bij een significant resultaat is het duidelijk dat de power voldoende was om dit verschil te detecteren. Een post-hoc powerberekening is eigenlijk alleen van belang, wanneer je geen significant verschil hebt gevonden en je twijfelt aan de power van de studie (je hebt dus geen power analyse vooraf gedaan). De berekening geeft dan aan of de p waarde groter 0.05 te maken heeft met te weinig power (het resultaat van de berekening), of dat je wel voldoende power had om een effect te vinden, maar het effect er gewoon niet is. In dat laatste geval is er sprake van een "true negative" resultaat, terwijl bij een te lage power je niet kan uitsluiten dat je met een "false negative" resultaat te maken hebt.
Ga naar de vragen over het gebruik van de Post hoc poweranalyse
Poweranalyse in een equivalentiestudie
In een equivalentiestudie probeer je aan te tonen dat groepen hetzelfde zijn. Ook in deze groepen zal variatie in de waarnemingen aanwezig zijn. Daarom moet je opgeven welk (klein) verschil tussen de groepen je ziet als verwaarloosbaar, ofwel dan zie je de groepen nog als gelijk [equivalence limit difference]. Verder geef je op welk verschil je verwacht [expected difference], dat zal in de regel kleiner zijn dan de limiet die je hanteert voor de gelijkheid. De gemeenschappelijke standaard deviatie, die je ook nodig hebt in de berekening, van de twee groepen waarvan je de gelijkheid wilt aantonen vindt je meestal in eerdere studies. Als je bovenstaande hebt ingevoerd zal nQUERY de effect size voor je uitrekenen. Voor de power wordt vaak 90% gekozen, je loopt dan minder kans dat je ten onrechte de nul hypothese verwerpt, wat bij een equivalentie studie betekent dat je ten onrechte het bestaan van een significant verschil tussen de groepen verwerpt.
Poweranalyse in een “clustered” trial
Overig
Verwijzingen naar literatuur
- Florey CD. Sample size for beginners. BMJ 1993; volume 306: 1181-4
- Kerry Sm, Bland JM. Statistics notes: sample size in cluster randomization. BMJ 1998; volume 316: 549