Lineaire regressie: Difference between revisions

From Wikistatistiek
Jump to navigation Jump to search
 
(65 intermediate revisions by 6 users not shown)
Line 1: Line 1:
== Wanneer gebruik ik een lineair regressie model? ==
{{auteurs|
Als je een [[correlatie|correlatietechniek]] toepast, ben je geïnteresseerd in de mate van samenhang tussen twee variabelen <math>X</math> en <math>Y</math>, bijvoorbeeld een onderzoek naar de samenhang tussen leeftijd en scores op een cognitieve test. Met lineaire regressie ga je een stap verder. Met deze techniek probeer je de waarden van de uitkomst <math>Y</math> via een lineair verband te voorspellen uit die van <math>X</math>. De uitkomstvariabele <math>Y</math> wordt de afhankelijke variabele genoemd, en de voorspeller <math>X</math> de onafhankelijke variabele.
|mainauthor= prof dr R.J. de Haan
|coauthor=
}}
== Wanneer gebruik ik een lineair regressiemodel? ==
Als je een [[correlatie|correlatietechniek]] toepast, ben je geïnteresseerd in de mate van samenhang tussen twee variabelen <math>X</math> en <math>Y</math>, bijvoorbeeld bij een onderzoek naar de samenhang tussen leeftijd en scores op een cognitieve test. Met lineaire regressie ga je een stap verder. Met deze techniek probeer je de waarden van de uitkomst <math>Y</math> via een lineair verband te voorspellen uit die van <math>X</math>. De uitkomstvariabele <math>Y</math> wordt de afhankelijke variabele genoemd, en de voorspeller <math>X</math> de onafhankelijke variabele.
We spreken van enkelvoudige (ook wel ''simple'' of ''univariable'') regressie als we de uitkomst willen voorspellen met één predictor. In de praktijk zal dat in vele gevallen niet voldoende zijn en is het wenselijk om de effecten van twee of meer voorspellers te analyseren. We spreken dan van [[multivariabele regressie|meervoudige (ook wel ''multiple'' of ''multivariable'')]] lineaire regressie.   
We spreken van enkelvoudige (ook wel ''simple'' of ''univariable'') regressie als we de uitkomst willen voorspellen met één predictor. In de praktijk zal dat in vele gevallen niet voldoende zijn en is het wenselijk om de effecten van twee of meer voorspellers te analyseren. We spreken dan van [[multivariabele regressie|meervoudige (ook wel ''multiple'' of ''multivariable'')]] lineaire regressie.   


Om een lineaire regressie te kunnen gebruiken, moeten de onderzoeksgegevens aan een aantal statistische voorwaarden voldoen:  
Om een lineaire regressie te kunnen gebruiken, moeten de onderzoeksgegevens aan een aantal statistische voorwaarden voldoen:  
#Over de gehele range van geobserveerde waarden moet sprake zijn van een lineaire samenhang tussen de onafhankelijke variabele <math>X</math> en de afhankelijke variabele <math>Y</math> (tip: maak eerst een scatterplot om de aard van de samenhang tussen <math>X</math> en <math>Y</math> te exploreren);
#Over de gehele range van geobserveerde waarden moet sprake zijn van een lineaire samenhang tussen de onafhankelijke variabele <math>X</math> en de afhankelijke variabele <math>Y</math> (tip: maak eerst een scatterplot om de aard van de samenhang tussen <math>X</math> en <math>Y</math> te exploreren);
#Wat betreft het type data mogen de <math>X</math> variabelen zowel discreet als continu zijn. De afhankelijke variabele <math>Y</math> mag alleen continu zijn;
#Wat betreft het type data mogen de <math>X</math> variabelen zowel [[KEUZE TOETS#Van welk type is mijn data?|discreet als continu]] zijn. De afhankelijke variabele <math>Y</math> mag alleen continu zijn;
#Voor elke waarde van <math>X</math> moeten de observaties van <math>Y</math> onafhankelijk van elkaar zijn; dat wil zeggen dat de <math>Y</math> variabelen slechts 1 keer bij een persoon zijn gemeten. Lineaire regressie is dus niet geschikt om voor onderzoeksgegevens te analyseren waarbij de patiënten herhaaldelijk in de tijd zijn gemeten (voor [[herhaalde metingen]] bestaan andere technieken).
#Voor elke waarde van <math>X</math> moeten de observaties van <math>Y</math> onafhankelijk van elkaar zijn; dat wil zeggen dat de <math>Y</math> variabelen slechts 1 keer bij een persoon zijn gemeten. Lineaire regressie is dus niet geschikt om voor onderzoeksgegevens te analyseren waarbij de patiënten herhaaldelijk in de tijd zijn gemeten (voor [[herhaalde metingen]] bestaan andere technieken).
#De variabele <math>Y</math> heeft een normaal verdeling voor elke waarde van <math>X</math>.
#De variabele <math>Y</math> heeft een normaalverdeling voor elke waarde van <math>X</math>.
#De verdelingen van de <math>Y</math> variabele hebben een gelijke variantie (of standaard deviatie) voor elke waarde van <math>X</math>.
#De verdelingen van de <math>Y</math> variabele hebben een gelijke variantie (of standaarddeviatie) voor elke waarde van <math>X</math>.


De assumpties 1, 4 en 5 kunnen met behulp van de residuen van het lineaire model worden gecontroleerd.  
De assumpties 1, 4 en 5 kunnen met behulp van de residuen van het lineaire model worden gecontroleerd.


==Hoe werkt (enkelvoudige) lineaire regressie?==
==Hoe werkt (enkelvoudige) lineaire regressie?==


In lineaire regressie bepalen we de regressielijn, die het beste de lineaire relatie tussen de <math>X</math> en <math>Y</math> variabelen beschrijft. De lineaire regressielijn wordt geschat met behulp van de vergelijking:
In lineaire regressie bepalen we de lineaire regressielijn die het beste de relatie tussen de <math>X</math> en <math>Y</math> variabelen beschrijft. De lineaire regressielijn wordt geschat met behulp van de vergelijking:  


:<math>
<math>Y = a+b \times X + \epsilon</math>
\begin{equation*}
\begin{array}{rcl}
Y&=&a+b\times X \right.
\end{array}
\end{equation*}
</math>  


<math>Y</math> is de afhankelijke, uitkomstvariabele; <math>X</math> de onafhankelijke voorspeller; en 'a' en 'b' zijn de regressiecoëfficiënten. Regressiecoëfficiënt ‘a’ wordt ook wel de intercept genoemd, en geeft de waarde van <math>Y</math> aan als <math>X=0</math> (de intercept bepaalt dus de hoogte van de regressielijn). De regressiecoëfficiënt ‘b’ weerspiegelt de helling (''slope'') van de regressielijn, en geeft de gemiddelde toename van <math>Y</math> aan als de <math>X</math> variabele met 1 eenheid toeneemt.
<math>Y</math> is de afhankelijke, uitkomstvariabele; <math>X</math> de onafhankelijke voorspeller; en 'a' en 'b' zijn de regressiecoëfficiënten; <math>\epsilon</math> representeert de afstand tussen de regressielijn en de datapunten (de residuen). Regressiecoëfficiënt ‘a’ wordt ook wel de intercept genoemd, en geeft de waarde van <math>Y</math> aan als <math>X=0</math> (de intercept bepaalt dus de hoogte van de regressielijn). De regressiecoëfficiënt ‘b’ weerspiegelt de helling (''slope'') van de regressielijn, en geeft de gemiddelde toename van <math>Y</math> aan als de <math>X</math> variabele met 1 eenheid toeneemt.


[[Image:LineaireRegressie.png]]
[[Image:LineaireRegressie.png]]
Line 30: Line 28:
==Hoe interpreteer ik mijn SPSS output bij gebruik van een enkelvoudig lineair model?==
==Hoe interpreteer ik mijn SPSS output bij gebruik van een enkelvoudig lineair model?==


Stel dat we in een steekproef van n=25 de [[correlatie|Pearson’s correlatie]] tussen de leeftijd van proefpersonen en hun lichaamsvetpercentage 0.81 is. We willen deze samenhang echter niet alleen beschrijven, maar op basis van de leeftijd van de persoon nu ook een voorspelling doen over zijn of haar lichaamsvetpercentage. Als we in [[statistische software#SPSS|SPSS]] in de schermen van de module Linear Regression de variabelen ‘vetpercentage’ als afhankelijke (''dependent'') variabele opgeven, en de variabele leeftijd als onafhankelijke (''independent''),  dan zullen de volgende tabellen worden gegenereerd: Model Summary, ANOVA en Coeficients. NB: in de hierna volgende voorbeelden worden sommige SPSS tabellen in verkorte vorm weergegeven.
Stel dat in een steekproef van n=25 de [[correlatie|Pearson’s correlatie]] tussen de leeftijd van proefpersonen en hun lichaamsvetpercentage 0.81 is. We willen deze samenhang echter niet alleen beschrijven, maar op basis van de leeftijd van de persoon nu ook een voorspelling doen over zijn of haar lichaamsvetpercentage. Als we in [[statistische software#SPSS|SPSS]] in de schermen van de module Linear Regression de variabelen ‘vetpercentage’ als afhankelijke (''dependent'') variabele opgeven, en de variabele leeftijd als onafhankelijke (''independent''),  dan zullen de volgende tabellen worden gegenereerd: Model Summary, ANOVA en Coeficients. NB: in de hierna volgende voorbeelden worden sommige SPSS tabellen in verkorte vorm weergegeven.


{| border ="1" style=align="left" cellpadding="3" cellspacing="0"
{| border ="1" style="text-align:center" cellpadding="3" cellspacing="0"
|colspan="5" align="center"|Model Summary
!colspan="5" align="center"|Model Summary
|-
|-
|width="100"| Model
|width="100"| Model
Line 41: Line 39:
|width="100" | SE of the estimate
|width="100" | SE of the estimate
|-
|-
|1
|align="left"|1
|style="background:#faecc8"| .821
|align="right" style="background:#faecc8"| .821
|style="background:#faecc8"| .659
|align="right" style="background:#faecc8"| .659
|.645
|align="right"|.645
|6.3898
|align="right"|6.3898
|-
|-
|}
|}
Line 51: Line 49:
De tabel Model Summary geeft de [[correlatie|Pearson’s correlatie]] weer tussen de betreffende <math>X</math> en <math>Y</math> variabelen. De kolom 'R square' is een zogenaamde ''goodness-of-fit'' maat. Deze maat geeft uitdrukking aan hoe goed de geobserveerde data clusteren rond de geschatte regressielijn. In een enkelvoudige lineaire regressie is dat het kwadraat van de correlatie. De proportie wordt meestal in een percentage ‘verklaarde variantie’ uitgedrukt. In dit voorbeeld betekent R square dus dat de totale variatie in vetpercentages voor 66% verklaard kan worden door de lineaire regressie c.q. de verschillen in leeftijd.
De tabel Model Summary geeft de [[correlatie|Pearson’s correlatie]] weer tussen de betreffende <math>X</math> en <math>Y</math> variabelen. De kolom 'R square' is een zogenaamde ''goodness-of-fit'' maat. Deze maat geeft uitdrukking aan hoe goed de geobserveerde data clusteren rond de geschatte regressielijn. In een enkelvoudige lineaire regressie is dat het kwadraat van de correlatie. De proportie wordt meestal in een percentage ‘verklaarde variantie’ uitgedrukt. In dit voorbeeld betekent R square dus dat de totale variatie in vetpercentages voor 66% verklaard kan worden door de lineaire regressie c.q. de verschillen in leeftijd.


{| border ="1" style=align="left" cellpadding="3" cellspacing="0"
{| border ="1" style="text-align:center" cellpadding="3" cellspacing="0"
|colspan="6" align="center"|ANOVA
!colspan="6" align="center"|ANOVA
|-
|-
|width="100"| Model
|width="100"| Model
Line 61: Line 59:
|style="background:#faecc8" width="100" | Sig.
|style="background:#faecc8" width="100" | Sig.
|-
|-
|width="100" | 1  
|align="left" width="100" | 1  
|width="100" |
|width="100" |&nbsp;
|width="100" |
|width="100" |&nbsp;
|width="100" |
|width="100" |&nbsp;
|style="background:#faecc8" width="100" |
|style="background:#faecc8" width="100" |&nbsp;
|style="background:#faecc8" width="100" |
|style="background:#faecc8" width="100" |&nbsp;
|-
|-
|width="100" |Regression  
|align="left" width="100" |Regression  
|width="100" |1818,362
|align="right" width="100" |1818,362
|width="100" |1
|align="right" width="100" |1
|width="100" |1818,362
|align="right" width="100" |1818,362
|style="background:#faecc8" width="100" |44,535
|align="right" style="background:#faecc8" width="100" |44,535
|style="background:#faecc8" width="100" |,000
|align="right" style="background:#faecc8" width="100" |,000
|-  
|-  
|width="100" |Residuals
|align="left" width="100" |Residuals
|width="100" |939,078
|align="right" width="100" |939,078
|width="100" |23
|align="right" width="100" |23
|width="100" |40,829
|align="right" width="100" |40,829
|style="background:#faecc8" width="100" |
|style="background:#faecc8" width="100" |&nbsp;
|style="background:#faecc8" width="100" |
|style="background:#faecc8" width="100" |&nbsp;
|-
|-
|width="100" |Total
|align="left" width="100" |Total
|width="100" |2757,440
|align="right" width="100" |2757,440
|width="100" |24
|align="right" width="100" |24
|width="100" |
|width="100" |&nbsp;
|style="background:#faecc8" width="100" |
|style="background:#faecc8" width="100" |&nbsp;
|style="background:#faecc8" width="100" |
|style="background:#faecc8" width="100" |&nbsp;
|-
|-
|}
|}
Line 93: Line 91:
De F-test in de ANOVA tabel toets de nulhypothese: regressiecoëfficiënt b = 0 (‘er is geen samenhang tussen <math>X</math> en <math>Y</math>, dus de regressielijn loopt horizontaal - zonder helling - door de puntenwolk’). Uit de tabel kunnen we opmaken dat leeftijd een significante voorspeller is van het gemeten vetpercentage (regressiecoëfficiënt b ≠ 0). Of, anders geformuleerd, we kunnen concluderen dat het vetpercentages van de proefpersonen significant verklaard kunnen worden door hun verschillen in leeftijd.
De F-test in de ANOVA tabel toets de nulhypothese: regressiecoëfficiënt b = 0 (‘er is geen samenhang tussen <math>X</math> en <math>Y</math>, dus de regressielijn loopt horizontaal - zonder helling - door de puntenwolk’). Uit de tabel kunnen we opmaken dat leeftijd een significante voorspeller is van het gemeten vetpercentage (regressiecoëfficiënt b ≠ 0). Of, anders geformuleerd, we kunnen concluderen dat het vetpercentages van de proefpersonen significant verklaard kunnen worden door hun verschillen in leeftijd.


{| border ="1" style=align="left" cellpadding="3" cellspacing="0"
{| border ="1" style="text-align:center" cellpadding="3" cellspacing="0"
|colspan="6" align="center"|Coefficients
!colspan="6" align="center"|Coefficients
|-
|-
|colspan="2" width="100"|  
|colspan="2" width="100"|&nbsp;
|colspan="2" style="background:#faecc8" align="center" width="100" | Unstandardized
|colspan="2" style="background:#faecc8" align="center" width="100" | Unstandardized
coefficients
coefficients
Line 103: Line 101:
|-
|-
|model
|model
|style="background:#faecc8" |
|style="background:#faecc8" |&nbsp;
|style="background:#faecc8" |B
|style="background:#faecc8" |B
|SE
|SE
|
|&nbsp;
|
|&nbsp;
|-
|-
|rowspan="2" | 1
|rowspan="2" | 1
|style="background:#faecc8" |(Constant)
|align="left" style="background:#faecc8" |(Constant)
|style="background:#faecc8" |2,507
|align="right" style="background:#faecc8" |2,507
|3,932
|align="right"|3,932
|,638
|align="right"|,638
|,530
|align="right"|,530
|-
|-
|style="background:#faecc8" | Leeftijd
|align="left" style="background:#faecc8" | Leeftijd
|style="background:#faecc8" | ,549
|align="right" style="background:#faecc8" | ,549
|,082
|align="right"| ,082
|6,673
|align="right"|6,673
|,000
|align="right"|,000
|}
|}
a. dependent variable: vetpercentage
a. dependent variable: vetpercentage
Line 128: Line 126:
==Hoe werkt meervoudige lineaire regressie?==
==Hoe werkt meervoudige lineaire regressie?==


Bij [[multivariabele regressie|meervoudige ('multiple' of 'multivariable')]] lineaire regressie zijn we geïnteresseerd in het gelijkertijd modelleren van twee of meer onafhankelijke variabelen. Je kunt je voorstellen dat niet alleen de leeftijd, maar ook het geslacht van de proefpersoon een bijdrage levert aan de voorspelling van zijn of haar vetpercentage. Ander voorbeeld: omdat er een associatie is tussen de lengte en het gewicht van een kind, willen we in een onderzoek naar de relatie tussen gewicht en systolische bloeddruk ook de lengte van het kind in de statische analyse betrekken. Kortom, we passen meervoudige lineaire regressie toe om:
Bij [[multivariabele regressie|meervoudige ('multiple' of 'multivariable')]] lineaire regressie zijn we geïnteresseerd in het tegelijkertijd modelleren van twee of meer onafhankelijke variabelen. Je kunt je voorstellen dat niet alleen de leeftijd, maar ook het geslacht van de proefpersoon een bijdrage levert aan de voorspelling van zijn of haar vetpercentage. Ander voorbeeld: omdat er een associatie is tussen de lengte en het gewicht van een kind, willen we in een onderzoek naar de relatie tussen gewicht en systolische bloeddruk ook de lengte van het kind in de statische analyse betrekken. Kortom, we passen meervoudige lineaire regressie toe om:
#de waarde van een afhankelijke variabele te voorpellen met (te verklaren uit) een set van onafhankelijke variabelen, en/of
#de waarde van een afhankelijke variabele te voorpellen met een set van onafhankelijke variabelen, en/of
#na te gaan in welke mate een onafhankelijke <math>X</math> variabele lineair gerelateerd is aan de afhankelijke <math>Y</math> variabele, rekening houdend met (geadjusteerd voor) de invloed van andere X variabelen.
#na te gaan in welke mate een onafhankelijke <math>X</math> variabele lineair gerelateerd is aan de afhankelijke <math>Y</math> variabele, rekening houdend met (geadjusteerd voor) de invloed van andere <math>X</math> variabelen.


In de meervoudige lineaire regressievergelijking
In de meervoudige lineaire regressievergelijking


<math>Y = a + b_1\times X_1+b_2\times X_2+\ldots+b_k\times X_k</math>
<math>Y = a + b_1\times X_1+b_2\times X_2+\ldots+b_k\times X_k + \epsilon </math>


zijn  <math>X_i, (i = 1,2,\ldots,k),</math> de verklarende variabelen of covariaten, is <math>Y</math> de afhankelijk variabele, en vormen <math>b_1, b_2, \ldots, b_k</math> de (partiële) regressiecoëfficiënten. De coëfficiënt <math>b_1</math> geeft aan hoeveel <math>Y</math> toeneemt als <math>X_1</math> met één eenheid toeneemt, rekening houdend met (geadjusteerd voor) de invloed van de andere <math>X</math> variabelen door die constant te houden. Op deze wijze kunnen we dus de impact van <math>X_1</math> op <math>Y</math> analyseren onafhankelijk van de invloed van de andere <math>X</math> variabelen.
zijn  <math>X_i, (i = 1,2,\ldots,k),</math> de voorspellende variabelen of covariaten, is <math>Y</math> de afhankelijk variabele, en vormen <math>b_1, b_2, \ldots, b_k</math> de (partiële) regressiecoëfficiënten; <math>\epsilon</math> representeert weer de residuele fout (de afstand van de datapunten tot de regressielijn). De coëfficiënt <math>b_1</math> geeft aan hoeveel <math>Y</math> toeneemt als <math>X_1</math> met één eenheid toeneemt, rekening houdend met (geadjusteerd voor) de invloed van de andere <math>X</math> variabelen door die constant te houden. Op deze wijze kunnen we dus de impact van <math>X_1</math> op <math>Y</math> analyseren onafhankelijk van de invloed van de andere <math>X</math> variabelen.


==Hoe interpreteer ik mijn SPSS output bij gebruik van een meervoudig lineair model?==
==Hoe interpreteer ik mijn SPSS output bij gebruik van een meervoudig lineair model?==
Laten we ervan uitgaan dat we bij 100 kinderen een onderzoek doen naar de relatie tussen gewicht en systolische bloeddruk. We weten dat er een relatie is tussen het gewicht en de lengte van een kind, en mogelijk speelt het geslacht ook een rol. In een meervoudig lineaire regressie analyseren we nu het effect van gewicht (kg),  lengte (cm) en geslacht (0 = jongen; 1 = meisje).  
Stel dat we bij 100 kinderen een onderzoek doen naar de relatie tussen gewicht en systolische bloeddruk. We weten dat er een relatie is tussen het gewicht en de lengte van een kind, en mogelijk speelt het geslacht ook een rol. In een meervoudig lineaire regressie analyseren we nu het effect van gewicht (kg),  lengte (cm) en geslacht (0 = jongen; 1 = meisje).  


Model Summary
{| border ="1" style="text-align:center" cellpadding="3" cellspacing="0"
Model R R square Adjusted R square
!colspan="4" align="center"| Model Summary
1 0,564 0,318 0,297
|-
a. Adjusted R2 betekent dat bij berekening van de verklaarde variantie rekening is gehouden
|width="100"| Model
met het aantal verklarende variabelen in het model.
|width="100" | R
|width="100" | R square
|width="130" style="background:#faecc8" | Adjusted R square
|-
|align="left"|1
|align="right"|.564
|align="right"|.318
|align="right" style="background:#faecc8"| .297
|-
|}
a. Adjusted R square betekent dat bij berekening van de verklaarde variantie rekening is gehouden met het aantal verklarende variabelen in het model.


Uit de Model Summary komt naar voren dat de adjusted R square = 0,297. Met andere woorden; ongeveer 30% van de variatie in systolische bloeddruk kan verklaard worden door verschillen in gewicht, lengte en geslacht van de kinderen.
Uit de Model Summary komt naar voren dat de adjusted R square = 0,297. Met andere woorden; ongeveer 30% van de variatie in systolische bloeddruk kan verklaard worden door verschillen in gewicht, lengte en geslacht van de kinderen.
ANOVA
Model Sum of squares df Mean Square F Sig.
1
Regresssion
Residuals
Total
2804,045
6001,261
8805,306
3
96
99
934,682
62,513
14,952
,0001


De F-test in de ANOVA tabel toets de nulhypothese: regressiecoëfficiënten <math>b_i</math> zijn 0. Uit de analyse komt naar voren dat er een significante lineaire relatie is tussen de systolische bloeddruk en minstens één van de onafhankelijke <math>X</math> variabelen.
{| border ="1" style="text-align:center" cellpadding="3" cellspacing="0"
!colspan="6" align="center"|ANOVA
|-
|width="100"| Model
|width="100" | Sum of squares
|width="100" | df
|width="100" | Mean Square
|style="background:#faecc8" width="100" | F
|style="background:#faecc8" width="100" | Sig.
|-
|align="left" width="100" | 1
|width="100" | &nbsp;
|width="100" | &nbsp;
|width="100" | &nbsp;
|style="background:#faecc8" width="100" | &nbsp;
|style="background:#faecc8" width="100" | &nbsp;
|-
|width="100" align="left" |Regression
|align="right" width="100" |2804,045
|align="right" width="100" |3
|align="right" width="100" |934,682
|align="right" style="background:#faecc8" width="100" |14,952
|align="right" style="background:#faecc8" width="100" |,0001
|-
|width="100" align="left"|Residuals
|align="right" width="100" |6001,261
|align="right" width="100" |96
|align="right" width="100" |62,513
|style="background:#faecc8" width="100" |&nbsp;
|style="background:#faecc8" width="100" |&nbsp;
|-
|width="100" align="left"|Total
|align="right" width="100" |8805,306
|align="right" width="100" |99
|width="100" |&nbsp;
|style="background:#faecc8" width="100" |&nbsp;
|style="background:#faecc8" width="100" |&nbsp;
|-
|}
 
 
De F-test in de ANOVA tabel toetst de nulhypothese: regressiecoëfficiënten <math>b_i</math> zijn 0. Uit de analyse komt naar voren dat er een significante lineaire relatie is tussen de systolische bloeddruk en minstens één van de onafhankelijke <math>X</math> variabelen.


Coefficients
{| border ="1" style="text-align:center" cellpadding="3" cellspacing="0"
Unstandardized coefficients
!colspan="6" align="center"|Coefficients
t
|-
Sig.
|colspan="2" width="100"| &nbsp;
model B SE
|colspan="2" style="background:#faecc8" | Unstandardized
1 (Constant) 75,211 17,118 4,641 ,0001
coefficients
Gewicht
|width="100" | t
Lengte
|width="100" | Sig.
Geslacht 1,180
|-
-,031
|width="100"|model
4,230 ,261
|style="background:#faecc8" width="100" |&nbsp;
,172
|style="background:#faecc8" width="100" |B
1,611 4,512
|width="100"| SE
-,181
|&nbsp;
2,626 ,0001
|&nbsp;
,857
|-
,01
|rowspan="4" align="top" align="left"| 1
|style="background:#faecc8" align="left"|(Constant)
|align="right" style="background:#faecc8" |75,211
|align="right"|17,118
|align="right"|4,641
|align="right"|,0001
|-
|style="background:#faecc8" align="left"| Gewicht
|align="right" style="background:#faecc8" | 1,180
|align="right"|,261
|align="right"|4,512
|align="right"|,0001
|-
|style="background:#faecc8" align="left"| Lengte
|align="right" style="background:#faecc8" | -,031
|align="right"|,172
|align="right"|-,181
|align="right"|,857
|-
|style="background:#faecc8" align="left" | Geslacht
|align="right" style="background:#faecc8" | 4,230
|align="right"|1,611
|align="right"|2,626
|align="right"|,010
|}


De t-test laat zien dat de relatie tussen gewicht en systolische bloeddruk significant is (p < 0,001). Geadjusteerd voor de effecten van lengte en geslacht, leidt 1 kilogram gewichtstoename tot een gemiddelde systolische bloeddrukstijging van 1,18 mmHg. Geadjusteerd voor de invloeden van gewicht en geslacht is de relatie tussen lengte en systolische bloeddruk echter niet significant (p = 0,86). Er is ook een significante relatie (p = 0,01) tussen geslacht en bloeddruk: meisjes hebben - gemiddeld genomen – een 4,23 mmHg hogere systolische bloeddrukwaarde dan jongens, rekening houdend met verschillen in gewicht en lengte tussen kinderen. Kortom, gewicht en geslacht blijken onafhankelijke voorspellers te zijn van de systolische bloeddruk.
De t-test laat zien dat de relatie tussen gewicht en systolische bloeddruk significant is (p < 0,001). Geadjusteerd voor de effecten van lengte en geslacht, voorspelt 1 kilogram gewichtstoename een gemiddelde systolische bloeddrukstijging van 1,18 mmHg. Geadjusteerd voor de invloeden van gewicht en geslacht is de relatie tussen lengte en systolische bloeddruk echter niet significant (p = 0,86). Er is ook een significante relatie (p = 0,01) tussen geslacht en bloeddruk: meisjes hebben - gemiddeld genomen – een 4,23 mmHg hogere systolische bloeddrukwaarde dan jongens, rekening houdend met verschillen in gewicht en lengte tussen kinderen. Kortom, gewicht en geslacht blijken onafhankelijke voorspellers te zijn van de systolische bloeddruk.
Met behulp van de gegeven regressiecoëfficiënten uit de tabel kunnen we de lineaire vergelijking verder invullen. Zo is de verwachte systolische bloeddruk van een meisje van 37 kg met een lengte van 115 cm: 75,21 + (1,18 <math>\times</math> 37) – (0,03 <math>\times</math> 115) + (4,23 <math>\times</math> 1) =  119,65 mmHg.
Met behulp van de gegeven regressiecoëfficiënten uit de tabel kunnen we de lineaire vergelijking verder invullen. Zo is de verwachte systolische bloeddruk van een meisje van 37 kg met een lengte van 115 cm: 75,21 + (1,18 <math>\times</math> 37) – (0,03 <math>\times</math> 115) + (4,23 <math>\times</math> 1) =  119,65 mmHg.


== Hoe interpreteer ik de resultaten van mijn lineaire model bij een log transformatie van de uitkomstmaat? ==
== Hoe interpreteer ik de resultaten van mijn lineaire model bij een logtransformatie van de uitkomstmaat? ==


''Ik heb een vraag over de interpretatie van de B-waarden in mijn lineaire regressie analyse. De afhankelijke variable is namelijk een log-getransformeerde cortisolwaarde waardoor de B waarde (en wellicht ook de gestandaardiseerde Beta) moeilijker te interpreteren zijn. Ik heb daarom de B-waarden terug getransformeerd (Transformed B (EXP(B-waarde)) en krijg dan waarden rond de 1.  
''Ik heb een vraag over de interpretatie van de B-waarden in mijn lineaire regressie analyse. De afhankelijke variabele is namelijk een log-getransformeerde cortisolwaarde waardoor de B-waarde (en wellicht ook de gestandaardiseerde Beta) moeilijker te interpreteren zijn. Ik heb daarom de B-waarden terug getransformeerd (Transformed B (EXP(B-waarde)) en krijg dan waarden rond de 1.  
''Mijn vraag is nu: hoe leg ik de B-waardes uit tijdens de presentatie op een congres komende week? Normaal gesproken spreek je van bij 1 unit toename in de afhankelijke variabele van ...(B-waarde) afname in cortisol waarde. Zelf dacht ik dat bijvoorbeeld nu Transformed [EXP(beta)] = 0.97, CI (0.95-0.99), p = .027 nu uiteglegd kan worden als:bij iedere unit toename van de afhankelijke variabele geeft een afname van 3% in cortisol. Klopt dit?
''Mijn vraag is nu: hoe leg ik de B-waarden uit tijdens de presentatie op een congres komende week? Normaal gesproken spreek je van bij 1 unit toename in de onafhankelijke variabele van ...(B-waarde) afname in cortisolwaarde. Zelf dacht ik dat bijvoorbeeld Transformed [EXP(beta)] = 0.97, CI (0.95-0.99), p = .027 nu uitgelegd kan worden als: iedere unit toename van de onafhankelijke variabele geeft een afname van 3% in cortisol. Klopt dit?


Als je een linear model fit om het effect van X op de log-getransformeerde cortisolwaarde te beoordelen, ziet dat er als volgt uit:
Als je een linear model fit om het effect van X op de log-getransformeerde cortisolwaarde te beoordelen, ziet dat er als volgt uit:


log(cortisol) = intercept + B * X
: log(cortisol) = intercept + B*X  


Inderdaad, een unit toename in X geeft B toename van de log(cortisol). Als we dit terug willen vertalen naar "gewone" cortisolwaardes, gebruiken we de inverse van de log:
Inderdaad, één unit toename in X geeft B toename van de log(cortisol). Als we dit terug willen vertalen naar "gewone" cortisolwaarden, gebruiken we de inverse van de (natuurlijke) log:


Exp(log(coritsol)) = exp (intercept + B*SRIP)
: exp(log(cortisol)) = exp(intercept + B*X), waarbij exp staat voor 'e tot de macht'.


Dit is gelijk aan:
Dit is gelijk aan:


cortisol = exp ( intercept + B*SRIP)
: cortisol = exp(intercept + B*X)
 
Bekijken we nu het verschil in cortisolwaarden bij toename van 1 unit X:


Bekijken we nu het verschil in cortisolwaarden bij toename van 1 unit SRIP:
: cortisol = exp(intercept + B*(X+1)) = exp(intercept + B*X + B)


cortisol = exp ( intercept + B*X + B)
Dan is dit, gebruikmakend van de rekenregels, gelijk aan:


Dan is dit gebruik makend van de rekenregels gelijk aan
: cortisol = <span style="background-color:lightgrey> exp(intercept + B*X) </span style> * exp(B)


exp (intercept + B*X) * exp (B)  
Nu is het gearceerde gedeelte van bovenstaande vergelijking precies gelijk aan de cortisolwaarde op het "beginpunt", dus inderdaad: een unit extra X geeft vermenigvuldiging van de cortisolwaarde met de factor exp(B). En ook inderdaad: indien de exp(B) = 0.97, dan geeft vermenigvuldiging hiermee een afname van 3%.


Nu is het eerste gedeelte van bovenstaande vergelijking precies gelijk aan de cortisolwaarde op het "beginpunt", dus inderdaad: een unit extra SRIP geeft vermenigvuldiging van de cortisolwaarde met de factor exp(B). En ook inderdaad: indien de exp(B) = 0.97, dan geeft vermenigvuldiging hiermee een afname van 3%.
Je interpretatie was dus juist. (In het bovenstaande ben ik er wel vanuit gegaan dat de cortisolwaardes met de natuurlijke logaritme getransformeerd zijn en niet bijvoorbeeld met een 10log).


Je interpretatie was dus juist. (In het bovenstaande ben ik wel vanuit gegaan dat de cortisol waardes met de natuurlijke logaritme getransformeerd zijn en niet bijvoorbeeld met een 10log).
Zie voor uitgebreidere uitleg over het interpreteren van regressiecoëfficiënten bij gebruik van een logtransformatie deze pagina van [https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faqhow-do-i-interpret-a-regression-model-when-some-variables-are-log-transformed UCLA: Academic Technology Services, Statistical Consulting Group].


== Waar vind ik lineaire regressie in SPSS? ==
== Waar vind ik lineaire regressie in SPSS? ==


Je vind lineaire regressie in SPSS 16 onder Analyze -> Regression -> Linear.
Je vindt lineaire regressie in SPSS 28 onder Analyze -> Regression -> Linear.
 
== Hoe geef ik categorische variabelen mee bij lineaire regressie in SPSS? ==
 
Voor het gebruiken van [[KEUZE TOETS#Van welk type is mijn data? |categorische variabelen]] als voorspeller in een lineair model moeten er in SPSS eerst dummyvariabelen aangemaakt worden. Om bijvoorbeeld het effect van roken (met categorieën 'no', 'previous' of 'current') op systolische bloeddruk te onderzoeken, moeten er twee dummyvariabelen aangemaakt worden. Als we de groep die nooit gerookt heeft als referentie beschouwen, dan maken we een 0/1 variabele voor 'previous smoker' en een 0/1 variabele voor 'current smoker'. In het algemeen geldt: bij n categorieën moeten n-1 dummyvariabelen aangemaakt worden. In de output vinden we nu het voor het verschil previous vs no smoking en current vs no smoking de [[Lineaire regressie#Hoe werkt (enkelvoudige) lineaire regressie?|regressiecoefficient]] met bijhorende significantietest. Eventueel kan de "overall test" die weergeeft of de variabele roken überhaupt bijdraagt aan het model verkregen worden door de voorspellers in twee blokken mee te geven aan het regressiemodel: Een blok met alle variabelen behalve roken en een tweede blok met de twee dummyvariabelen voor roken toegevoegd. Als er bij 'Statistics' 'R squared change' staat aangevinkt, dan geeft SPSS ook een p-waarde behorend bij het toevoegen van alle drie de rook-categorieën.
 
Alternatief kun je in plaats van de standaard ''Analyze -> Regression -> Linear'' procedure gebruik maken van de ''Analyze -> General Linear Model -> Univariate'' module. Hierin kun je aangeven wat de categorische variabelen zijn door deze als 'Fixed factor(s)' aan te duiden, de numerieke voorspellers meld je onder 'Covariate(s)'. Onder 'Model...' geef je vervolgens aan welke termen je in het model wilt, plus eventuele interacties. Vraag onder 'Options' om de gebruikelijke regressiecoëfficiënten in de output te zien. Deze module doet hetzelfde als een gewone lineaire regressie, maar heeft meer opties/mogelijkheden die vaak niet van toepassing zijn.
 
==Mijn voorspeller is niet normaal verdeeld, kan ik nu nog lineaire regressie gebruiken?==
 
''Ik heb een onderzoek gedaan bij patiënten met neurologische afwijking, deze patiënten kunnen afwijkingen in de hersenen hebben. Daarom heb ik een MRI van de hersenen gemaakt en een aantal neuropsychologische testen gedaan. Ik wil onderzoeken of kinderen met véél afwijkingen ook slechter scoren op de neuropsychologische testen. De variabele die de MRI afwijkingen aangeeft is niet normaal verdeeld: de helft van de patiënten heeft geen afwijkingen (afwijkscore is 0), de andere helft van de patiënten heeft afwijkingsscore 5 tot >10.000. Het liefst zou ik een aantal lineaire regressies doen met als voorspeller de afwijkscore en als uitkomst telkens één van de neuropsychologische testen. Een deel van de neuropsychologische testen zijn afhankelijk van de leeftijd, die moet dan dus ook mee in het model als voorspeller. Ik twijfel of ik wel een (multipele) lineaire regressie mag doen gezien de scheve verdeling van de afwijkvariabele. [[KEUZE TOETS#Hoe_kan_ik_in_SPSS_mijn_data_transformeren.3F|Logtransformeren]] helpt wel iets maar dan nog is het niet normaal verdeeld. Is er nog een oplossing te vinden zodat ik wel de (multipele) lineaire regressie kan uitvoeren? Een alternatief is een simpel correlatiemodel maken, dat kan ik non-parameterisch m.b.v. een [[Correlatie|Spearman's correlatie]] doen. Volgens mij mag ik dan gewoon de ongetransformeerde afwijkscore nemen als variabele en kijken wat de Spearman's correlatie is met de neuropsychologische testen. Klopt dat? Maar dan heb ik een probleem in die gevallen waarbij ik de leeftijd ook moet meenemen als variabele, dan moet ik partial correlations doen en dan leeftijd als 'controlling for' variabele meenemen. Maar dat is weer niet non-parametrisch, is er een manier om dat te omzeilen?
 
Heel sec bekeken hoeft de voorspeller in een lineaire regressie niet normaal verdeeld te zijn. Die voorwaarde geldt voor de uitkomstmaat (of eigenlijk voor de residuen van uitkomstmaat minus modelvoorspelling). Echter, als je de afwijkscore als numerieke covariaat in het model zou gebruiken, dan maak je wel een andere ferme aanname, namelijk dat iedere 1 punt toename in afwijkscore met een vaste toe- of afname op de uitkomsten van de neuropsychologische testen correspondeert. En dit is gezien de grote spreiding in afwijkingswaarden waarschijnlijk niet realistisch. De schattingen in zo'n regressie zouden onevenredig zwaar beïnvloed worden door de patiënten met >10000 score.
 
Een niet-parametrische [[Correlatie|Spearman correlatie]] berekenen kan inderdaad. Hierbij heb je zoals je zelf al aangeeft echter geen mogelijkheid tot corrigeren voor andere factoren (de partial correlaties zijn eigenlijk gewoon multipele lineaire regressies).
 
Wat je alternatief zou kunnen doen is het opdelen van de afwijkvariabele in categorieën. Een grove indeling in wel of geen afwijking zou kunnen, of een meer fijnmazige in bijvoorbeeld 0, >0 tot 50, >500. Het liefst gebruik je 'logische afkappunten'. Let er wel op dat er nog een redelijk aantal patiënten in ieder van de categorieën valt om het schatbaar te houden. Een regressie met deze categorische variabele als voorspeller kan dan kijken of het behoren tot een andere categorie voorspellend is voor de testuitkomsten. Hierbij is het weer mogelijk te corrigeren voor andere factoren. Ook zou je kunnen proberen om door middel van een transformatie de variabele minder scheef verdeeld te krijgen, bijvoorbeeld een [[KEUZE_TOETS#Hoe_kan_ik_in_SPSS_mijn_data_transformeren.3F|logtransformatie]].
 
== Hoeveel predictoren mag ik aan mijn model meegeven? ==
Zie de pagina over steekproefgrootte op deze wiki:
*[[Poweranalyse#Hoeveel_pati.C3.ABnten_heb_ik_nodig_om_een_predictie_model_te_bouwen.3F|poweranalyse bij een predictiemodel]].


==Hoe rapporteer ik mijn ANCOVA analyse?==


== Referenties ==
''Wij doen een studie waarbij we kijken naar de verandering van een biomarker na 26 weken tov baseline. In een ANCOVA model bekijken we het verschil in verandering tussen twee groepen, gecorrigeerd voor baseline waarde van de biomarker. Nu komt het model in SPSS met een output waarin een "estimated marginal mean" wordt gegeven bij de "pairwise comparison". Met daarbij een bijbehorend 95% confidence interval. Ik dacht dat dit een soort gecorrigeerd gemiddeld verschil is voor de covariaten in het model. Mijn vraag is nu: wat moeten wij rapporteren? De estimated marginal mean met 95% CI en p-waarde uit het ANCOVA model, of is het beter het verschil in verandering over de originele data (dus gewoon een t-test) te rapporteren met 95% CI, met dan aangegeven of het significant is volgens ANCOVA?


Kijk eens in [http://www.bmj.com/cgi/content/full/323/7321/1123?view=long&pmid=11701584 dit artikel van Vickers en Altman (Statistical Notes BMJ 2001)]. Klik op de tabel, je ziet dat daar meerdere scores worden gerapporteerd, wellicht ook iets voor jullie? Ook [http://www.ncbi.nlm.nih.gov/pubmed/16895814 dit paper van Gerard van Breukelen (J Clin Epidemiol 2006)] is misschien interessant voor je.


<div style="background-color:#e8f1ff; margin:0.5em; padding:1em; border:1px solid #C8D0DC;">
== Aanvullende bronnen ==
Terug naar [[OVERZICHT]] voor een overzicht van alle statistische onderwerpen op deze wiki.
[https://isqr.uni-freiburg.de/reginmed2011/interaction.pdf Course material on interaction and effect modification] from the web based distance learning course - Regression Models as a Tool in Medical Research - International School of Quantitative Research, University of Freiburg.  


Terug naar [[KEUZE TOETS]] voor hulp bij het uitzoeken van een geschikte toets of analyse.
{{onderschrift}}
<div>

Latest revision as of 16:23, 27 June 2024

Auteur prof dr R.J. de Haan
Co-Auteur
auteurschap op deze site

Wanneer gebruik ik een lineair regressiemodel?

Als je een correlatietechniek toepast, ben je geïnteresseerd in de mate van samenhang tussen twee variabelen en , bijvoorbeeld bij een onderzoek naar de samenhang tussen leeftijd en scores op een cognitieve test. Met lineaire regressie ga je een stap verder. Met deze techniek probeer je de waarden van de uitkomst via een lineair verband te voorspellen uit die van . De uitkomstvariabele wordt de afhankelijke variabele genoemd, en de voorspeller de onafhankelijke variabele. We spreken van enkelvoudige (ook wel simple of univariable) regressie als we de uitkomst willen voorspellen met één predictor. In de praktijk zal dat in vele gevallen niet voldoende zijn en is het wenselijk om de effecten van twee of meer voorspellers te analyseren. We spreken dan van meervoudige (ook wel multiple of multivariable) lineaire regressie.

Om een lineaire regressie te kunnen gebruiken, moeten de onderzoeksgegevens aan een aantal statistische voorwaarden voldoen:

  1. Over de gehele range van geobserveerde waarden moet sprake zijn van een lineaire samenhang tussen de onafhankelijke variabele en de afhankelijke variabele (tip: maak eerst een scatterplot om de aard van de samenhang tussen en te exploreren);
  2. Wat betreft het type data mogen de variabelen zowel discreet als continu zijn. De afhankelijke variabele mag alleen continu zijn;
  3. Voor elke waarde van moeten de observaties van onafhankelijk van elkaar zijn; dat wil zeggen dat de variabelen slechts 1 keer bij een persoon zijn gemeten. Lineaire regressie is dus niet geschikt om voor onderzoeksgegevens te analyseren waarbij de patiënten herhaaldelijk in de tijd zijn gemeten (voor herhaalde metingen bestaan andere technieken).
  4. De variabele heeft een normaalverdeling voor elke waarde van .
  5. De verdelingen van de variabele hebben een gelijke variantie (of standaarddeviatie) voor elke waarde van .

De assumpties 1, 4 en 5 kunnen met behulp van de residuen van het lineaire model worden gecontroleerd.

Hoe werkt (enkelvoudige) lineaire regressie?

In lineaire regressie bepalen we de lineaire regressielijn die het beste de relatie tussen de en variabelen beschrijft. De lineaire regressielijn wordt geschat met behulp van de vergelijking:

is de afhankelijke, uitkomstvariabele; de onafhankelijke voorspeller; en 'a' en 'b' zijn de regressiecoëfficiënten; representeert de afstand tussen de regressielijn en de datapunten (de residuen). Regressiecoëfficiënt ‘a’ wordt ook wel de intercept genoemd, en geeft de waarde van aan als (de intercept bepaalt dus de hoogte van de regressielijn). De regressiecoëfficiënt ‘b’ weerspiegelt de helling (slope) van de regressielijn, en geeft de gemiddelde toename van aan als de variabele met 1 eenheid toeneemt.

LineaireRegressie.png

Hoe interpreteer ik mijn SPSS output bij gebruik van een enkelvoudig lineair model?

Stel dat in een steekproef van n=25 de Pearson’s correlatie tussen de leeftijd van proefpersonen en hun lichaamsvetpercentage 0.81 is. We willen deze samenhang echter niet alleen beschrijven, maar op basis van de leeftijd van de persoon nu ook een voorspelling doen over zijn of haar lichaamsvetpercentage. Als we in SPSS in de schermen van de module Linear Regression de variabelen ‘vetpercentage’ als afhankelijke (dependent) variabele opgeven, en de variabele leeftijd als onafhankelijke (independent), dan zullen de volgende tabellen worden gegenereerd: Model Summary, ANOVA en Coeficients. NB: in de hierna volgende voorbeelden worden sommige SPSS tabellen in verkorte vorm weergegeven.

Model Summary
Model R R square Adjusted R square SE of the estimate
1 .821 .659 .645 6.3898

De tabel Model Summary geeft de Pearson’s correlatie weer tussen de betreffende en variabelen. De kolom 'R square' is een zogenaamde goodness-of-fit maat. Deze maat geeft uitdrukking aan hoe goed de geobserveerde data clusteren rond de geschatte regressielijn. In een enkelvoudige lineaire regressie is dat het kwadraat van de correlatie. De proportie wordt meestal in een percentage ‘verklaarde variantie’ uitgedrukt. In dit voorbeeld betekent R square dus dat de totale variatie in vetpercentages voor 66% verklaard kan worden door de lineaire regressie c.q. de verschillen in leeftijd.

ANOVA
Model Sum of squares df Mean Square F Sig.
1          
Regression 1818,362 1 1818,362 44,535 ,000
Residuals 939,078 23 40,829    
Total 2757,440 24      

De F-test in de ANOVA tabel toets de nulhypothese: regressiecoëfficiënt b = 0 (‘er is geen samenhang tussen en , dus de regressielijn loopt horizontaal - zonder helling - door de puntenwolk’). Uit de tabel kunnen we opmaken dat leeftijd een significante voorspeller is van het gemeten vetpercentage (regressiecoëfficiënt b ≠ 0). Of, anders geformuleerd, we kunnen concluderen dat het vetpercentages van de proefpersonen significant verklaard kunnen worden door hun verschillen in leeftijd.

Coefficients
  Unstandardized

coefficients

t Sig.
model   B SE    
1 (Constant) 2,507 3,932 ,638 ,530
Leeftijd ,549 ,082 6,673 ,000

a. dependent variable: vetpercentage

De t-test in de derde tabel – Coefficients- geeft niet meer informatie dan hetgeen we al wisten uit de F-test in de ANOVA tabel, namelijk dat leeftijd een significante voorspeller is van het gemeten vetpercentage. In deze tabel wordt de lineaire vergelijking weergegeven. De regressiecoëfficiënt a zien we (enigszins verwarrend in SPSS) staan onder de kolom B, rechts van de cel ‘Constant’, en heeft de waarde 2,51. Regressiecoëfficiënt b wordt ook onder de kolom B vermeld, rechts van de variabele ‘leeftijd’, en heeft de waarde 0,55. We kunnen nu de lineaire vergelijking als volgt invullen: vetpercentage = 2,51 + (0,55 leeftijd). Het verwachte vetpercentage van een proefpersoon van 60 jaar oud is dus: 2,507+ (0,549 60) = 35,45%.

Hoe werkt meervoudige lineaire regressie?

Bij meervoudige ('multiple' of 'multivariable') lineaire regressie zijn we geïnteresseerd in het tegelijkertijd modelleren van twee of meer onafhankelijke variabelen. Je kunt je voorstellen dat niet alleen de leeftijd, maar ook het geslacht van de proefpersoon een bijdrage levert aan de voorspelling van zijn of haar vetpercentage. Ander voorbeeld: omdat er een associatie is tussen de lengte en het gewicht van een kind, willen we in een onderzoek naar de relatie tussen gewicht en systolische bloeddruk ook de lengte van het kind in de statische analyse betrekken. Kortom, we passen meervoudige lineaire regressie toe om:

  1. de waarde van een afhankelijke variabele te voorpellen met een set van onafhankelijke variabelen, en/of
  2. na te gaan in welke mate een onafhankelijke variabele lineair gerelateerd is aan de afhankelijke variabele, rekening houdend met (geadjusteerd voor) de invloed van andere variabelen.

In de meervoudige lineaire regressievergelijking

zijn de voorspellende variabelen of covariaten, is de afhankelijk variabele, en vormen de (partiële) regressiecoëfficiënten; representeert weer de residuele fout (de afstand van de datapunten tot de regressielijn). De coëfficiënt geeft aan hoeveel toeneemt als met één eenheid toeneemt, rekening houdend met (geadjusteerd voor) de invloed van de andere variabelen door die constant te houden. Op deze wijze kunnen we dus de impact van op analyseren onafhankelijk van de invloed van de andere variabelen.

Hoe interpreteer ik mijn SPSS output bij gebruik van een meervoudig lineair model?

Stel dat we bij 100 kinderen een onderzoek doen naar de relatie tussen gewicht en systolische bloeddruk. We weten dat er een relatie is tussen het gewicht en de lengte van een kind, en mogelijk speelt het geslacht ook een rol. In een meervoudig lineaire regressie analyseren we nu het effect van gewicht (kg), lengte (cm) en geslacht (0 = jongen; 1 = meisje).

Model Summary
Model R R square Adjusted R square
1 .564 .318 .297

a. Adjusted R square betekent dat bij berekening van de verklaarde variantie rekening is gehouden met het aantal verklarende variabelen in het model.

Uit de Model Summary komt naar voren dat de adjusted R square = 0,297. Met andere woorden; ongeveer 30% van de variatie in systolische bloeddruk kan verklaard worden door verschillen in gewicht, lengte en geslacht van de kinderen.

ANOVA
Model Sum of squares df Mean Square F Sig.
1          
Regression 2804,045 3 934,682 14,952 ,0001
Residuals 6001,261 96 62,513    
Total 8805,306 99      


De F-test in de ANOVA tabel toetst de nulhypothese: regressiecoëfficiënten zijn 0. Uit de analyse komt naar voren dat er een significante lineaire relatie is tussen de systolische bloeddruk en minstens één van de onafhankelijke variabelen.

Coefficients
  Unstandardized

coefficients

t Sig.
model   B SE    
1 (Constant) 75,211 17,118 4,641 ,0001
Gewicht 1,180 ,261 4,512 ,0001
Lengte -,031 ,172 -,181 ,857
Geslacht 4,230 1,611 2,626 ,010

De t-test laat zien dat de relatie tussen gewicht en systolische bloeddruk significant is (p < 0,001). Geadjusteerd voor de effecten van lengte en geslacht, voorspelt 1 kilogram gewichtstoename een gemiddelde systolische bloeddrukstijging van 1,18 mmHg. Geadjusteerd voor de invloeden van gewicht en geslacht is de relatie tussen lengte en systolische bloeddruk echter niet significant (p = 0,86). Er is ook een significante relatie (p = 0,01) tussen geslacht en bloeddruk: meisjes hebben - gemiddeld genomen – een 4,23 mmHg hogere systolische bloeddrukwaarde dan jongens, rekening houdend met verschillen in gewicht en lengte tussen kinderen. Kortom, gewicht en geslacht blijken onafhankelijke voorspellers te zijn van de systolische bloeddruk. Met behulp van de gegeven regressiecoëfficiënten uit de tabel kunnen we de lineaire vergelijking verder invullen. Zo is de verwachte systolische bloeddruk van een meisje van 37 kg met een lengte van 115 cm: 75,21 + (1,18 37) – (0,03 115) + (4,23 1) = 119,65 mmHg.

Hoe interpreteer ik de resultaten van mijn lineaire model bij een logtransformatie van de uitkomstmaat?

Ik heb een vraag over de interpretatie van de B-waarden in mijn lineaire regressie analyse. De afhankelijke variabele is namelijk een log-getransformeerde cortisolwaarde waardoor de B-waarde (en wellicht ook de gestandaardiseerde Beta) moeilijker te interpreteren zijn. Ik heb daarom de B-waarden terug getransformeerd (Transformed B (EXP(B-waarde)) en krijg dan waarden rond de 1. Mijn vraag is nu: hoe leg ik de B-waarden uit tijdens de presentatie op een congres komende week? Normaal gesproken spreek je van bij 1 unit toename in de onafhankelijke variabele van ...(B-waarde) afname in cortisolwaarde. Zelf dacht ik dat bijvoorbeeld Transformed [EXP(beta)] = 0.97, CI (0.95-0.99), p = .027 nu uitgelegd kan worden als: iedere unit toename van de onafhankelijke variabele geeft een afname van 3% in cortisol. Klopt dit?

Als je een linear model fit om het effect van X op de log-getransformeerde cortisolwaarde te beoordelen, ziet dat er als volgt uit:

log(cortisol) = intercept + B*X

Inderdaad, één unit toename in X geeft B toename van de log(cortisol). Als we dit terug willen vertalen naar "gewone" cortisolwaarden, gebruiken we de inverse van de (natuurlijke) log:

exp(log(cortisol)) = exp(intercept + B*X), waarbij exp staat voor 'e tot de macht'.

Dit is gelijk aan:

cortisol = exp(intercept + B*X)

Bekijken we nu het verschil in cortisolwaarden bij toename van 1 unit X:

cortisol = exp(intercept + B*(X+1)) = exp(intercept + B*X + B)

Dan is dit, gebruikmakend van de rekenregels, gelijk aan:

cortisol = exp(intercept + B*X) * exp(B)

Nu is het gearceerde gedeelte van bovenstaande vergelijking precies gelijk aan de cortisolwaarde op het "beginpunt", dus inderdaad: een unit extra X geeft vermenigvuldiging van de cortisolwaarde met de factor exp(B). En ook inderdaad: indien de exp(B) = 0.97, dan geeft vermenigvuldiging hiermee een afname van 3%.

Je interpretatie was dus juist. (In het bovenstaande ben ik er wel vanuit gegaan dat de cortisolwaardes met de natuurlijke logaritme getransformeerd zijn en niet bijvoorbeeld met een 10log).

Zie voor uitgebreidere uitleg over het interpreteren van regressiecoëfficiënten bij gebruik van een logtransformatie deze pagina van UCLA: Academic Technology Services, Statistical Consulting Group.

Waar vind ik lineaire regressie in SPSS?

Je vindt lineaire regressie in SPSS 28 onder Analyze -> Regression -> Linear.

Hoe geef ik categorische variabelen mee bij lineaire regressie in SPSS?

Voor het gebruiken van categorische variabelen als voorspeller in een lineair model moeten er in SPSS eerst dummyvariabelen aangemaakt worden. Om bijvoorbeeld het effect van roken (met categorieën 'no', 'previous' of 'current') op systolische bloeddruk te onderzoeken, moeten er twee dummyvariabelen aangemaakt worden. Als we de groep die nooit gerookt heeft als referentie beschouwen, dan maken we een 0/1 variabele voor 'previous smoker' en een 0/1 variabele voor 'current smoker'. In het algemeen geldt: bij n categorieën moeten n-1 dummyvariabelen aangemaakt worden. In de output vinden we nu het voor het verschil previous vs no smoking en current vs no smoking de regressiecoefficient met bijhorende significantietest. Eventueel kan de "overall test" die weergeeft of de variabele roken überhaupt bijdraagt aan het model verkregen worden door de voorspellers in twee blokken mee te geven aan het regressiemodel: Een blok met alle variabelen behalve roken en een tweede blok met de twee dummyvariabelen voor roken toegevoegd. Als er bij 'Statistics' 'R squared change' staat aangevinkt, dan geeft SPSS ook een p-waarde behorend bij het toevoegen van alle drie de rook-categorieën.

Alternatief kun je in plaats van de standaard Analyze -> Regression -> Linear procedure gebruik maken van de Analyze -> General Linear Model -> Univariate module. Hierin kun je aangeven wat de categorische variabelen zijn door deze als 'Fixed factor(s)' aan te duiden, de numerieke voorspellers meld je onder 'Covariate(s)'. Onder 'Model...' geef je vervolgens aan welke termen je in het model wilt, plus eventuele interacties. Vraag onder 'Options' om de gebruikelijke regressiecoëfficiënten in de output te zien. Deze module doet hetzelfde als een gewone lineaire regressie, maar heeft meer opties/mogelijkheden die vaak niet van toepassing zijn.

Mijn voorspeller is niet normaal verdeeld, kan ik nu nog lineaire regressie gebruiken?

Ik heb een onderzoek gedaan bij patiënten met neurologische afwijking, deze patiënten kunnen afwijkingen in de hersenen hebben. Daarom heb ik een MRI van de hersenen gemaakt en een aantal neuropsychologische testen gedaan. Ik wil onderzoeken of kinderen met véél afwijkingen ook slechter scoren op de neuropsychologische testen. De variabele die de MRI afwijkingen aangeeft is niet normaal verdeeld: de helft van de patiënten heeft geen afwijkingen (afwijkscore is 0), de andere helft van de patiënten heeft afwijkingsscore 5 tot >10.000. Het liefst zou ik een aantal lineaire regressies doen met als voorspeller de afwijkscore en als uitkomst telkens één van de neuropsychologische testen. Een deel van de neuropsychologische testen zijn afhankelijk van de leeftijd, die moet dan dus ook mee in het model als voorspeller. Ik twijfel of ik wel een (multipele) lineaire regressie mag doen gezien de scheve verdeling van de afwijkvariabele. Logtransformeren helpt wel iets maar dan nog is het niet normaal verdeeld. Is er nog een oplossing te vinden zodat ik wel de (multipele) lineaire regressie kan uitvoeren? Een alternatief is een simpel correlatiemodel maken, dat kan ik non-parameterisch m.b.v. een Spearman's correlatie doen. Volgens mij mag ik dan gewoon de ongetransformeerde afwijkscore nemen als variabele en kijken wat de Spearman's correlatie is met de neuropsychologische testen. Klopt dat? Maar dan heb ik een probleem in die gevallen waarbij ik de leeftijd ook moet meenemen als variabele, dan moet ik partial correlations doen en dan leeftijd als 'controlling for' variabele meenemen. Maar dat is weer niet non-parametrisch, is er een manier om dat te omzeilen?

Heel sec bekeken hoeft de voorspeller in een lineaire regressie niet normaal verdeeld te zijn. Die voorwaarde geldt voor de uitkomstmaat (of eigenlijk voor de residuen van uitkomstmaat minus modelvoorspelling). Echter, als je de afwijkscore als numerieke covariaat in het model zou gebruiken, dan maak je wel een andere ferme aanname, namelijk dat iedere 1 punt toename in afwijkscore met een vaste toe- of afname op de uitkomsten van de neuropsychologische testen correspondeert. En dit is gezien de grote spreiding in afwijkingswaarden waarschijnlijk niet realistisch. De schattingen in zo'n regressie zouden onevenredig zwaar beïnvloed worden door de patiënten met >10000 score.

Een niet-parametrische Spearman correlatie berekenen kan inderdaad. Hierbij heb je zoals je zelf al aangeeft echter geen mogelijkheid tot corrigeren voor andere factoren (de partial correlaties zijn eigenlijk gewoon multipele lineaire regressies).

Wat je alternatief zou kunnen doen is het opdelen van de afwijkvariabele in categorieën. Een grove indeling in wel of geen afwijking zou kunnen, of een meer fijnmazige in bijvoorbeeld 0, >0 tot 50, >500. Het liefst gebruik je 'logische afkappunten'. Let er wel op dat er nog een redelijk aantal patiënten in ieder van de categorieën valt om het schatbaar te houden. Een regressie met deze categorische variabele als voorspeller kan dan kijken of het behoren tot een andere categorie voorspellend is voor de testuitkomsten. Hierbij is het weer mogelijk te corrigeren voor andere factoren. Ook zou je kunnen proberen om door middel van een transformatie de variabele minder scheef verdeeld te krijgen, bijvoorbeeld een logtransformatie.

Hoeveel predictoren mag ik aan mijn model meegeven?

Zie de pagina over steekproefgrootte op deze wiki:

Hoe rapporteer ik mijn ANCOVA analyse?

Wij doen een studie waarbij we kijken naar de verandering van een biomarker na 26 weken tov baseline. In een ANCOVA model bekijken we het verschil in verandering tussen twee groepen, gecorrigeerd voor baseline waarde van de biomarker. Nu komt het model in SPSS met een output waarin een "estimated marginal mean" wordt gegeven bij de "pairwise comparison". Met daarbij een bijbehorend 95% confidence interval. Ik dacht dat dit een soort gecorrigeerd gemiddeld verschil is voor de covariaten in het model. Mijn vraag is nu: wat moeten wij rapporteren? De estimated marginal mean met 95% CI en p-waarde uit het ANCOVA model, of is het beter het verschil in verandering over de originele data (dus gewoon een t-test) te rapporteren met 95% CI, met dan aangegeven of het significant is volgens ANCOVA?

Kijk eens in dit artikel van Vickers en Altman (Statistical Notes BMJ 2001). Klik op de tabel, je ziet dat daar meerdere scores worden gerapporteerd, wellicht ook iets voor jullie? Ook dit paper van Gerard van Breukelen (J Clin Epidemiol 2006) is misschien interessant voor je.

Aanvullende bronnen

Course material on interaction and effect modification from the web based distance learning course - Regression Models as a Tool in Medical Research - International School of Quantitative Research, University of Freiburg.

Klaar met lezen? Je kunt naar het OVERZICHT van alle statistische onderwerpen op deze wiki gaan of naar de pagina KEUZE TOETS voor hulp bij het uitzoeken van een geschikte toets of analyse. Wil je meer leren over biostatistiek? Volg dan de AMC e-learning Practical Biostatistics. Vind je op deze pagina's iets dat niet klopt? Werkt een link niet? Of wil je bijdragen aan de wiki? Neem dan contact met ons op.

De wiki biostatistiek is een initiatief van de voormalige helpdesk statistiek van Amsterdam UMC, locatie AMC. Medewerkers van Amsterdam UMC kunnen via intranet ondersteuning aanvragen.