Vergleich Regressionsgewichte
Welcher Prädiktor hat einen stärkeren Einfluss?

Arndt Regorz, Dipl. Kfm. & M.Sc. Psychologie, Stand: 02.06.2022

Ist der Einfluss von Prädiktor UV1 stärker als der Einfluss von Prädiktor UV2?

Das kann eine sehr interessante Forschungsfrage sein. Allerdings wird in den gängigen Statistikkursen häufig nicht vermittelt, wie eine solche Hypothese getestet werden kann.

Dieses Tutorial wird verschiedene Wege aufzeigen, wie man in einem Regressionsmodell den Einfluss verschiedener Prädiktoren miteinander vergleichen kann. Das Beispiel ist ursprünglich mit SPSS erstellt worden, am Ende des Tutorials finden Sie aber auch den nötigen Code zur Umsetzung mit R.

Wir werden im Folgenden von dieser Situation ausgehen:
Wir haben ein Modell mit zwei Prädiktoren, UV1 und UV2, und einer Kriteriumsvariable AV. Und wir wollen prüfen, ob die Prädiktoren UV1 und UV2 einen unterschiedlich starken Einfluss auf AV haben. Dabei ist dann die Nullhypothese, dass der Einfluss beider Prädiktoren auf AV gleich groß ist (Regressionsgewicht b1 = b2), und wir werden versuchen, diese Nullhypothese zu verwerfen, also zu zeigen, dass b1 <> b2 - dass sich also die Regressionsgewichte beider Prädiktoren signifikant voneinander unterscheiden.

Inhalt

Ungeeigneter Ansatz: Deskriptiver Vergleich der Regressionsgewichte
Lösungsansatz 1: Differenzvariable
Lösungsansatz 2: Restricted Least Squares
Lösungsansatz 3: Pfadanalyse
Voraussetzung: Skalierung
R-Code
Quellen

1. Ungeeigneter Ansatz: Deskriptiver Vergleich der Regressionsgewichte

Auf den ersten Blick naheliegend ist es, einfach die beiden Regressionsgewichte zu vergleichen. Wenn in unserem Beispiel das Gewicht für UV1 größer ist als das für UV2, dann ist man versucht zu sagen, dass UV1 ein stärker Prädiktor ist. Das ist falsch! (Auch wenn man so etwas vielleicht sogar in Journalartikeln lesen kann.) Aus einem Unterschied in der Signifikanz (signifikant ja oder nein) eine Signifikanz eines Unterschieds abzuleiten, ist nicht zulässig, siehe Gelman and Stern (2006).

Wenn in einer Stichprobe das Regressionsgewicht für einen Prädiktor höher ist als für den anderen, dann wissen wir noch nicht, ob es auch wirklich signifikant höher ist, oder ob das einfach ein Zufallsprodukt ist. Dafür benötigen wir einen Signifikanztest, der genau diesen Unterschied prüft und insofern gegen zufällige Ergebnisse absichert.

Wir dürfen selbst dann nicht so eine Aussage treffen, wenn der Prädiktor für UV1 signifikant ist und der für UV2 nicht. Selbst in diesem Fall ist es nicht sicher, dass UV1 ein signifikant stärkerer Prädiktor als UV2 ist.

Beispiel

Wir haben eine Regression mit zwei Prädiktoren durchgeführt. Als Ergebnis erhalten wir:

Wir haben jetzt zwar den Verdacht, dass UV1 ein stärkerer Prädiktor ist als UV2 (UV1 ist signifikant, UV2 nicht; und das Regressionsgewicht von UV1 ist etwas größer), aber nur aus den vorliegenden Daten können wir das noch nicht beurteilen.

2. Lösungsansatz 1: Differenzvariable

Der technisch einfachste Weg, zwei Regressionsgewichte auf einen signifikanten Unterschied zu prüfen, liegt in der Konstruktion einer Differenzvariable.

UV1_UV2_diff = UV1 – UV2

Zusätzlich benötigen wir auch noch eine Summenvariable, die aus der Summe beider Prädiktoren besteht.

UV1_UV2_sum = UV1 + UV2

Jetzt schätzen wir mit diesen beiden neuen Variablen unser Regressionsmodell (statt UV1 und UV2):

AV = b0 + b1 UV1_UV2_diff + b2 UV1_UV2_sum + e

Wenn b1 in diesem Modell signifikant wird, dann haben wir einen signifikanten Unterschied im Einfluss der beiden Prädiktoren UV1 und UV2 gezeigt.

Bei der Interpretation des Regressionsgewichts b1 ist noch eine Besonderheit zu berücksichtigten: Dies ist nur der halbe Unterschied der Steigung der beiden Regressionsgeraden.

Beispiel mit SPSS-Syntax:

*Differenzvariable und Summenvariable anlegen.

COMPUTE sum_UV1_UV2=UV1 + UV2.
COMPUTE diff_UV1_UV2=UV1 - UV2.
EXECUTE.

*Regression mit Differenzvariable und Summenvariable.

REGRESSION
/MISSING LISTWISE
/STATISTICS COEFF OUTS R ANOVA
/CRITERIA=PIN(.05) POUT(.10)
/NOORIGIN
/DEPENDENT AV
/METHOD=ENTER sum_UV1_UV2 diff_UV1_UV2.

Wir sehen, dass das Regressionsgewicht für diff_UV1_UV2 nicht signifikant ist (p = .918). Also unterscheidet sich die Differenz beider Regressionsgewichte nicht signifikant von Null. Daraus können wir schließen, dass sich die beiden Regressionsgewichte nicht signifikant voneinander unterscheiden.

Neben einem zweiseitigen Test könnten wir bei einer im voraus aufgestellten gerichteten Hypothese (H: b1 > b2) auch einseitig testen. In diesem Fall würden wir den p-Wert von SPSS halbieren.

(Hinweis: Das Regressionsgewicht für diff_UV1_UV2 ist nicht der gesamte Unterschied zwischen beiden Regressionsgewichten, wie man im Vergleich mit der Koeffiziententabelle zu 2. sieht, sondern nur die Hälfte dieses Unterschieds.)

Warum dieses Modell?

(Dieser Abschnitt ist nur relevant, wenn Sie wissen wollen, warum dieser Ansatz funktioniert. Er ist nicht zwingend zum Verständnis nötig, wenn Sie diesen Ansatz nur anwenden wollen.)

Zwar ist vermutlich intuitiv verständlich, warum man die Differenz aus UV1 und UV2 bildet, denn wir wollen ja genau den Unterschied im Einfluss aus diesen beiden Prädiktoren testen. Aber warum wird auch noch die Summe in das Modell mit einbezogen?

Das macht man, damit das Gesamtmodell das gleiche ist wie bei der gewöhnlichen Regression. Wenn Sie also das o.g. Modell mit Ihren Daten schätzen und außerdem eine gewöhnliche multiple Regression mit UV1 und UV2 als Prädiktoren, dann werden Sie sehen, dass für das Gesamtmodell (R², F-Statistik, etc.) exakt das gleiche hinauskommt. Es wird also das selbe Gesamtmodell geschätzt, nur die Regressionsgewichte ändern sich.

Das kann man durch Umformung der Modellgleichung einfach sehen:

(I) AV = b0 + b1 UV1_UV2_diff + b2 UV1_UV2_sum

(II) AV = b0 + b1 (UV1 – UV2) + b2 (UV1 + UV2)

(III) AV = b0 + b1 UV1 – b1 UV2 + b2 UV1 + b2 UV2

Und jetzt durch Umstellen:

(IV) AV = b0 + (b1 + b2) UV1 + (b2 – b1) UV2

Wenn wir für das ursprüngliche Modell zur besseren Unterscheidbarkeit für die Regressiosgewichte a0, a1 und a2 schreiben:

(V) y = a0 + a1 UV1 + a2 UV2

dann sehen wir beim Vergleich von (IV) und (V), dass
a1 = b1 + b2 und
a2 = b2 – b1 ist.
Wir haben also das gleiche Gesamtmodell geschätzt.

Das können wir auch mit den o.g. Beispieldaten überprüfen. Wenn wir uns noch einmal die ANOVA für die normale Regression und für die Regression zur Prüfung auf einen Unterschied der Regressionsgewichte ansehen:

ANOVA ursprüngliches Modell (UV1, UV2):

ANOVA Modell zum Koeffizientenvergleich (sum_UV1_UV2, diff_UV1_UV2):

Wir sehen, dass beide Modell zu exakt dem gleichen globalen Modelltest führen (F-Statistik, p-Wert). Wir haben also beide Male das gleiche Gesamtmodell getestet, lediglich mit einer veränderten Parametrisierung für die einzelnen Regressiosgewichte.

Leider habe ich bisher keine gute wissenschaftliche Quelle für diesen Ansatz gefunden, lediglich mehrere Internetseiten (z.B. Wheeler, 2016). Daher stelle ich nachfolgend noch einen anderen Ansatz vor, für den es gute Literaturbelege gibt und der zum gleichen Ergebnis führt – allerdings ist er ein wenig komplizierter in der Umsetzung.

3. Lösungsansatz 2: Restricted Least Squares

Bein Restricted Least Squares Ansatz werden zwei Modelle miteinander verglichen, ein Modell mit freier Parameterschätzung und ein Modell mit einer Beschränkung, die der Nullhypothese entspricht.

Unser uneingeschränktes Modell ist:

AV = b0 + b1 UV1 + b2 UV2

Unsere Nullhypothese lautet (s.o.) b1 = b2. Und das ist auch unsere Beschränkung.

Wenn wir diese Beschränkung in die Modellgleichung einsetzen:

AV = b0 + b1 UV1 + b1 UV2
(da b2 = b1)

und umformen, erhalten wir:

AV = b0 + b1 (UV1 + UV2)

Das heißt, wir müssen für die Schätzung des beschränkten Modells eine neue Variable anlegen

UV1_UV2_sum = UV1 + UV2

Jetzt werden beide Modell geschätzt, dass unbeschränkte und das beschränkte Modell, und wir prüfen, ob das beschränkte Modell signifikant schlechter zu den Daten passt. Denn in dem Fall wüssten wir, dass die Beschränkung (b1 = b2) nicht gilt, und damit die Regressionsgewichte sich signifikant unterscheiden.

Um den Unterschied der Modelle zu testen, benötigen wir folgende Informationen (Gujarati, 2004):

R²_UR: R² des uneingeschränkten Modells
R²_R: R² des beschränkten Modells
k: Anzahl der Parameter im ungeschränkten Modell (bei zwei Prädiktoren: 2)
m: Anzahl der linearen Restriktionen (hier: 1)
n: Anzahl der Beobachtungen (Stichprobengröße)

Dann können wir die F-Statistik nach folgender Formel berechnen:

F = [(R²_UR - R²_R ) / m ] / [(1 - R²_UR) / (n - k)]

Diesen Wert vergleicht man dann mit der F-Verteilung mit df₁ = m und df₂ = n-k.

Beispiel mit SPSS-Syntax:

*Summenvariable anlegen.

COMPUTE sum_UV1_UV2=UV1 + UV2.
EXECUTE.

*a) Beschränktes Modell.

REGRESSION
/MISSING LISTWISE
/STATISTICS COEFF OUTS R ANOVA
/CRITERIA=PIN(.05) POUT(.10)
/NOORIGIN
/DEPENDENT AV
/METHOD=ENTER sum_UV1_UV2.

*b) Vollständiges Modell.

REGRESSION
/MISSING LISTWISE
/STATISTICS COEFF OUTS R ANOVA
/CRITERIA=PIN(.05) POUT(.10)
/NOORIGIN
/DEPENDENT AV
/METHOD=ENTER UV1 UV2.

Ergebnisse beschränktes Modell:

Ergebnisse unbeschränktes Modell:

(Hier habe ich jeweils für R² die Anzeige auf fünf Nachkommastellen eingestellt, damit keine so große Rundungsdifferenz in der Berechnung auftritt. Dafür habe ich die Tabelle durch Doppelklicken aktiviert, anschließend die Zelle mit dem Wert für R² durch Klicken ausgewählt und dann mit dem Kontextmenü über "Zelleneigenschaften" die Anzahl der Nachkommastellen für diese Zelle geändert).

Daraus erhalten wir folgende Werte für die o.g. Formel:

R²_UR: 0.34404
R²_R : 0.34364
k: 2
m: 1
n: 21

Diese Werte setze wir in diese Formel ein mit F(m, n-k):
F = [(R²_UR - R²_R ) / m ] / [(1 - R²_UR) / (n - k)]

Dann erhalten wir F(1, 19) = 0.01158.

Den p-Wert hierfür kann man entweder mit einem Onlinerechner berechnen, z.B.:
https://www.socscistatistics.com/pvalues/fdistribution.aspx

Oder man kann ihn mit folgendem Syntaxbefehl in SPSS ermitteln (dabei müssen Sie die Werte in der Zeile mit dem COMPUTE-Befehl an Ihre Daten anpassen):

*Berechnen der Wahrscheinlichkeit für einen F-Wert.

COMPUTE p_wert=1-CDF.F(0.01158, 1, 19).
FORMATS p_wert(F8.3).
EXECUTE.

Der Wert wird dabei in die letzte Spalte der Datentabelle geschrieben, in diesem Fall (p = .915) - die Differenz zum vorherigen Ergebnis oben (.918) wird eine Rundungsdifferenz sein.

Da p nicht kleiner als .05 ist, haben wir also auch hier gezeigt, dass es keinen signifikanten Unterschied im Einfluss der beiden Prädiktoren UV1 und UV2 auf das Kriterium AV gibt.

4. Lösungsansatz 3: Pfadanalyse

Einen dritten Ansatz möchte ich Ihnen hier noch kurz vorstellen, auch wenn er über das Thema Regressionsanalyse etwas hinaus geht. Man kann die Ungleichheit zweier Regressionsgewichte auch mit einer Pfadanalyse (SPSS AMOS, R lavaan, Stata u.ä.) prüfen. Dieser Ansatz entspricht konzeptionell dem Ansatz der Restricted Least Squares.

Eine Pfadanalyse ermöglicht einen Modellvergleich. Und zur Testung auf einen Unterschied zwischen zwei Regressionsgewichten vergleicht man zwei Pfadmodelle miteinander: Ein unbeschränktes Modell, bei dem beide Pfade (=Regressionsgewichte) frei geschätzt werden; und ein beschränktes, bei dem es eine Gleichheitsrestriktion für beide Pfade gibt.

Pfadmodell unbeschränkt

Pfadmodell mit Gleichheitsrestriktion

Wenn wir diese beiden Modelle durch ein gängiges SEM-Programm schätzen lassen, erhalten wir jeweils einen Chi-Quadrat-Wert als Maß für den Modellfit. Mit der Differenz dieser beiden Chi-Quadrat-Werte und der Differenz der Freiheitsgrade der Modelle (in diesem Fall: 1) kann man einen Chi-Quadrat-Differenzentest durchführen, der prüft, ob das beschränkte Modell mit Gleichheitsrestriktion signifikant schlechter zu den Daten passt als das unbeschränkte Modell. Bei Signifikanz dieses Tests können wir die Nullhypothese gleicher Regressionsgewichte für beide Prädiktoren verwerfen und haben somit gezeigt, dass sich beide Prädiktoren im Einfluss auf das Kriterium signifikant unterscheiden.

Die praktische Umsetzung hängt vom verwendeten SEM-Programm ab (SPSS AMOS, R lavaan, Stata usw.).

5. Voraussetzung: Skalierung

Wenn man zwei Regressionsgewichte miteinander vergleichen will, dann müssen diese eine vergleichbare Maßeinheit haben – das gilt für beide o.g. Verfahren. Das dürfte in der Praxis vermutlich die größte Schwierigkeit bei einem Vergleich von Regressionsgewichten sein.

Dabei haben Sie im Wesentlichen zwei Alternativen: Sie können die rohen Regressionsgewichte miteinander vergleichen (Bs) oder Sie können vorher Ihre Variablen (UVs und AV) standardisieren und dann die standardisierten Regressionsgewichte (Betas) miteinander vergleichen.

6. R-Code zum Tutorial

library(jtools) # zur schöneren Darstellung der Regressionsergebnisse

head(beispiel_vergleich_gewichte)

# 0. Gewöhnliche Multiple Regression

reg.fit_gew <- lm(AV ~ UV1 + UV2, data=beispiel_vergleich_gewichte)
summ(reg.fit_gew, digits =3)

# 1. Test einer Differenzvariable

# Anlegen von Differenz- und Summenvariable
attach(beispiel_vergleich_gewichte)
beispiel_vergleich_gewichte$UV1_UV2_DIFF <- UV1 - UV2
beispiel_vergleich_gewichte$UV1_UV2_SUM <- UV1 + UV2
detach(beispiel_vergleich_gewichte)

reg.fit_diff <- lm(AV ~ UV1_UV2_SUM + UV1_UV2_DIFF, data=beispiel_vergleich_gewichte)
summ(reg.fit_diff, digits =3)

# 2. Restricted Least Squares

# Anlegen einer Summenvariable (beschränktes Modell)

attach(beispiel_vergleich_gewichte)
beispiel_vergleich_gewichte$UV1_UV2_SUM <- UV1 + UV2
detach(beispiel_vergleich_gewichte)

# Unbeschränktes Modell
reg.fit_unb <- lm(AV ~ UV1 + UV2, data=beispiel_vergleich_gewichte)
summ(reg.fit_unb, digits =3)

# Beschränktes Modell
reg.fit_bes <- lm(AV ~ UV1_UV2_SUM, data=beispiel_vergleich_gewichte)
summ(reg.fit_bes, digits =3)

# Vergleich Unbeschränktes Modell und beschränktes Modell
anova(reg.fit_bes, reg.fit_unb)

# 3. Pfadanalyse mit Gleichheitsrestriktion

library(lavaan)

# Unbeschränktes Modell
modell_unb <- '
AV ~ UV1 + UV2
'
fit_pfad_unb <- sem(modell_unb, data= beispiel_vergleich_gewichte)

# Modell mit Gleicheitsrestriktion
modell_bes <- '
AV ~ a * UV1 + a * UV2
'
fit_pfad_bes <- sem(modell_bes, data= beispiel_vergleich_gewichte)

# Vergleich beider Modelle
lavTestLRT(fit_pfad_unb, fit_pfad_bes)

6. Quellen

Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328-331. https://doi.org/10.1198/000313006X152649

Gujarati, D. (2004). Basic Econometrics (4th edition). Tata McGraw-Hill.

Kline, R. B. (2015). Principles and practice of structural equation modeling. Guilford publications.

Wheeler, A. P. (2016). Testing the equality of two regression coefficients. https://andrewpwheeler.com/2016/10/19/testing-the-equality-of-two-regression-coefficients/

Wie kann ich Sie weiter unterstützen?

Beratung für Datenauswertung bei Bachelorarbeit oder Masterarbeit

Welche Auswertungen sind für Ihre Fragestellung richtig und was müssen Sie dabei beachten? Schon in einer Stunde (Telefon/Skype/vor Ort) kann man viele Fragen klären. Auf meiner Seite zu Statistik-Beratung finden Sie weitere Informationen.