Probleme mit dem RMSEA

Arndt Regorz, Dipl. Kfm. & M.Sc. Psychologie, 14.08.2021

(Hinweis: Mit Anklicken des Videos wird ein Angebot des Anbieters YouTube genutzt.)

Wenn Sie ein Modell mit einem SEM-Programm testen, also ein Pfadmodell, eine konfirmatorische Faktorenanalyse (CFA) oder ein volles Strukturgleichungsmodell (SEM), dann müssen Sie vor der Interpretation der Ergebnisse den Model Fit prüfen – ob das Modell also überhaupt sinnvoll zu den Daten passt.

Neben dem Chi-Quadrat-Test auf (exakten) Modellfit werden dabei überwiegend Fit Indizes verwendet, die nicht von der (unrealistischen) Voraussetzung eines perfekten Fit ausgehen.

Basierend u.a. auf dem wegweisenden Paper von Hu und Bentler (1999; nach Google Scholar bisher mehr als 80.000 Mal zitiert) werden in der Literatur häufig die folgenden Fit Indizes verwendet: CFI (und ggf. TLI), SRMR und RMSEA. Für den CFI halten Hu und Bentler (1999) Werte von über .95 für akzeptabel, für den SRMR Werte unter .08, und beim RMSEA Werte unter .06 (als einzelne Fit-Indizes - für die Kombination von Fit-Indizes haben Hu und Bentler teilweise noch andere Cut-Off-Werte angegeben).

Teilweise werden in der Literatur jedoch auch andere Cut-Off-Werte genannt, weitere Literaturquellen siehe Kenny (2020).

Problemfall: RMSEA

Allerdings hat sich in der Zwischenzeit gezeigt, dass der RMSEA schwerwiegende Probleme hat bei einfacherern Modellen mit wenigen Freiheitsgraden. Das betrifft insbesondere einfache Pfadmodelle und einfache CFAs, die häufiger relativ wenige Freiheitsgrade aufweisen. Hier kann der RMSEA fäschlicherweise einen schlechten Fit anzeigen, auch wenn tatsächlich das Modell gut zu den Daten passt (Kenny et al., 2015).

Um den Grund für dieses Problem zu verstehen, muss man sich etwas mit der Konstrukt des RMSEA beschäftigen. Der RMSEA ist ein absoluter Fit-Index, der die Modell-Komplexität mit einbezieht (Hu & Bentler, 1999). Zur Berücksichtigung der Komplexität wird bei ihm sozusagen eine Strafe für wenige Freiheitsgrade mit eingerechnet. Das führt dazu, dass Modelle mit wenigen Freiheitsgraden häufig auch dann einen schlechten RMSEA aufweisen, wenn sie recht gut zu den Daten passen:

In Simulationsstudien haben Kenny et al. (2015) herausgefunden, dass es bei Modellen mit wenigen Freiheitsgraden sogar vorkommen kann, dass Modelle mit nicht-signifikantem Chi-Quadrat-Test (also keinerlei signifikanter Abweichung zwischen Modell und Daten) dennoch einen schlechten RMSEA-Wert aufweisen können. Ihr Fazit daraus:
„Using the RMSEA to assess the model fit in models with small df is problematic and potentially misleading unless the sample size is very large. We urge researchers, reviewers, and editors not to dismiss models with large RMSEA values with small df without examining other information. In fact, we think that it [sic] advisable for researchers to completely avoid computing the RMSEA when model df are small. In such cases, poor fit can be diagnosed by specifying additional models that include deleted parameters and determining if those additional parameters are needed in the model.“
(Kenny et al, 2015, p. 503).

Was in diesem Zusammenhang "wenige Freiheitsgrade" sind, hängt auch maßgeblich von der Stichprobengröße ab. In Figure 2 ihres Artikels haben Kenny et al. (2015, p. 497) für verschiedene Stichprobenumfänge und Freiheitsgrade angegeben, in wie viel Prozent ihr korrekt spezifziertes Modell auf der Basis des Annahme-Kriteriums RMSEA <= .10 (fälschlich) abgelehnt wurde.

Lösungsmöglichkeiten

Wenn der Fall bei einem Pfadmodell oder einer CFA von Ihnen auftritt, der/die nur wenige Freiheitsgrade aufweist, haben Sie verschiedene Möglichkeiten, damit umzugehen:

Zum einen könnten Sie unter Verweis auf die o.g. Empfehlung von Kenny et al. (2015) auf die Angabe des RMSEA verzichten und die Modellgüte primär mit CFI (und oder TLI) sowie SRMR belegen sowie ggf. die dort empfohlenen weiteren Schritte durchführen (Hinzunahme weiterer Pfade und Test, ob diese nötig sind). Allerdings ist die Angabe des RMSEA fast schon zum Standard geworden und viele Prüfer oder Reviewer werden diesen einfach erwarten.

Zum anderen könnten Sie den RMSEA zusammen mit CFI und SRMR zwar angeben, aber unter Verweis auf Kenny et al. (2015) begründen, dass bei der geringen Anzahl von Freiheitsgraden in Ihrem Modell der RMSEA nicht aussagefähig ist und Sie daher die Entscheidung über die Akzeptanz des Modells auf Basis von CFI und SRMR getroffen haben, ggf. nach vorheriger Prüfung weiterer Pfade.

Quellen

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118

Kenny, D. A., Kaniskan, B., & McCoach, D. B. (2015). The performance of RMSEA in models with small degrees of freedom. Sociological Methods & Research, 44(3), 486-507. https://doi.org/10.1177/0049124114543236