Umgang mit Ausreißern bei der Regression

Arndt Regorz, Dipl. Kfm. & MSc. Psychologie, Stand: 14.12.2023

Sie haben für Ihre statistische Analyse mögliche Ausreißer identifiziert mit einem oder mehreren der dafür möglichen diagnostischen Verfahren (z.B. Residuenanalyse, Cooks-Distanz, etc.). Doch was fangen Sie jetzt mit dieser Information an? Dieses Tutorial gibt einen Überblick über verschiedene mögliche Strategien.

1. Was sind die Ursachen für Ausreißer?

Bevor man sich dafür entscheidet, wie man mit Ausreißern in der eigenen Analyse umgeht, ist es zunächst nötig zu klären, warum diese Ausreißer vorliegen. Denn es gibt verschiedene Ursachen, die auch unterschiedliche Strategien im Umgang erfordern.

Ausreißer als fehlerhafte Werte

Ausreißer können das Ergebnis von fehlerhaften Werten sein, also von Datenpunkten, die nicht die wahren Verhältnisse wiedergeben.

Ein möglicher Grund dafür sind Erfassungsfehler. Bei einem Datensatz, der z.B. auf Papierfragebögen basiert, sollte man bei möglichen Ausreißern prüfen, ob die Datenerfassung richtig gelaufen ist. Ob also die Daten korrekt per Hand erfasst worden sind bzw. beim automatischen Scannen von Formularen, ob der Scanvorgang fehlerfrei vor sich gegangen ist. Wenn nicht, sind die Erfassungsfehler entsprechend zu korrigieren und die Ausreißeranalyse ist nach Korrektur zu wiederholen.

Ein weiterer möglicher Grund ist eine falsche Eingabe durch die Befragten. Wenn z.B. in ein Zahlenfeld „Alter“ die Zahl 1995 eingetragen ist, dann liegt vermutlich ein Eingabefehler vor und es ist m.E. sinnvoll, diese offenbare Eingabe des Geburtsjahrs auf das Alter zum Befragungszeitpunkt umzukodieren.

Ein weiterer Grund für fehlerhafte Werte ist eine nicht ernsthafte Beantwortung des Fragebogens. Das kann man ggf. durch Plausibilitätsprüfungen aufdecken. Ein typisches Beispiel ist, wenn jemand über mehrere Konstrukte hinweg immer dieselbe Zahl als Antwort angekreuzt hat (insbesondere auch dann, wenn einige Fragen umgekehrt gepolt sind). Für solche Fälle bietet es sich an, die Fälle zu löschen und den Grund der Löschung zu dokumentieren.

Ausreißer als extreme/untypische Werte

Neben falschen Angaben aus den o.g. unterschiedlichen Gründen können Ausreißer aber auch aus untypischen, aber wahren Angaben resultieren. Manche Personen unterscheiden sich von der Mehrheit sehr deutlich im Zusammenspiel verschiedener Konstrukte. Insofern sind das dann interessante Ausreißer (interesting outliers, Aguinis et al., 2013), da derartige Fälle Rückschlüsse auf Heterogenität in der Stichprobe ermöglichen.

In solchen Fällen sollte man nachsehen, ob diese Ausreißer Gemeinsamkeiten miteinander – bzw. Unterschiede zum Rest der Stichprobe – aufweisen (z.B. soziodemographische Merkmale, sonstige Hilfsvariablen). In diesem Fall gehören diese Personen u.U. nicht zur untersuchten Population.

Oder es sind Personen, die einfach untypisch in ihrem (wahren) Antwortmuster sind.

2. Löschung von Ausreißern

Ein möglicher Umgang mit Ausreißern ist, diese vor der statistischen Analyse zu löschen (Trimming). Das ist bei fehlerhaften Werten (s.o.) das Mittel der Wahl, wenn eine Korrektur der Fehler nicht mehr möglich ist.

Das Löschen von untypischen/extremen Wertekombinationen hingegen ist aus meiner Sicht nicht zu empfehlen, auch wenn das teilweise so praktiziert wird. Denn die Analyse gibt dann möglicherweise falsche Ergebnisse, weil diese nicht mehr für alle Mitglieder der untersuchten Population gelten.

3. Sensitivitätsanalyse

Auch wenn das einfache Löschen von extremen Fällen in der Regel nicht empfehlenswert ist, kann es dennoch sinnvoll sein, die Analyse (auch) ohne Ausreißer durchzuführen: Nämlich im Rahmen einer Sensitivitätsanalyse.

Dabei führen Sie Ihre Analysen zweimal durch – einmal mit allen Fällen (außer denjenigen mit offensichtlich fehlerhafter Erfassung oder Bearbeitung) und ein zweites mal ohne die Ausreißer. Der Vergleich der Ergebnisse dieser beiden Analysen gibt jetzt wichtige Aufschlüsse auf einen möglichen Einfluss von Ausreißern auf Ihr Ergebnis. Wenn in beiden Fällen im Wesentlichen das gleiche herauskommt (hinsichtlich von Signifikanz, Vorzeichen und Größe der Effekte), dann können Sie davon ausgehen, dass Ihr Ergebnis nicht durch Ausreißer verzerrt sind. Berichten würde ich dann primär die ursprünglichen Ergebnisse (inkl. Ausreißern) und zusätzlich die Information geben, dass ein Ausschluss von Ausreißern das Ergebnis nicht wesentlich geändert hat (und ggf. die Ergebnisse der Sensitivitätsanalyse im Anhang von Masterarbeit oder Dissertation aufführen).

Wenn die Sensitivitätsanalyse jedoch ergibt, dass der Ausschluss von Ausreißern das Ergebnis wesentlich ändert, dann würde ich im Zweifel beide Ergebnisse berichten und ggf. noch weitere Schritte zur Aufklärung gehen (siehe unten bei: Heterogenität in der Stichprobe).

4. Robuste Verfahren

Ein weiterer Weg zum Umgang mit Ausreißern ist der Einsatz robuster Schätzverfahren, die nicht so leicht von Ausreißern beeinflusst werden können wie die häufig verwendeten Standardverfahren. Im Falle der Regression wäre dies beispielsweise die robuste Regression. Dabei erhalten Ausreißer ein geringeres Gewicht als normale Fälle, so dass die Ergebnisse nicht so stark von ihnen beeinflusst werden können.

Jedoch kann dieses Vorgehen zu einem ähnlichen Problem führen wie das Löschen von Ausreißern – das Problem extremer Fälle wird hier methodenbedingt im Wesentichen ausgeklammert. Aber u.U. sind diese extremen Fälle theoretisch durchaus interessant und es wäre wichtig zu klären, warum bei ihnen die Zusammenhänge soviel anders ausfallen als im Großteil der Stichprobe.

Allerdings kann man robuste Verfahren noch mit einem anderen Ziel einsetzen, nämlich zur leichteren Durchführung einer Sensitivitätsanalyse ohne vorherige Ausreißerdiagnostik. Dabei führt man einmal die normale Analyse durch (z.B. lineare Regression) und ein zweites Mal die robuste Analyse (z.B. robuste Regression). Wenn diese beiden Analysen im Wesentlichen zu den gleichen Ergebnissen führen, kann man davon ausgehen, dass es keinen problematischen Einfluss von Ausreißern auf die Analyse gegeben hat, ohne dass man überhaupt eine Ausreißerdiagnostik durchführen musste.

Beim Thema robuste Verfahren ist es noch wichtig, einen weit verbreiteten Irrtum aufzuklären: Bootstrapping ist im Wesentlichen nicht (oder nur sehr eingeschränkt) robust hinsichtlich von Ausreißern. Wenn Sie sich also für Bootstrapping entscheiden, was häufig hinsichtlich anderer Regressionsvoraussetzungen (z.B. Normalverteilung) eine sehr gute Idee ist, dann müssen Sie sich trotzdem noch mit dem Ausreißerthema beschäftigen. Denn beim Bootstrapping sichert man sich in der Regel nur hinsichtlich des Hypothesentests ab (durch zusätzliche Betrachtung von Bootstrap-Konfidenzintervallen), aber die Parameterschätzung bleibt meistens gleich. Und auf genau diese Parameterschätzung können Ausreißer einen verzerrenden Einfluss haben.

5. Ersetzen von Ausreißern

Neben dem Löschen von Ausreißern gibt es prinzipiell auch die Möglichkeit, diese durch weniger extreme Werte zu ersetzen (Winsorization), z.B. durch Werte des 5. und 95. Perzentils. Ich würde jedoch die o.g. Verfahren diesem Ansatz vorziehen.

6. Aufklärung von Heterogenität in der Stichprobe

Wenn Ausreißer nicht auf Fehleingaben beruhen, sondern darauf, dass Teile der Stichprobe im Zusammenhang der untersuchten Konstrukte vom Rest der Stichprobe abweichen, dann sollte man versuchen, dies näher aufzuklären.

Im Rahmen der Regressionsanalyse kann man bei ausreichend großen Stichproben dafür das Verfahren der Finite Mixture Regression (FMR) einsetzen (zum Tutorial für die Umsetzung mit R: Finite Mixture Regression). FMR gehört zur Klasse der Finite Mixture Models, bei denen unbeobachtbare Heterogenität untersucht werden soll (im Gegensatz zur beobachtbaren Heterogenität, bei der im Datensatz eine konkrete Moderatorvariable vorliegt).

Die FMR geht nicht mehr davon aus, dass für alle Untersuchungseinheiten die gleichen Zusammenhänge gelten. Stattdessen wird davon ausgegangen, dass die vorliegenden Daten eine Mischung aus verschiedenen Teilpopulationen ist, für welche die Regressionsgewichte unterschiedliche Ausprägungen annehmen können.

Als Ergebnis könnte man beispielsweise bekommen, dass sich die eigenen Daten aus zwei unterschiedlichen Teilgruppen zusammensetzen, für die das Vorliegen eines Effektes oder dessen Stärke und Signifikanz sich unterscheidet.

7. Präregistrierung und Dokumentation

Ein Problem bei vielen der Ansätze zum Umgang mit Ausreißern (Ausnahme: Sensitivitätsanalysen) ist, dass man damit die Ergebnisse der Analysen beeinflussen kann. Und damit ist es auch prinzipiell möglich, gezielt Ausreißerdiagnostik und Ausreißerbearbeitung so einzusetzen, dass man signifikante Ergebnisse bekommt (als ein Fall des p-Value-Hacking), beispielsweise dass man viele verschiedene diagnostische Methoden zur Ausreißeridentifizierung einsetzt, die resultierenden Ausreißer jeweils löscht und dann von den vielen Ergebnissen lediglich das eine berichtet, das die „besten“ Ergebnisse (größter Effekt) gebracht hat.

Daher sollten idealerweise die später einzusetzenden Verfahren für den Umgang mit Ausreißern bereits vor Datenerfassung im Rahmen der Präregistrierung festgelegt werden. Dann kann später gar nicht mehr der Verdacht entstehen, dass die konkret gewählte Strategie im Umgang mit Ausreißern post hoc so gewählt worden ist, um möglichst signifikante p-Werte zu bekommen.

Und was auf jeden Fall nötig ist: Eine genaue Dokumentation des gewählten Umgangs mit Ausreißern mit klarer Angabe der gewählten Entscheidungskriterien und Vorgehensweisen. Diese sollte so genau sein, dass die Leserinnen und Leser der Studie auf dieser Basis prinzipiell die Analyse selbst durchführen könnten, stünde ihnen der Datensatz zur Verfügung.

8. Literatur

Aguinis, H., Gottfredson, R. K., & Joo, H. (2013). Best-practice recommendations for defining, identifying, and handling outliers. Organizational Research Methods, 16(2), 270-301.