Intercoder-Reliabilität: Cohens Kappa berechnen und deuten

Was ist Intercoder-Reliabilität?

Wenn zwei Personen dasselbe Transkript mit demselben Codebuch codieren, kommen sie nie zu exakt denselben Ergebnissen. Die Intercoder-Reliabilität gibt an, wie groß die Übereinstimmung ist. Damit zeigt sich, ob Dein Kategoriensystem so klar definiert ist, dass seine Anwendung nicht allein von Deiner Person abhängt. Davon zu unterscheiden ist die Intracoder-Reliabilität: Du codierst dasselbe Material nach einigen Wochen erneut und vergleichst Dich mit Dir selbst.

In der qualitativen Inhaltsanalyse nach Mayring ist die Intercoder-Übereinstimmung ein ausdrücklich genanntes Gütekriterium. Kuckartz und Rädiker sehen sie ebenfalls als sinnvoll an, betonen aber das konsensuelle Codieren. In der reflexiven thematischen Analyse nach Braun und Clarke wird sie dagegen bewusst abgelehnt, weil dort die Subjektivität der forschenden Person als Ressource gilt. Ob Du Reliabilität berechnest, hängt also auch von Deinem Ansatz ab.

Prozentuale Übereinstimmung

Die einfachste Kennzahl ist die prozentuale Übereinstimmung: der Anteil der Codierentscheidungen, bei denen beide Personen gleich entschieden haben.

p_o = Anzahl übereinstimmender Entscheidungen / Anzahl aller Entscheidungen

Das Problem: Auch zwei Personen, die völlig zufällig codieren, stimmen manchmal überein. Bei nur zwei Antwortmöglichkeiten (Kategorie zutreffend: ja oder nein) und einer häufigen Kategorie kann die zufällige Übereinstimmung leicht über 50 % liegen. Deshalb gilt die prozentuale Übereinstimmung allein als zu optimistisch. Nützlich ist sie dennoch, um Dir einen ersten Eindruck zu verschaffen, und sie ist Bestandteil der Kappa-Berechnung.

Cohens Kappa: Formel

Jacob Cohen hat 1960 einen Koeffizienten vorgeschlagen, der die beobachtete Übereinstimmung um die zufällig erwartete Übereinstimmung bereinigt. Cohens Kappa ist für zwei Codierer und nominale Kategorien gedacht.

κ = (p_o − p_e) / (1 − p_e)

p_o ist die beobachtete Übereinstimmung (der Anteil gleicher Entscheidungen). p_e ist die erwartete Zufallsübereinstimmung. Du berechnest sie, indem Du für jede Kategorie den Anteil bei Person A mit dem Anteil bei Person B multiplizierst und die Produkte addierst.

Kappa ist 1 bei perfekter Übereinstimmung, 0, wenn die Übereinstimmung genau dem Zufall entspricht, und negativ, wenn sie darunter liegt. Für mehr als zwei Codierer gibt es Erweiterungen wie Fleiss’ Kappa.

Rechenbeispiel Schritt für Schritt

Lea und ihr Kommilitone Jonas codieren unabhängig voneinander 100 Textsegmente aus drei Transkripten. Für jedes Segment entscheiden beide, ob die Kategorie „Zeitkonflikte“ zutrifft (ja) oder nicht (nein). Die Segmente hat Lea vorher festgelegt, damit beide dieselben Einheiten beurteilen.

Kappa interpretieren nach Landis und Koch

Für die Einordnung von Kappa wird meist die Einteilung von Landis und Koch (1977) zitiert. Die Autoren betonen selbst, dass die Grenzen willkürlich gewählt sind. Die Einteilung ist eine Orientierung, keine Norm. In der Inhaltsanalyse gelten Werte ab etwa 0,70 häufig als ausreichend; nenne im Methodenteil, auf welche Einteilung Du Dich beziehst.

Krippendorffs Alpha

Klaus Krippendorff hat einen Koeffizienten entwickelt, der in der Kommunikationswissenschaft als Standard gilt. Krippendorffs Alpha beruht auf dem Verhältnis von beobachteter zu erwarteter Nichtübereinstimmung:

α = 1 − D_o / D_e

D_o ist die beobachtete, D_e die zufällig erwartete Nichtübereinstimmung. Alpha hat gegenüber Kappa mehrere Vorteile: Es funktioniert mit beliebig vielen Codierern, verkraftet fehlende Werte und lässt sich für nominale, ordinale, intervall- und verhältnisskalierte Daten berechnen. Krippendorff empfiehlt, sich auf Daten mit α ≥ 0,800 zu verlassen; Werte zwischen 0,667 und 0,800 erlauben nur vorläufige Schlussfolgerungen. Die Berechnung ist von Hand mühsam und wird meist mit Statistiksoftware oder Skripten durchgeführt.

• Prozentuale Übereinstimmung: schnell, anschaulich, aber nicht zufallsbereinigt
• Cohens Kappa: zwei Codierer, nominale Kategorien, zufallsbereinigt
• Fleiss’ Kappa: Erweiterung für mehr als zwei Codierer
• Krippendorffs Alpha: beliebig viele Codierer, fehlende Werte, alle Skalenniveaus

Das Segmentierungsproblem in der qualitativen Praxis

Die Formeln setzen voraus, dass beide Personen dieselben Einheiten beurteilen. In der qualitativen Praxis markiert aber jeder selbst, wo eine Textstelle beginnt und endet. Dann ist nicht klar, was überhaupt verglichen wird. Es gibt zwei Lösungen: Entweder Du segmentierst vorab (z. B. jede Antwort auf eine Leitfadenfrage ist ein Segment) und beide entscheiden nur über die Kategorien. Oder Du vergleichst die Codierungen mit einer Überlappungsregel, etwa: Zwei Codierungen stimmen überein, wenn sie dieselbe Kategorie haben und sich zu mindestens 90 % überlappen. Kuckartz und Rädiker beschreiben dieses Vorgehen für die computergestützte Analyse.

Konsensuelles Codieren als Alternative

Beim konsensuellen Codieren codieren zwei Personen unabhängig voneinander, vergleichen anschließend ihre Codierungen und diskutieren jede Abweichung, bis sie sich einigen. Aus den Diskussionen entstehen präzisere Definitionen und neue Kodierregeln im Codebuch. Kuckartz und Rädiker empfehlen dieses Verfahren besonders für die qualitative Inhaltsanalyse, weil es das Verständnis der Kategorien verbessert, statt nur eine Zahl zu liefern.

In einer Abschlussarbeit, die Du allein schreibst, ist ein vollständig doppeltes Codieren oft nicht realistisch. Gängige und akzeptierte Lösungen: Eine zweite Person codiert 10 bis 20 % des Materials, Du berechnest Kappa und besprichst Abweichungen; oder Du codierst einen Teil nach einigen Wochen erneut (Intracoder). Exportiere dazu im Werkzeug Codieren die Textstellen und lass sie gegencodieren — und beschreibe im Methodenteil offen, was Du getan hast.