Intercoder-Übereinstimmung

Für die Zuordnung von Codes zu qualitativem Datenmaterial sollte man bestimmte Qualitätskriterien anlegen. Selbstverständlich erwartet man, dass die Zuordnung nicht arbiträr und willkürlich passiert, sondern so geschieht, dass eine bestimmte Zuverlässigkeit (Reliabilität) erreicht wird. Die MAXQDA-Funktion „Intercoder-Übereinstimmung“ ermöglicht es, die Codierungen von zwei unabhängig voneinander codierenden Personen miteinander zu vergleichen. Da es in der qualitativen Forschung eher darauf ankommt, die Übereinstimmung zu verbessern und gemeinsam zu diskutieren, wo man bei Codierungen Differenzen hat und zu klären, warum diese Differenzen bestehen, wurde bei der Konzipierung der Funktion „Intercoder-Übereinstimmung“ besonderes Augenmerk auf den Prozess der Codierung und die Bearbeitung von Codiererdifferenzen gelegt, während die bloße Berechnung eines Übereinstimmungsmaßes nur eine untergeordnete Bedeutung besitzt. Gleichwohl wird natürlich auch eine solche Maßzahl für die Übereinstimmung von zwei Codierern berechnet.

Bei der qualitativen Analyse strebt man an, eine möglichst hohe Zuverlässigkeit der Codezuordnungen zu erreichen. Anders als in üblichen Messungen der Reliabilität in der quantitativ orientierten Forschung geht es also nicht um die Ermittlung eines Koeffizienten, der die Güte gewissermaßen statisch angibt, sondern es geht primär um eine praktische Verbesserung der Güte der Codierungen. Man bleibt also nicht bei der Ermittlung eines Koeffizienten stehen, sondern will ggf. die Unstimmigkeiten bzw. die Nicht-Übereinstimmung von Codierern beseitigen, so dass man mit „besser“ codiertem Material weiterarbeiten kann.

Die Ausgangssituation ist also, dass zwei (oder mehr) unabhängig voneinander Codierende das gleiche Dokument bearbeiten und im Anschluss daran überprüfen, ob sie in ihren Codierungen übereinstimmen. Anschließend wird diskursiv zu zweit oder im Forschungsteam geklärt, welche Codierungen bei Unstimmigkeiten und Nicht-Übereinstimmungen die besseren sind.

Die Funktion zur Überprüfung von Codiererübereinstimmung verlangt folgendes Procedere:

  • Zwei Codierer bearbeiten das identische Dokument unabhängig voneinander und codieren es entsprechend den gemeinsam vereinbarten Code-Beschreibungen. Dies kann am gleichen Computer oder auch auf entfernten Computer erfolgen. Wichtig ist natürlich, dass jeder Codierer nicht einsehen kann, was der/die Andere codiert hat. Sinnvollerweise macht man im Dokumentnamen deutlich, wer den Text codiert hat, z.B. „Interview A – Amelie“ und „Interview A – Petra“.
  • Zur Überprüfung müssen sich nun die beiden von unterschiedlichen Personen codierten Texte im gleichen MAXQDA Projekt befinden. Dies lässt sich z.B. mithilfe der Funktion Start > Projekte zusammenführen bewerkstelligen, sofern beide Codierer mit den gleichen Dokumenten in einem eigenen Projekt gearbeitet haben.

Nun kann über Analyse > Intercoder-Übereinstimmung die Überprüfung gestartet werden, ob die codierenden Personen in den Zuordnungen der Codes übereinstimmen bzw. wo sie nicht übereinstimmen.

Starten der Intercoder-Funktion auf dem Tab Analyse
Achtung: In der Regel wird man die Untersuchung der Intercoder-Übereinstimmung auf ausgewählte Codes beschränken wollen, z.B. auf die Subcodes eines Themencodes. Hierfür sind diese vor dem Start der Intercoder-Funktion noch zu aktivieren.

Es erscheint der folgende Dialog, in dem Sie die Einstellungen für die Prüfung der Intercoder-Übereinstimmung vornehmen können.

Optionen für die Prüfung der Übereinstimmung der von codierten Segmente in einem Dokument
  • Wählen Sie in dem Aufklapp-Menü unter 1. Dokument das erste und im Aufklapp-Menü unter 2. Dokument das zweite zu vergleichende Dokumente aus.
  • Wenn sich die Analyse nur auf eine bestimmte Auswahl von Codes beziehen soll, sollten Sie darauf achten, dass das Häkchen in der Checkbox Nur für aktivierte Codes gesetzt ist.
  • Nun lässt sich zwischen drei alternativen Analysestufen der Intercoder-Übereinstimmung wählen:

Variante 1 – Vergleichslevel Dokument “Vorhandensein des Codes im Dokument”

Kriterium ist die Präsenz bzw. die Nicht-Präsenz des Codes im Dokument (d.h. also: Code vorhanden versus Code nicht vorhanden). Diese Option ist vor allem interessant, wenn man relativ kurze Dokumente bearbeitet und mit vielen Codes arbeitet.

Variante 2 – Vergleichslevel Dokument “Häufigkeite des Codes im Dokument”

Kriterium ist die Häufigkeit des Codes im Dokument, präziser gesagt die Übereinstimmung der Häufigkeit der Zuordnung des Codes.

Variante 3 – Vergleichslevel Segment “Codeüberlappungen an Segmenten von mindestens X%”

Es wird geprüft, ob die beiden Codierer in der Codierung der einzelnen Segmente übereinstimmen. Diese Variante ist die am weitesten gehende und für qualitative Codierung typische Variante. Es kann ein Prozentwert eingestellt werden, mit dem festgelegt wird, wann zwei codierte Segmente als Übereinstimmung gewertet werden. Da Texte bei qualitativen Auswertungsverfahren häufig nicht in fixierte Texteinheiten untergliedert werden, erfolgt die Prüfung der Übereinstimmung für jedes von den beiden Codierern codierte Segment. Es wird also für jedes Segment jeweils evaluiert, ob eine Übereinstimmung vorliegt. . Es lässt sich auswählen, ob man die Segmente beider Dokumente, oder nur die Segmente von Dokument 1 oder von Dokument 2 auswerten möchte. Letzteres ist hilfreich, um zu testen, inwieweit ein Codierer mit einer Referenzcodierung übereinstimmt.

Die Abbildung oben zeigt das Dialogfeld für die Ermittlung der Codierer-Übereinstimmung. Verglichen werden die Dokumente „Interview A – Amelie“ und „Interview A – Petra“. Es wird die Methode Übereinstimmung der Segmente in % eingesetzt, wobei verlangt wird, dass zur Wertung als Übereinstimmung eine 90%ige Übereinstimmung gegeben sein muss.

Ergebnis bei Variante 1

Die Darstellung des Code-Matrix-Browsers erfolgt nur für die beiden Dokumente, deren Übereinstimmung überprüft werden soll. Der Code-Matrix-Browser ist auf Symboldarstellung geschaltet und es wird nur eine Symbolgröße angezeigt. Wird das Symbol angezeigt, so wurde der Code zugeordnet.

Vergleich des Vorkommens von Codes in zwei Dokumenten

Die Abbildung zeigt das Ergebnis für drei Codes an. In Bezug auf die Codes „Arbeit“ und „Spaß“ stimmen die Codierer Amelie und Petra überein, während „Motivation“ nur von Petra, aber nicht von Amelie codiert worden ist.

Einfaches Klicken auf ein Quadrat fokussiert das Dokument in der „Liste der Dokumente“ und den betreffenden Code in der „Liste der Codes“. Doppelklick auf ein Quadrat öffnet das betreffende Dokument, aktiviert den Code und stellt die vorhandenen Segmente in die „Liste der Codings“ zusammen.

In der Kopfzeile des Ergebnisfensters erfolgt eine Anzeige über die prozentuale Übereinstimmung, die hier 67% beträgt. Bei der Berechnung der prozentualen Übereinstimmung wird auch das Nicht-Vorhandensein eines Codes in beiden Dokumenten als Übereinstimmung gewertet.

Hinweis: Standardmäßig ist die Option Codes mit Hierarchie anzeigen bei der Ergebnisanzeige ausgeschaltet, sodass nicht-aktivierte Obercodes von aktivierten Subcodes nicht angezeigt und auch nicht bei der Berechnung der prozentualen Übereinstimmung berücksichtigt werden.

Ergebnis bei Variante 2

Als Ergebnis wird bei der zweiten Variante der Code-Matrix-Browser nur für die beiden Dokumente, deren Übereinstimmung überprüft werden soll, ausgegeben. Die Anzeige erfolgt entweder als Symbole oder als Zahlen der Codierungen pro Code. Es lässt sich dann leicht ermitteln, wo Übereinstimmungen bestehen und wo nicht. In der Kopfzeile wird wie bei der Methode „Variante 1“ die Übereinstimmung in Prozent angegeben, wobei die Bewertung codebezogen geschieht: Stimmt die Zahl der mit dem betreffenden Code codierten Segmente überein, gilt dies für diesen Code als Übereinstimmung. Alle anderen Konstellationen werden nicht als Übereinstimmung gewertet, das heißt die Größe der Differenz spielt keine Rolle. Ob der eine Codierer den Code dreimal und die andere Codiererin den Code zweimal zugeordnet hat, wird gleich bewertet wie viermal und zweimal.

Hinweis: MAXQDA berechnet die prozentuale Intercoder-Übereinstimmung für Variante 1 und 2 folgendermaßen:
Prozentuale Übereinstimmung
= Übereinstimmungen / (Übereinstimmungen + Nicht-Übereinstimmungen)
= Übereinstimmungen / Zeilenanzahl

Ergebnis bei Variante 3

Dies ist die komplizierteste Variante, denn hier wird auf Segmentebene geprüft, ob die Codierungen übereinstimmen. Hat das 1. Dokument bspw. 12 codierte Segmente und das 2. Dokument 14, so werden 26 Prüfvorgänge durchgeführt und die später ausgegebene Detailtabelle besitzt dann genau 26 Zeilen.

Zunächst ist festzulegen, wann zwei Codierungen als übereinstimmend gewertet werden. Als Übereinstimmungskriterium wird der prozentuale Anteil des überlappenden Bereichs der Codierungen definiert. Dieser Anteil ergibt sich also als relativer Anteil des Übereinstimmungsbereichs am Gesamtbereich zweier Codierungen, was die folgende Darstellung schematisch verdeutlicht:

Die Prozentschwelle kann im Dialogfenster eingestellt werden. Der Standardwert beträgt 90%.

Es werden zwei Ergebnistabellen ausgegeben: die codespezifische Ergebnistabelle und die detaillierte Übereinstimmungstabelle.

Die codespezifische Ergebnistabelle

Ergebnistabelle der Intercoder-Übereinstimmung für die einzelnen Codes

Diese Tabelle besitzt so viele Zeilen, wie Codes in die Übereinstimmungsüberprüfung einbezogen wurden, wobei Codes, die in keinem der beiden Dokumente vorkommen, ignoriert werden. Sie gibt einen Überblick über die Übereinstimmungen und Nicht-Übereinstimmungen der beiden Codierer. Sie zeigt an, wo die Schwachstellen sind, d.h. wo der angestrebte Grad an Übereinstimmung nicht erreicht wird. Jeder Code wird in einer Zeile dargestellt und es wird für jeden Code darüber informiert, wie viele Segmente insgesamt codiert wurden, wie groß die Zahl der Übereinstimmungen ist und wie hoch der codespezifische Übereinstimmungs-Prozentsatz ist.

Die detaillierte Übereinstimmungstabelle

Die zweite Tabelle ermöglicht die genaue Inspektion, man kann also ermitteln, wo die beiden Codierer nicht übereinstimmen. Ein rotes Icon in der ersten Spalte der Tabelle zeigt an, dass es bei diesem Segment keine Übereinstimmung gibt. Das Klicken auf den ersten Spaltenkopf bewirkt die Sortierung der Spalte, und zwar so, dass alle roten Zeilen in der Tabelle zuoberst gelistet werden und man Schritt für Schritt jede Nicht-Übereinstimmung inspizieren und diskutieren kann.

Doppelklick auf das kleine Quadrat in der Spalte „1. Dokument“ lädt diesen in den „Dokument-Browser“ an genau die Position des fraglichen Segmentes. Doppelklick in die Spalte „2. Dokument“ öffnet diesen Text ebenfalls im “Dokument-Browser”, und zwar auch genau an der Position des Segmentes, wo aber unter Umständen keine solche Codierung vorhanden ist. Man kann nun leicht zwischen den beiden Dokumenten hin und her springen und beurteilen, welcher der beiden Codierer denn nun den Code entsprechend der Zuordnungsvorschrift angewandt hat.

Ergebnistabelle der Intercoder-Übereinstimmung für alle codierten Segmente

Koeffizient Kappa für die segmentgenaue Übereinstimmung

Wenngleich die Analyse der Intercoder-Übereinstimmung in der qualitativen meist primär zur Verbesserung von Codieranweisungen und einzelnen Codierungen dient, besteht dennoch häufig der Wunsch auch prozentuale Übereinstimmungen von Codierern zu berechnen – insbesondere mit Blick auf den späteren Forschungsbericht. Diese prozentualen Übereinstimmungen finden sich in der oben vorgestellten codespezifischen Ergebnistabelle von MAXQDA für jeden einzelnen Code und für alle Codes zusammen betrachtet.

Forschende äußern häufig zusätzlich den Wunsch, in ihren Forschungsreporten nicht nur die prozentualen Übereinstimmungsraten berichten zu können, sondern auch zufallsbereinigte Koeffizienten auszuweisen. Die Grundidee derartiger Koeffizienten besteht darin, die prozentuale Übereinstimmung um den Anteil zu reduzieren, den man bei einer zufälligen Zuordnung von Codes zu Segmenten erhalten würde.

In MAXQDA lässt sich für diesen Zweck der häufig verwendete Koeffizient „Kappa“ berechnen: Klicken Sie in der Ergebnistabelle auf das Symbol  Kappa, um die Berechnung für die aktuell durchgeführte Analyse zu starten. MAXQDA zeigt Ihnen daraufhin folgendes Ergebnisfenster:

Intercoder-Koeffizient Kappa

In der linken oberen Ecke der Vierfelder-Tafel steht die Anzahl der Codierungen, die übereinstimmen. In der rechten oberen Ecke und der linken unteren Ecke finden sich die Nicht-Übereinstimmungen, bei denen also in einem Dokument ein Code vergeben wurde, aber nicht in dem anderen. Da in MAXQDA bei der Intercoder-Übereinstimmung auf Segmentebene nur die Segmente berücksichtigt werden, bei denen mindestens ein Code vergeben wurde, ist die Zelle unten rechts per definitionem gleich Null (denn es werden ja keine Dokumentstellen in die Analyse einbezogen, die von beiden Codierern nicht codiert wurden).

“P observed” entspricht der einfachen prozentualen Übereinstimmung, wie sie in der Zeile “” der „Codespezifischen Ergebnistabelle“ bereits ausgegeben wurde.

Für die Bestimmung von “P chance”, der zufälligen Übereinstimmung, greift MAXQDA auf einen Vorschlag von Brennan und Prediger (1981) zurück, die sich intensiv mit optimalen Einsatzmöglichkeiten von Cohens Kappa und dessen Problemen bei ungleichen Randsummenverteilungen auseinandergesetzt haben. Bei dieser Berechnungsweise wird die zufällige Übereinstimmung anhand der Anzahl unterschiedlicher Kategorien bestimmt, die von beiden Codierern benutzt wurden. Diese entspricht der Anzahl der Codes in der „Codespezifischen Ergebnistabelle“.

Hinweis: Wenn die Codierer die gleiche Anzahl an Codes zu einem Segment vergeben und man zwei oder mehr Codes auswertet, sollte man den ersten angegebenen Kappa-Wert nehmen. Sofern die Codierer eine unterschiedliche Anzahl an Codes zu einem Segment vergeben oder man nur einen Code auswertet, sollte man den zweiten angegebenen Kappa-Wert berichten.

Voraussetzungen für die Berechnung von zufallskorrigierten Koeffizienten wie Kappa

Eine Bedingung für die Berechnung von zufallskorrigierten Koeffizienten wie Kappa ist, dass vorab Segmente festgelegt werden, welche von den Codierenden mit vorgegebenen Codes versehen werden. Häufig wird in der qualitativen Sozialforschung jedoch das Vorgehen praktiziert, dass eben keine Segmente a-priori definiert werden, sondern stattdessen beide Codierer die Aufgabe haben, alle aus ihrer Sicht relevanten Dokumentstellen zu identifizieren und einen oder mehrere passende Codes zuzuordnen. In diesem Fall ist die Wahrscheinlichkeit, dass zwei Codierer die gleiche Stelle mit dem gleichen Code codieren, noch geringer und folglich wäre Kappa noch größer. Man könnte hier sogar argumentieren, dass die Wahrscheinlichkeit für zufällig auftretende Codier-Übereinstimmungen bei einem Text mit mehreren Seiten und mehreren Codes so verschwindend klein ist, dass Kappa der einfachen prozentualen Übereinstimmung entspricht. In jedem Fall sollte dessen Berechnung gut überlegt sein.