Das Konzept der Übereinstimmungsprüfung in MAX­QDA

Die Funktion zur Überprüfung von Codiererübereinstimmung verlangt folgendes Procedere:

  1. Zwei Codierer bearbeiten das identische Dokument unabhängig voneinander und codieren es entsprechend den gemeinsam vereinbarten Code-Beschreibungen. Dies kann am gleichen Computer oder auch auf entfernten Computer erfolgen. Wichtig ist natürlich, dass jeder Codierer nicht einsehen kann, was der/die Andere codiert hat. Sinnvollerweise macht man im Dokumentnamen deutlich, wer den Text codiert hat, z.B. „Interview A - Amelie“ und „Interview A - Petra“.
  2. Zur Überprüfung müssen sich nun die beiden von unterschiedlichen Personen codierten Texte im gleichen MAX­QDA Projekt befinden. Dies lässt sich z.B. mithilfe der Funktion Projekt > Projekte zusammenführen bewerkstelligen, sofern beide Codierer mit den gleichen Dokumenten in einem eigenen Projekt gearbeitet haben.

Nun kann im Menü Analyse > Intercoder-Übereinstimmung die Überprüfung gestartet werden, ob die codierenden Personen in den Zuordnungen der Codes übereinstimmen bzw. wo sie nicht übereinstimmen.

Starten der Intercoder-Funktion über das Menü Analyse
Achtung: Falls sich die Untersuchung der Intercoder-Übereinstimmung nur auf bestimmte Codes beziehen soll, sind diese zuvor noch zu aktivieren.
  1. Wählen Sie in dem Drop-Down-Menü unter 1. Dokument das erste und im Drop-Down-Menü unter 2. Dokument das zweite zu vergleichende Dokumente aus.
  2. Wenn sich die Analyse nur auf eine bestimmte Auswahl von Codes beziehen soll, ist ganz unten im Dialogfeld ein Häkchen in die Checkbox Nur für aktivierte Codes zu setzen.
  3. Nun lässt sich zwischen drei alternativen Analysestufen der Intercoder-Übereinstimmung wählen:

Variante 1 – Vergleichslevel Dokument

Kriterium ist die Präsenz bzw. die Nicht-Präsenz des Codes im Dokument (d.h. also: Code vorhanden versus Code nicht vorhanden). Diese Option ist vor allem interessant, wenn man relativ kurze Dokumente bearbeitet und mit vielen Codes arbeitet.

Variante 2 – Vergleichslevel Dokument

Kriterium ist die Häufigkeit des Codes im Dokument, präziser gesagt die Übereinstimmung der Häufigkeit der Zuordnung des Codes.

Variante 3 – Vergleichslevel Segment

Es wird geprüft, ob die beiden Codierer in der Codierung der einzelnen Segmente übereinstimmen. Diese Variante ist die am weitesten gehende und für qualitative Codierung typische Variante. Es kann ein Prozentwert eingestellt werden, mit dem festgelegt wird, wann zwei codierte Segmente als Übereinstimmung gewertet werden. Da Texte bei qualitativen Auswertungsverfahren häufig nicht in fixierte Texteinheiten untergliedert werden, erfolgt die Prüfung der Übereinstimmung für jedes von den beiden Codierern codierte Segment. Es wird also für jedes Segment jeweils evaluiert, ob eine Übereinstimmung vorliegt.

Prüfung der Übereinstimmung der codierten Segmente in einem Dokument

Die Abbildung zeigt das Dialogfeld für die Ermittlung der Codierer-Übereinstimmung. Verglichen werden die Dokumente „Interview A - Amelie“ und „Interview A - Petra“. Es wird die Methode Übereinstimmung der Segmente in % eingesetzt, wobei verlangt wird, dass zur Wertung als Übereinstimmung eine 90%ige Übereinstimmung gegeben sein muss.

Ergebnis bei Variante 1

Die Darstellung des Code-Matrix-Browsers erfolgt nur für die beiden Dokumente, deren Übereinstimmung überprüft werden soll. Der Code-Matrix-Browser ist auf Symboldarstellung geschaltet und es wird nur eine Symbolgröße angezeigt. Wird das Symbol angezeigt, so wurde der Code zugeordnet.

Vergleich des Vorkommens von Codes in zwei Dokumenten

Die Abbildung zeigt das Ergebnis für drei Codes an. In Bezug auf die Codes „Motivation“ und „Spaß“ stimmen die Codierer Amelie und Petra überein, während „Arbeit“ nur von Petra, aber nicht von Amelie codiert worden ist.

Einfaches Klicken auf ein Quadrat fokussiert das Dokument in der „Liste der Dokumente“ und den betreffenden Code in der „Liste der Codes“. Doppelklick auf ein Quadrat öffnet das betreffende Dokument, aktiviert den Code und stellt die vorhandenen Segmente in die „Liste der Codings“ zusammen.

In der Kopfzeile des Ergebnisfensters erfolgt eine Anzeige über die prozentuale Übereinstimmung, die hier 66% beträgt. Bei der Berechnung der prozentualen Übereinstimmung wird auch das Nicht-Vorhandensein eines Codes in beiden Dokumenten als Übereinstimmung gewertet.

Hinweis: Wenn Sie die Option Nur für aktivierte Codes angeklickt haben und von einigen Codes nur die Subcodes aktiviert haben, werden auch die zugehörigen Obercodes in die Darstellung mit aufgenommen und bei der Berechnung der prozentualen Übereinstimmung berücksichtigt.

Ergebnis bei Variante 2

Als Ergebnis wird bei der zweiten Variante der Code-Matrix-Browser nur für die beiden Dokumente, deren Übereinstimmung überprüft werden soll, ausgegeben. Die Anzeige erfolgt entweder als Symbole oder als Zahlen der Codierungen pro Code. Es lässt sich dann leicht ermitteln, wo Übereinstimmungen bestehen und wo nicht. In der Kopfzeile wird wie bei der Methode „Variante 1“ die Übereinstimmung in Prozent angegeben, wobei die Bewertung codebezogen geschieht: Stimmt die Zahl der mit dem betreffenden Code codierten Segmente überein, gilt dies für diesen Code als Übereinstimmung. Alle anderen Konstellationen werden nicht als Übereinstimmung gewertet, das heißt die Größe der Differenz spielt keine Rolle. Ob der eine Codierer den Code dreimal und die andere Codiererin den Code zweimal zugeordnet hat, wird gleich bewertet wie viermal und zweimal.

Hinweis: MAX­QDA berechnet die prozentuale Intercoder-Übereinstimmung für Variante 1 und 2 folgendermaßen:
Prozentuale Übereinstimmung
= Übereinstimmungen / (Übereinstimmungen + Nicht-Übereinstimmungen)
= Übereinstimmungen / Zeilenanzahl

Ergebnis bei Variante 3

Dies ist die komplizierteste Variante, denn hier wird auf Segmentebene geprüft, ob die Codierungen übereinstimmen. Hat das 1. Dokument bspw. 12 codierte Segmente und das 2. Dokument 14, so werden 26 Prüfvorgänge durchgeführt und die später ausgegebene Detailtabelle besitzt dann genau 26 Zeilen.

Zunächst ist festzulegen, wann zwei Codierungen als übereinstimmend gewertet werden. Als Übereinstimmungskriterium wird der prozentuale Anteil des überlappenden Bereichs der Codierungen definiert. Die prozentuale Übereinstimmung ergibt sich also als relativer Anteil des Übereinstimmungsbereichs am Gesamtbereich zweier Codierungen, was die folgende Darstellung schematisch verdeutlicht:

Die Prozentschwelle kann im Dialogfenster eingestellt werden. Der Standardwert beträgt 90%.

Es werden zwei Ergebnistabellen ausgegeben: die codespezifische Ergebnistabelle und die detaillierte Übereinstimmungstabelle.

Die codespezifische Ergebnistabelle
Ergebnistabelle der Intercoder-Übereinstimmung für die einzelnen Codes

Diese Tabelle besitzt so viele Zeilen, wie Codes in die Übereinstimmungsüberprüfung einbezogen wurden, wobei Codes, die in keinem der beiden Dokumente überhaupt vorkommen, ignoriert werden. Sie gibt einen Überblick über die Übereinstimmungen und Nicht-Überein­stimmungen der beiden Codierer. Sie zeigt an, wo die Schwachstellen sind, d.h. wo der angestrebte Grad an Übereinstimmung nicht erreicht wird. Jeder Code wird in einer Zeile dargestellt und es wird für jeden Code darüber informiert, wie viele Segmente insgesamt codiert wurden, wie groß die Zahl der Übereinstimmungen ist und wie hoch der codespezifische Übereinstimmungs-Prozentsatz ist.

Die detaillierte Übereinstimmungstabelle

Die zweite Tabelle ermöglicht die genaue Inspektion, man kann also ermitteln, wo die beiden Codierer nicht übereinstimmen. Ein rotes Icon in der ersten Spalte der Tabelle zeigt an, dass es bei diesem Segment keine Übereinstimmung gibt. Das Klicken auf den ersten Spaltenkopf bewirkt die Sortierung der Spalte, und zwar so, dass alle roten Zeilen in der Tabelle zuoberst gelistet werden und man Schritt für Schritt jede Nicht-Übereinstimmung inspizieren und diskutieren kann.

Doppelklick auf das kleine Quadrat in der Spalte „1. Dokument“ lädt diesen in den „Dokument-Browser“ an genau die Position des fraglichen Segmentes. Doppelklick in die Spalte „2. Dokument“ öffnet diesen Text ebenfalls im Dokument-Browser, und zwar auch genau an der Position des Segmentes, wo aber unter Umständen keine solche Codierung vorhanden ist. Man kann nun leicht zwischen den beiden Dokumenten hin und her springen und beurteilen, welcher der beiden Codierer denn nun den Code entsprechend der Zuordnungsvorschrift angewandt hat.

Ergebnistabelle der Intercoder-Übereinstimmung für alle codierten Segmente
Koeffizient Kappa für die segmentgenaue Übereinstimmung

Wenngleich die Analyse der Intercoder-Übereinstimmung in der qualitativen meist primär zur Verbesserung von Codieranweisungen und einzelnen Codierungen dient, besteht dennoch häufig der Wunsch auch prozentuale Übereinstimmungen von Codierern zu berechnen – insbesondere mit Blick auf den späteren Forschungsbericht. Diese prozentualen Übereinstimmungen finden sich in der oben vorgestellten codespezifischen Ergebnistabelle von MAXQDA für jeden einzelnen Code und für alle Codes zusammen betrachtet.

Forschende äußern häufig zusätzlich den Wunsch, in ihren Forschungsreporten nicht nur die prozentualen Übereinstimmungsraten berichten zu können, sondern auch zufallsbereinigte Koeffizienten auszuweisen. Die Grundidee derartiger Koeffizienten besteht darin, die prozentuale Übereinstimmung um den Anteil zu reduzieren, den man bei einer zufälligen Zuordnung von Codes zu Segmenten erhalten würde.

In MAXQDA lässt sich für diesen Zweck der häufig verwendete Koeffizient „Kappa“ berechnen: Klicken Sie in der Ergebnistabelle auf das Symbol  Kappa, um die Berechnung für die aktuell durchgeführte Analyse zu starten. MAXQDA zeigt Ihnen daraufhin folgendes Ergebnisfenster:

Intercoder-Koeffizient Kappa

In der linken oberen Ecke der Vierfelder-Tafel steht die Anzahl der Codierungen, die übereinstimmen. In der rechten oberen Ecke und der linken unteren Ecke finden sich die Nicht-Übereinstimmungen, bei denen also in einem Dokument ein Code vergeben wurde, aber nicht in dem anderen. Da in MAXQDA bei der Intercoder-Übereinstimmung auf Segmentebene nur die Segmente berücksichtigt werden, bei denen mindestens ein Code vergeben wurde, ist die Zelle unten rechts per definitionem gleich Null (denn es werden ja keine Dokumentstellen in die Analyse einbezogen, die von beiden Codierern nicht codiert wurden).

P observed entspricht der einfachen prozentualen Übereinstimmung, wie sie in der Zeile <Total> der „Codespezifischen Ergebnistabelle“ bereits ausgegeben wurde.

Für die Bestimmung von P chance, also die zufällige Übereinstimmung, greift MAXQDA auf einen Vorschlag von Brennan und Prediger (1981) zurück, die sich intensiv mit optimalen Einsatzmöglichkeiten von Cohens Kappa und dessen Problemen bei ungleichen Randsummenverteilungen auseinandergesetzt haben. Bei dieser Berechnungsweise wird die zufällige Übereinstimmung anhand der Anzahl unterschiedlicher Kategorien bestimmt, die von beiden Codierern benutzt wurden. Diese entspricht der Anzahl der Codes in der „Codespezifischen Ergebnistabelle“.

Üblicherweise ist eine Bedingung für die Berechnung von Koeffizienten wie Kappa, dass vorab Segmente festgelegt werden, welche von den Codierenden mit vorgegebenen Codes versehen werden. Häufig wird in der qualitativen Sozialforschung jedoch das Vorgehen praktiziert, dass eben keine Segmente a-priori definiert werden, sondern stattdessen beide Codierer die Aufgabe haben, alle aus ihrer Sicht relevanten Dokumentstellen zu identifizieren und einen oder mehrere passende Codes zuzuordnen. In diesem Fall ist die Wahrscheinlichkeit, dass zwei Codierer die gleiche Stelle mit dem gleichen Code codieren, noch geringer und folglich wäre Kappa noch größer. Man könnte hier sogar argumentieren, dass die Wahrscheinlichkeit für zufällig auftretende Codier-Übereinstimmungen bei einem Text mit mehreren Seiten und mehreren Codes so verschwindend klein ist, dass Kappa der einfachen prozentualen Übereinstimmung entspricht. In jedem Fall sollte dessen Berechnung gut überlegt sein.

War diese Seite hilfreich?