MAXQDA
Forum

Cohens Kappa für einzelne Kategorien

16 Jan 2018, 01:04

Liebe Forschungsgemeinschaft,

Meine Frage bezieht sich auf die Berechnung von Cohen’s Kappa mit MAXQDA:

Wir haben ein Kategoriensystem mit 9 Oberkategorien, wobei sich diese teilweise in weitere Unterkategorien unterteilen lassen. Insgesamt ist die Vergabe von 33 Codes möglich. Die Kategorien sind nominalskaliert.

30 von 98 Interviews wurden von 2 Beurteilern doppelt kodiert. Anhand dieser 30 doppelt kodierten Interviews soll die Interrater-Reliabilität berechnet werden. Zusätzlich zur Interrater-Rel. über alle 30 Interviews und alle Kategorien möchten wir die Interrater-Rel. für die jeweiligen Oberkategorien berechnen, um zu schauen, bei welche Kategorien Schwierigkeiten auftraten. Wir fragen uns, wie wir dazu vorgehen müssen?

Macht es Sinn, wenn wir die zu interessierende Oberkategorie (inkl. Subkategorien) aktivieren und dann folgende Klicks vornehmen: Analyse – Intercoder-Übereinstimmung – Übereinstimmung der Segmente in % - NUR aktivierte Codes. Dann könnten wir die von MAXQDA berechneten Kappa-Wert über alle 30 Dokumente aufsummieren.

Meine Bedenken:
Angenommen ich berechne die Interrater-Raterrel. für eine der Oberkategorien, die sich in 8 Subkategorien unterteilen lässt. Allerdings wurden z.B. bei einem Interview nur 2 der 8 Subkategorien vergeben. Meines Wissens nach ist gemäss MAXQDA in diesem Fall der Anteil der zufälligen Übereinstimmung 0,50. Ich frage mich, ob dies wirklich der Fall ist. Als ich die Analyseeinheit kodiert habe, hatte ich ja nicht nur die Auswahl zwischen diesen 2 Subkategorien, sondern prinzipiell hätte ich 33 andere Codes vergeben können.

Ist es trotzdem korrekt, wenn ich wie oben geschildert vorgehe oder gibt es eine andere Möglichkeit, die Interrater-Reliabilität pro Oberkategorie zu berechnen?

Falls sich jmd. mit Berechnungen von Cohens Kappa für einzelne Kategorien auskennt, bin ich euch sehr dankbar über Anregungen.

Version: MAXQDA 2018
System: Windows 10
elvirasu
 
Beiträge: 2
Registriert: 16 Jan 2018, 00:51

Zurück zu MAXQDA in der Forschung

Diese Website nutzt Cookies, um Ihnen die bestmögliche Funktionalität bieten zu können. Mit Klick auf OK oder durch die weitere Nutzung der Website stimmen Sie der Nutzung der Cookies zu. Genauere Informationen finden Sie in unserer Datenschutzerklärung. OK