MAXQDA
Forum

Frage zu Cohens Kappa

10 Okt 2017, 20:43

Hallo Maxqda-Community,

ich verwende Maxqda für meine Masterarbeit im Fach Politikwissenschaft. Ich habe ca. 150 Politikerreden qualitativ analysiert und entsprechende Codes zugeordnet. Jede Rede ist als einzelnes Dokument in Maxqda geladen. Ich habe die Kodierung durch einen zweiten Kodierer "simuliert", indem ich alle Dokumente selbst nochmal nach 14 Tagen kodiert habe (mir blieb keine andere Wahl, da ich alleine an dem Projekt arbeite). Dabei sind im zweiten Kodierdurchgang exakt die selben Segmente verwendet worden, wie beim ersten Mal. Nun würde ich gerne Cohens Kappa für mein gesamtes Projekt berechnen (mir ist bewusst, dass dies in der qualitativen Forschung nicht zwangsläufig notwendig ist, aber meine Betreuerin hätte es gerne so). Da man in Maxqda ja nur jeweils zwei einzelne Dokumente miteinander vergleichen kann, möchte ich gerne eine Excel-Tabelle mit allen Kappa-Werten für alle 150 Dokumenten-Paare erstellen und dann den Mittelwert des Kappa-Maßes berechnen. [b:gncwh5w3]Meine erste Frage ist schlicht, ob das so Sinn macht oder wird das Ergebnis durch dieses Vorgehen fehlerhaft?[/b:gncwh5w3]

Meine zweite Frage bezieht sich auf das von Maxqda angezeigte Kappa-Maß. Wenn ich die Übereinstimmung von zwei Dokumente vergleiche, kann ich ja über die Ergebnistabelle zur Kappa-Berechnung gelangen. Dort finden sich jedoch zwei unterschiedliche Kappa-Werte. Während in der oberen Zeile der normale Wert erscheint, wird er in der untersten Zeile das Kappa-Maß als "In case of missing values or in case of comparing one code“ ausgegeben. Ich verstehe leider nicht genau den Unterschied der beiden Werte und ich konnte im Handbuch auch keine passende Information diesbezüglich finden. Worauf beziehen sich die „missing values“? In einem anderen Beitrag habe ich gelesen, dass man dann den letztgenannten Wert nehmen sollte, wenn pro Segment mehrere Kategorien vergeben werden können. Dies ist in meinem Projekt der Fall. [b:gncwh5w3]Ist diese Information richtig? Ist für mein Projekt nur der zweite Kappa-Wert relevant?[/b:gncwh5w3]

Über die Beantwortung der beiden Fragen würde ich mich sehr freuen!

Liebe Grüße :)

Version: MAXQDA 12
System: Mac OS X 10.11 (El Capitan)
Seb
 
Beiträge: 6
Registriert: 17 Sep 2017, 14:07

Re: Frage zu Cohens Kappa

17 Okt 2017, 09:33

Hallo Seb,

[b:1ptz6pyo]zur ersten Frage:[/b:1ptz6pyo]
Wenn man den Mittelwert der paarweisen Codiervergleiche berechnet, erhält man eben genau das: einen "gemittelten Kappa-Wert für die paarweisen Codiervergleiche". Diesen kann man natürlich berichten und das ergibt meiner Ansicht nach für den beschriebenen Kontext Sinn. Ergänzend würde ich hier auf jeden Fall auch weitere Informationen berichten, z.B. das Minimum und das Maximum und vor allem, bei welchen Texten die niedrigen Werte und die hohen Werte aufgetreten sind, welche Erklärungen es dafür gibt und welche Codes hierfür "verantwortlich" waren. Auch wie mit niedrigen Werten umgegangen wurde, um diese zu erhöhen, kann eine wichtige Information für den methodischen Teil der Arbeit darstellen.

Alternativ lässt sich ein "Overall-Kappa-Wert" selbst berechnen:
1. Ersten paarweisen Vergleich vornehmen, Übereinstimmungstabelle zu Excel exportieren
2. Zweiten paarweisen Vergleich vornehmen, Übereinstimmungstabelle zu Excel exportieren
3. usw.
4. Man kann dann aus den Spalten "1. Dokument", "2. Dokument", "Übereinstimmung" die im Kappa-Fenster gezeigte Vierfelder-Tafel erstellen.
Da u.a. pro Dokument die Anzahl der Segmente unterschiedlich sein kann, müssen der gemittelte Wert und dieser Overall-Wert nicht übereinstimmen, auch wenn sie vermutlich sehr dicht beieinander liegen werden.

Mir erscheint die gemittelte Variante aber besser, weil man leichter die Zusatzinfos angeben kann.

[b:1ptz6pyo]Zur zweiten Frage: [/b:1ptz6pyo]
Wenn man mehrere Codes analysiert, ist der erste angegebene Wert relevant. Ich werde mal anregen, dass eine ergänzende Erklärung mit ins Manual aufgenommen wird ;-). Der Unterschied ergibt sich aus der Tatsache, ob man a) mehrere Codes vergleicht (=> erster Wert) oder b) nur einen Code vergleicht oder es vorkommen kann, dass die Segmente nicht immer von beiden Personen gleich häufig codiert wurden (=> zweiter Wert). Grund: Hier muss dann die zufällige Übereinstimmung anders berechnet werden.

Viel Erfolg für die Masterarbeit wünscht
Stefan Rädiker

P.S.: Wie im Manual angegeben, sollte man darauf hinweisen, dass es sich um Kappa nach Brennan & Prediger (1981) handelt.
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Frage zu Cohens Kappa

24 Okt 2017, 16:48

Hallo Stefan,

besten Dank für die ausführliche Antwort. Das hilft mir sehr!

Eine kurze Rückfrage hätte ich allerdings noch: Was bedeutet es, wenn der erste Kappa-Wert manchmal als "not defined" angezeigt wird? Dies passiert öfters, wenn die kodierten Segmente 100% übereinstimmen. Kann ich dann in meine Liste einfach "1" eintragen, da ja die Übereinstimmung maximal sein müsste?

Über eine schnelle Antwort würde ich mich sehr freuen :)

Liebe Grüße
Sebastian
Seb
 
Beiträge: 6
Registriert: 17 Sep 2017, 14:07

Re: Frage zu Cohens Kappa

24 Okt 2017, 17:27

Hallo Sebastian,

"not defined" wird bei Computern üblicherweise ausgegeben, wenn man unerlaubter Weise durch 0 teilt. Bei der Intercoder-Analyse in MAXQDA kann dies nur auftreten, wenn P(chance) = 1 ist, also die zufällige Übereinstimmung bei 100% liegt. Dies wiederum kann nur auftreten, wenn man nur einen Code analysiert. In diesem Fall kann man dann den zweiten Kappa-Wert nehmen.

Viele Grüße
Stefan
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Frage zu Cohens Kappa

24 Okt 2017, 18:01

Hallo Stefan,

perfekt!! Vielen Dank für die schnelle Rückmeldung :)

Liebe Grüße
Sebastian
Seb
 
Beiträge: 6
Registriert: 17 Sep 2017, 14:07

Zurück zu MAXQDA in der Forschung

Diese Website nutzt Cookies, um Ihnen die bestmögliche Funktionalität bieten zu können. Mit Klick auf OK oder durch die weitere Nutzung der Website stimmen Sie der Nutzung der Cookies zu. Genauere Informationen finden Sie in unserer Datenschutzerklärung. OK