MAXQDA
Forum

Intercoder-Reliabilität und Cohens Kappa

16 Mai 2013, 17:53

Guten Tag!

Ich weiss, dass diese Anfrage wahrscheinlich nicht neu ist, dennoch habe ich in diesem Forum als auch im Benutzerhandbuch leider keine Antwort gefunden (ev. habe ich aber auch etwas übersehen)?

Die existierenden Threads zur Berechnung der Intercoder-Reliabilität (ICR) in diesem Forum habe ich gelesen. Für Publikationen in internationalen Papers brauchen wir jedoch Cohens Kappa und nicht eine prozentuale Übereinstimmung der Codings zu den vorgegebenen Textabschnitten.

Kurze Hintergrundinfo: Wir kodieren Unterrichtsbesprechungen (Videos) zwischen Mentoren und Studierenden und zwar "turn-by-turn". Nach einem Sprecherwechsel wird (mit Hilfe eines Kodierleitfadens zur Abgrenzung von Sprecherwechseln) eine Zeitmarke gesetzt. Zwei Kodiererinnen setzen danach einen Code "Analyseeinheit" pro solchermassen definierten Turn. Die ICR für diese Analyseeinheit muss zuerst berechnet werden. Danach arbeiten vier Kodiererinnen mit den so vorstrukturierten Dokumenten und setzen pro Analyseeinheit einen Code aus einem gemeinsam entwickelten Kodiersystem. Die ICR für diese Zuordnungen werden im Anschluss daran ebenfalls berechnet. Wie gesagt, brauchen wir hierzu Cohens Kappa. Da die Analyseeinheit vorgegeben ist, macht dies durchaus Sinn.

MAXQDA bietet jedoch lediglich eine ICR, basierend auf der prozentualen Übereinstimmung. Meine Frage lautet also: Gibt es tatsächlich keine Möglichkeit Cohens Kappa zu berechnen resp. wie können die vollzogenen Zuordnungen möglichst unaufwendig in ein Format gebracht werden mittels welchem diese in SPSS weiterverarbeitet werden können? Hat sich schon jemand damit beschäftigt und gibt es irgendeine Möglichkeit?

Besten Dank schon jetzt für die Unterstützung und
herzliche Grüsse aus der Schweiz,

Kathrin
prozimsun
 
Beiträge: 2
Registriert: 20 Feb 2013, 13:57

Re: Intercoder-Reliabilität und Cohens Kappa

16 Mai 2013, 21:57

Hallo Kathrin,

das lässt sich sogar relativ leicht realisieren. Kappa berechnet sich nach folgender Logik, wodurch die gemessene Übereinstimmung durch die zufällige Übereinstimmung relativiert wird:

Kappa = [gemessene Übereinstimmung - zufällige Übereinst. in Prozent] / [1 - zufällige Übereinst. in Prozent]

Die gemessene Übereinstimmung in Prozent liefert MAXQDA für jeweils 2 Dokumente als Ergebnis der Intercoder-Übereinstimmung in der Zeile <Total> der "Codespezifischen Ergebnistabelle" ganz rechts unten. Wenn man die Übereinstimmung für das gesamte Projekt benötigt, kann man die Tabelle für jeweils 2 verglichene Dokumente zu Excel exportieren und untereinander kopieren. Anschließend berechnet man den Mittelwert der Übereinstimmungs-Prozente.

Für die Berechnung der zufälligen Übereinstimmung gibt es verschiedene Ansätze. Für den vorliegenden Fall ist sicherlich der Ansatz von Brennan und Prediger am plausibelsten, bei dem einfach die Anzahl der zur Verfügung stehenden Kategorien herangezogen wird: Die zufällige Übereinstimmung in Prozent ergibt sich dabei, indem man 1 durch die Anzahl der Kategorien (k) teilt. Damit ergibt sich folgende Formel:

Kappa = [gemessene Übereinstimmung - 1/k] / [1 - 1/k]

Wichtig ist, dass man bei der Formel die gemessene Übereinstimmung nicht in Prozent, sondern in einem Wert von
0 bis 1 eingibt.

Beispielrechnung für 5 Kategorien und eine prozentuale Übereinstimmung von 80%:

Kappa = [0,8 - 1/5] / [1 - 1/5] = 0,6 / 0,8 = 0,75 = 75%

Siehe auch: http://de.wikipedia.org/wiki/Cohens_Kappa

Viel Erfolg wünscht,
Stefan Rädiker
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Intercoder-Reliabilität und Cohens Kappa

17 Mai 2013, 12:02

Lieber Stefan Rädiker

Auf die Idee, Kappa "von Hand" zu berechnen, kam ich gar nicht... Besten Dank für den Tipp! So geht's wirklich ganz einfach!

Herzliche Grüsse,
Kathrin
prozimsun
 
Beiträge: 2
Registriert: 20 Feb 2013, 13:57

Re: Intercoder-Reliabilität und Cohens Kappa

15 Jun 2014, 18:20

Hallo Stefan,

auch, wenn dieser Thread schon wieder etwas her ist, habe ich diesbezüglich noch eine Frage.
Der unten beschriebene Weg ist schon etwas einfacher als den, welchen wir bisher genommen haben (in eine Exceltabelle mit hinterlegter Kappaformel alle Übereinstimmungen/Nicht-Übereinstimmungen pro Coding per Hand eingetragen und dann ausrechnen lassen).

In einem aktuellen Projekt wäre aber auch "der neue Weg" zu aufwändig. Deshalb hier meine Frage:

Ich kann die Übereinstimmung immer nur für ein Dokument gleichzeitig ausgeben lassen. Wir analysieren grad RIS-Angaben zu einem bestimmten Thema, inkl. der Abstracts. Bei über 500 Dokumenten ist das ganz schön viel Klickarbeit für die ICR.
Gibt es einen Weg, wie ich mir für alle Dokumente gleichzeitig die Übereinstimmungen/Nicht-Übereinstimmungen ausgeben kann in Tabellenform, sodass ich daraus dann die prozentuale ICR bzw. Kappa errechnen kann?
Meines Wissens könnte das über den Code-Matrix-Browser funktionieren, über dessen Segment-Matrix-Export bekomme ich ja alle Codings für alle Interviews gleichzeitig pro Kategorie, allerdings müsste ich hier extrem viel Rumexeln, um bestimmte Zellen auf Übereinstimmung/Nicht-Übereinstimmung zu überprüfen.

Vielleicht trat ja dieser Wunsch schon eimal zu Tage. Für Lösungsvorschläge wäre ich sehr dankbar.

Beste Grüße,
Marcus
Marcus
 
Beiträge: 2
Registriert: 13 Jun 2014, 18:28

Re: Intercoder-Reliabilität und Cohens Kappa

16 Jun 2014, 16:29

Hallo Marcus,

die Intercoder-Übereinstimmung für mehrere Dokumente auf einen Schlag bestimmen zu können, steht weit oben auf unserer Wunschliste. In MAXQDA 11 ist hier nur der Weg über den Code-Matrix-Browser möglich. Wenn immer zwei gleiche Dokumente nebeneinander stehen, sollte es dann aber in Excel mit einer einfachen kopierbaren Berechnungsfunktion gehen:

Man erstellt eine Formel für die Berechnung von Kappa für die ersten beiden Zeilen (= ersten beiden Dokumente) und kopiert diese Formel dann in alle anderen Zeilen.

Viele Grüße
Stefan
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Intercoder-Reliabilität und Cohens Kappa

07 Jul 2014, 14:30

Hallo Stefan,

wenn auch etwas spät, vielen Dank für die Hilfe, es hat geklappt mit der Excelvariante.

Beste Grüße,
Marcus
Marcus
 
Beiträge: 2
Registriert: 13 Jun 2014, 18:28

Re: Intercoder-Reliabilität und Cohens Kappa

28 Feb 2017, 22:27

Guten Abend zusammen,
auch ich beschäftige mich gerade mit der Kappa-Berechnung in MaxQDA und habe folgende Frage:
MaxQDA verwendet die Berechnung nach Brennan und Prediger:
K = (Po - Pc) / (1 - Pc)
Pc = 1/ number of codes

Im Handbuch steht, dass die zufällige Übereinstimmung (Pc) "anhand der Anzahl unterschiedlicher Kategorien bestimmt (wird), die von beiden Codierern benutzt wurden", so wird es auch in MaxQDA gerechnet.

Hier im Forum wird von der "Anzahl der zur Verfügung stehenden Kategorien" gesprochen.

Wenn nun aber beide Kodierer nur 3 von 8 zur Verfügung stehenden Kategorien benutzen, wird Pc mit 1/ 3 bestimmt. Somit ist Pc natürlich viel größer, als wenn ich durch 8 teile. Die Zufallswahrscheinlichkeit, dass ein Kodierer aus 8 möglichen Kategorien die "eine" auswählt, liegt aber doch bei 1/8. Demnach müsste durch die Anzahl der zur Verfügung stehenden Kategorien geteilt werden.

Oder mache ich einen Denkfehler?

Über eine Antwort würde ich mich sehr freuen.
Liebe Grüße,
Lena
legross
 
Beiträge: 2
Registriert: 20 Feb 2017, 12:39

Re: Intercoder-Reliabilität und Cohens Kappa

08 Mär 2017, 10:00

Hallo Lena,

in MAXQDA werden für Pc jeweils nur die ausgewählten Codes berücksichtigt. Wenn man also 5 Codes aktiviert und bei der Intercoder-Übereinstimmung "Nur aktivierte Codes" auswählt, beträgt Pc = 1/5.

Ansonsten noch ein paar wichtige Hinweise zur Verwendung und Berechnung von Kappa:

1. Die Berechnung zufallskorrigierter Übereinstimmungs-Koeffizienten hat nur Sinn, wenn man vorab die zu codierenden Segmente definiert hat. Ansonsten tendiert die Wahrscheinlichkeit, dass zwei Codierer per Zufall überhaupt die gleiche Stelle auswählen und dann auch noch den gleichen Code vergeben, gegen Null.

2. Wenn man erlaubt hat, dass die Codierenden an einem Segment mehr als einen Code vergeben können, sollte man den zweiten von MAXQDA ausgegebenen Wert für Pc verwenden ("In case of missing values ...", weil dann gewissermaßen noch ein Code hinzukommt, der lautet "kein Code vergeben / Missing".

Viel Erfolg bei der Analyse wünscht
Stefan Rädiker
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Intercoder-Reliabilität und Cohens Kappa

10 Mär 2017, 21:12

Liebe Stefan,
vielen Dank für Deine Antwort. Das hilft mir schon mal weiter :-)
Viele Grüße,
Lena
legross
 
Beiträge: 2
Registriert: 20 Feb 2017, 12:39

Re: Intercoder-Reliabilität und Cohens Kappa

30 Dez 2017, 18:42

Auch ich habe noch eine Rückfrage zu dem Thema. Ich habe für meine 11 Dateien sowohl eine Erstkodierung, als auch eine Zweitkodierung angefertigt und Cohens Kappa ausgerechnet.

Was ist nun der sinnvollste Kappa-Gesamtwert? Einfach der Mittelwert aus allen Einzelwerten? Oder sollte ich es noch mit der Gesamtformel berechnen?

Vielen Dank für die Hilfe!
CharlyThi
 
Beiträge: 2
Registriert: 30 Dez 2017, 18:37

Re: Intercoder-Reliabilität und Cohens Kappa

02 Jan 2018, 15:55

Hallo CharlyThi,

in der Regel reicht es aus, einen Mittelwert der Kappa-Werte zu berechnen. Hier habe ich das schon einmal ausführlicher beantwortet:
https://www.maxqda.de/de/support/forum/viewtopic.php?f=21&t=1205&p=3559

Hoffe, das hilft weiter, viele Grüße
Stefan Rädiker
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Intercoder-Reliabilität und Cohens Kappa

03 Jan 2018, 13:58

Vielen Dank und frohes neues Jahr :)
CharlyThi
 
Beiträge: 2
Registriert: 30 Dez 2017, 18:37

Re: Intercoder-Reliabilität und Cohens Kappa

22 Jan 2018, 19:13



Hallo Lena,

in MAXQDA werden für Pc jeweils nur die ausgewählten Codes berücksichtigt. Wenn man also 5 Codes aktiviert und bei der Intercoder-Übereinstimmung "Nur aktivierte Codes" auswählt, beträgt Pc = 1/5.

Ansonsten noch ein paar wichtige Hinweise zur Verwendung und Berechnung von Kappa:

1. Die Berechnung zufallskorrigierter Übereinstimmungs-Koeffizienten hat nur Sinn, wenn man vorab die zu codierenden Segmente definiert hat. Ansonsten tendiert die Wahrscheinlichkeit, dass zwei Codierer per Zufall überhaupt die gleiche Stelle auswählen und dann auch noch den gleichen Code vergeben, gegen Null.

2. Wenn man erlaubt hat, dass die Codierenden an einem Segment mehr als einen Code vergeben können, sollte man den zweiten von MAXQDA ausgegebenen Wert für Pc verwenden ("In case of missing values ...", weil dann gewissermaßen noch ein Code hinzukommt, der lautet "kein Code vergeben / Missing".

Viel Erfolg bei der Analyse wünscht
Stefan Rädiker



Hallo Stefan und Lena,

meine Frage bzgl. der Berechnung der Interrater-Rel. knüpft an der Frage von Lena an.

Auch ich stelle mir die Frage, ob es bei der Berechnung der Interrater-Rel. Sinn macht, die zufällige Übereinstimmung so zu berechnen, indem man 1 durch die Anzahl unterschiedlicher Kategorien, die von beiden Codiereren benutzt wurden, teilt. In unserem Kategoriensystem kann jeder Einheit, die kodiert wird, prinizipiell einer von 33 Codes bzw. Subcodes zugeordnet werden. Müsste ich in diesem Fall die Berechnung so vornehmen, dass ich 1 durch 33 Teile? Wieso berücksichtigt MAXQDA nur diejenigen Kategorien, die von beiden Codiereren benutzt wurden und nicht alle? Ich wurde aus dem Text von Brennan und Prediger, 1981, auf den sich MAXQDA stützt, leider nicht schlau.

Und könnte an dieser Stelle vlt. noch erläutert werden, in welchen Situationen der Wert unter "In case of missing values..." verwendet werden sollte, da dies ja in mehreren Fällen zutrifft.

- 1. Im Falle, dass Doppelkodierungen erlaubt sind
- 2. ...
- 2. ...

Lena, hast du bereits eine Antwort auf deine Frage gefunden? Stefan, kannst du uns weiterhelfen?


Ich danke euch bereits jetzt vielmals für eine Antwort!

Danke und liebe Grüsse
Elvira
elvirasu
 
Beiträge: 2
Registriert: 16 Jan 2018, 00:51

Re: Intercoder-Reliabilität und Cohens Kappa

28 Jan 2018, 22:40

Hallo Elvira,

Auch ich stelle mir die Frage, ob es bei der Berechnung der Interrater-Rel. Sinn macht, die zufällige Übereinstimmung so zu berechnen, indem man 1 durch die Anzahl unterschiedlicher Kategorien, die von beiden Codiereren benutzt wurden, teilt. In unserem Kategoriensystem kann jeder Einheit, die kodiert wird, prinizipiell einer von 33 Codes bzw. Subcodes zugeordnet werden. Müsste ich in diesem Fall die Berechnung so vornehmen, dass ich 1 durch 33 Teile?

Ja, das scheint mir dann, ohne die Daten zu sehen, das adäquate Vorgehen für die Berechnung von Pc zu sein. Allerdings erscheinen mir 33 Codes relativ viele zu sein. Konnten die Codierenden tatsächlich aus so vielen Codes für eine einzelne zu codierende Dokumentstelle wählen oder waren die Codes in Gruppen aufgeteilt, aus denen man auswählen musste.
Zur Erinnerung: Für die Berechnung von zufallskorrigierten Koeffizienten ist es notwendig, dass die zu codierenden Einheiten vorab festliegen.

Wieso berücksichtigt MAXQDA nur diejenigen Kategorien, die von beiden Codiereren benutzt wurden und nicht alle? Ich wurde aus dem Text von Brennan und Prediger, 1981, auf den sich MAXQDA stützt, leider nicht schlau.

MAXQDA geht davon aus, dass auch nur die Codes, die von mindestens einer Person verwendet wurden, zur Auswahl standen. Selten ist dem nicht sonst. Ansonsten könnte es außerdem sein, dass man unnötigerweise alle Codes des Codesystems gelistet bekommt, wenn man keine aktiviert hat.
Wenn man nicht-verwendete Codes auch berücksichtigen möchte, kann man natürlich Pc per Hand korrigieren.
Das hat erstmal nichts direkt mit dem Text von Brennan und Prediger zu tun.

Und könnte an dieser Stelle vlt. noch erläutert werden, in welchen Situationen der Wert unter "In case of missing values..." verwendet werden sollte, da dies ja in mehreren Fällen zutrifft.

In zwei Fällen:
1. Wenn die Codierenden eine unterschiedliche Anzahl von Codierungen den zu codierenden Einheiten zuordnen dürfen. Dies ist beispielsweise der Fall, wenn man einer Einheit auch keinen Code zuweisen darf. Aber auch, wenn eine Person 3 und die andere 2 Codierungen vornehmen darf.
2. Dies ist insbesondere immer dann der Fall, wenn die Codierenden nur einen Code zur Verfügung haben und diesen vergeben oder eben nicht.

Der String wird demnächst in MAXQDA für bessere Verständlichkeit angepasst.

Hoffe, das hilft weiter, beste Grüße
Stefan
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Intercoder-Reliabilität und Cohens Kappa

02 Mär 2019, 13:33

Hallo zusammen!

Ich habe eine grundsätzliche Anfängerfrage:

Darf ich überhaupt Mittelwert von mehreren Kappawerten bilden?
Darunter habe ich zum einen sowohl den paarweisen Vergleich zwischen zwei Befundern und intrarater-kappas, als auch normales Kappa und auch gewichtetes Kappa.

Ganz vereinfacht gesagt würde ich am Ende gerne ausdrücken, dass bspw. "die gesamte Methodik (mit vielen Kappas) eine x-gute gesamte Übereinstimmung hat und nach unserer Modifikation eine noch tollere ." :wink:


Vielen Dank schon mal im voraus!
Mathes
Mathes
 
Beiträge: 2
Registriert: 02 Mär 2019, 11:12

Nächste

Zurück zu Funktionswünsche

Diese Website nutzt Cookies, um Ihnen die bestmögliche Funktionalität bieten zu können. Mit Klick auf OK oder durch die weitere Nutzung der Website stimmen Sie der Nutzung der Cookies zu. Genauere Informationen finden Sie in unserer Datenschutzerklärung. OK