MAXQDA
Forum

Re: Intercoder-Reliabilität und Cohens Kappa

03 Mär 2019, 10:46

Hallo Mathes,

ich würde keinen Mittelwert von verschiedenartigen Kappa-Werten bilden. Nicht nur, dass hierdurch verschiedene Dinge miteinander verrechnet würden, es kann meiner Ansicht nach auch kein Ziel sein, die Qualität einer Codierung am Ende einer Studie in einer einzigen Zahl ausdrücken zu wollen. Die Verbesserung in den einzelnen Bereichen (Intercoder, Intracoder) können sicherlich getrennt dargestellt werden.

Als Reviewer wäre ich eh vor allem daran interessiert: Wo lagen die Probleme, dass es zu Nicht-Übereinstimmung kam? Wie kann dies erklärt werden und welche Auswirkungen sowie vielleicht auch interessante Erkenntnisse über das untersuchte Phänomen hat dies für die Analyse gebracht? Wie wurde damit umgegangen? Wie wurde die Codierqualität verbessert?

Viel Erfolg für die Analyse,
Stefan Rädiker
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Intercoder-Reliabilität und Cohens Kappa

04 Mär 2019, 17:27

Hi und zunächst vielen Dank für die Antwort!
Ich befürchte ich habe mich nicht korrekt genug ausgedrückt (sorry!!!).

Ein Ziel meiner Analyse ist es eine Schablone/Katalog zur Bewertung von Bildern von Kapillaren (medizinisch) auf seine intra und Interobserver Übereinstimmung zu überprüfen. Jedes Bild wurde auf das Vorhandensein von 13 verschiedenen items überprüft. Die observer sind zwei Studenten und ein Experte.
Nun ist es sehr unpraktikabel und unübersichtlich wenn man im Fazit alle 13 items sowohl bei der intra als auch bei der interobserver Übereinstimmung aufzählen muss.

Daher möchte ich gerne sinnvolle Mittelwerte bilden. Hierbei würde ich natürlich unterscheiden zwischen den einzelnen Obervern und zwischen intra und Interobserver. Ich möchte gerne eine Aussage über einzelne items tätigen, indem ich beispielsweise sage und dass ein bestimmtes Item von allen drei befundern durchschnittlich mit einem Wert von X bewertet wurde. Somit möchte ich die Schablone möglicherweise optimieren und unpräzise items eliminieren.
Zudem möchte ich gerne jeweils einen Mittelwert der jeweils 13 interobserver Kappas, welche zwischen dem Experten und den Studenten jeweils berechnet wurden, bilden. Anhand dessen will ich ausdrücken wie gut die Schablone erlernbar und von Anfängern benutzbar ist.

Du siehst also, dass ich nicht Mittelwerte von verschiedenen inter und intra observer Kappas bilden möchte, Sondern für jeden observer getrennnt, jeweils als Zusammenfassung für die 13 intra und als Zusammenfassung der 13 Interrater Kappas. Eine Aussage wäre dann: Observer 1 hat mit der aktuellen Schablone ein durchschnittliches intrarater-kappa von X und nach der Eliminierung von 2-3 schlechten Items einen besseren Mittelwert von X.

Ein befreundeter Statistiker meinte mal dass Mittelwerte bei kappas grundsätzlich nicht erlaubt seien. Daher leider meine Frage erneut:
Darf ich Mittelwerte aus Kappas bilden?

VG!
Mathes
Mathes
 
Beiträge: 2
Registriert: 02 Mär 2019, 11:12

Re: Intercoder-Reliabilität und Cohens Kappa

08 Mär 2019, 15:52

Hi Matthes,

aus meiner Sicht kann man problemlos Mittelwerte von Kappas berechnen, dann erhält man entsprechend einen mittleren, also durchschnittlichen Kappa-Wert. Meist ist ein Mittelwert jedoch nicht aussagekräftig und in der Regel sollten auch min. und max. sowie Streuung sollten angegeben werden.

Ich würde aber generell folgendes Überdenken:
- Kappa in MAXQDA wird nur für zwei nicht für drei Personen berechnet. Für die Bestimmung der Overall-Übereinstimmung der zwei Studis und einen Experten sollte man es lieber mit der Hand ausrechnen, sonst kann man immer nur paarweise Übereinstimmung berücksichtigen.
- Cohens Kappa hat generell große Probleme bei ungleich verteilten Randsummen (z.B. Feinstein, Cicchetti, 1990). Ich würde hier zumindest Kappa (Brennan & Prediger) verwenden, so wie in MAXQDA implementiert.

Good luck!
Stefan

-
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Vorherige

Zurück zu Funktionswünsche

Diese Website nutzt Cookies, um Ihnen die bestmögliche Funktionalität bieten zu können. Mit Klick auf OK oder durch die weitere Nutzung der Website stimmen Sie der Nutzung der Cookies zu. Genauere Informationen finden Sie in unserer Datenschutzerklärung. OK