04 Mär 2019, 17:27
Hi und zunächst vielen Dank für die Antwort!
Ich befürchte ich habe mich nicht korrekt genug ausgedrückt (sorry!!!).
Ein Ziel meiner Analyse ist es eine Schablone/Katalog zur Bewertung von Bildern von Kapillaren (medizinisch) auf seine intra und Interobserver Übereinstimmung zu überprüfen. Jedes Bild wurde auf das Vorhandensein von 13 verschiedenen items überprüft. Die observer sind zwei Studenten und ein Experte.
Nun ist es sehr unpraktikabel und unübersichtlich wenn man im Fazit alle 13 items sowohl bei der intra als auch bei der interobserver Übereinstimmung aufzählen muss.
Daher möchte ich gerne sinnvolle Mittelwerte bilden. Hierbei würde ich natürlich unterscheiden zwischen den einzelnen Obervern und zwischen intra und Interobserver. Ich möchte gerne eine Aussage über einzelne items tätigen, indem ich beispielsweise sage und dass ein bestimmtes Item von allen drei befundern durchschnittlich mit einem Wert von X bewertet wurde. Somit möchte ich die Schablone möglicherweise optimieren und unpräzise items eliminieren.
Zudem möchte ich gerne jeweils einen Mittelwert der jeweils 13 interobserver Kappas, welche zwischen dem Experten und den Studenten jeweils berechnet wurden, bilden. Anhand dessen will ich ausdrücken wie gut die Schablone erlernbar und von Anfängern benutzbar ist.
Du siehst also, dass ich nicht Mittelwerte von verschiedenen inter und intra observer Kappas bilden möchte, Sondern für jeden observer getrennnt, jeweils als Zusammenfassung für die 13 intra und als Zusammenfassung der 13 Interrater Kappas. Eine Aussage wäre dann: Observer 1 hat mit der aktuellen Schablone ein durchschnittliches intrarater-kappa von X und nach der Eliminierung von 2-3 schlechten Items einen besseren Mittelwert von X.
Ein befreundeter Statistiker meinte mal dass Mittelwerte bei kappas grundsätzlich nicht erlaubt seien. Daher leider meine Frage erneut:
Darf ich Mittelwerte aus Kappas bilden?
VG!
Mathes