MAXQDA
Forum

Interrater-Reliabilität- Segmentierung

06 Jun 2017, 11:57

Hallo,
ich habe Interviews durchgeführt und möchte nun mit Hilfe dreier Rater die Codierung möglichst reliabel gestalten, bzw. auch die Übereinstimmung der Rater berechnen.
Die Interviews enthalten 13 Fragen, bzw. Antworten der Interviewten. Leider sind diese wahnsinnig schlecht zu segmentieren, damit den einzelnen Segmenten die Codes (insges. 8 inhaltliche Hauptcodes) zugeordnet werden könnten.
Daher war meine Überlegung die Interviews in 13 Antwort-"Segmente" aufzuteilen und für diese eine Übereinstimmung zu berechnen- allerdings können diese Segmente mehrfach (max. 8 Codes) codiert werden.
Die statistische Frage lautet nun also: Inwieweit stimmen die Rater in ihrer Zuweisung von ni Codes (ni aus {1,...,8} und i aus {1,2,3} ) überein? Stochastisch könnte man von Ziehen ohne Zurücklegen, ohne Beachtung der Reihenfolge sprechen, d.h. eine Kombination ohne Wiederholung, allerdings ist die Anzahl n der Objekte (bzw. Codenummern) nicht gleich für die Rater...
Eine andere Idee war, jedes Antwort-Segment in 8 Untersegmente (für jeden Code eins) zu unterteilen und nur mit den Kategorien ja/nein (Thema in Antwort enthalten ja/nein) zu arbeiten.
Allerdings habe ich bisher bei der Berechnung von Fleiss Kappa (3 Rater, 8 Segmente, 2 Kategorien) nur negative Kappa-Werte erzielen können (trotz augenscheinlicher Übereinstimmung der Rater!).
Noch kurz zusammengefasst:
Gibt es irgendeine Möglichkeit sinnvoll die Übereinstimmung von Ratern zu berechnen, bei der es NUR darum geht, zu viel Prozent die Rater in der Codierung von Themen pro Segment übereinstimmen?!
Vielen Dank für die HIlfe!
mit besten grüßen
Julia hölzl

Version: MAXQDA 12
System: Windows 10
Julia_H
 
Beiträge: 1
Registriert: 04 Jun 2017, 16:09

Zurück zu MAXQDA in der Forschung

Diese Website nutzt Cookies, um Ihnen die bestmögliche Funktionalität bieten zu können. Mit Klick auf OK oder durch die weitere Nutzung der Website stimmen Sie der Nutzung der Cookies zu. Genauere Informationen finden Sie in unserer Datenschutzerklärung. OK