MAXQDA
Forum

Beobachterübereinstimmung - mehr als 2 Codierer

15 Mär 2017, 13:26

Hallo zusammen,

für meine M.A. habe ich eine Codierungssystem erfunden, dessen ICC ich nun gern berechnen würde, allerdings für [b:v1bq7qus][i:v1bq7qus]mehr als nur 2 Codierer[/i:v1bq7qus][/b:v1bq7qus].
Letztendlich liegen mir 3 Dokumente vor, die 3 Personen unabhängig von einander codiert haben. Und ich muss nun die [b:v1bq7qus][i:v1bq7qus]Beobachterübereinstimmung[/i:v1bq7qus][/b:v1bq7qus] herausbekommen. Wie kann ich nun vorgehen?

[b:v1bq7qus]1)[/b:v1bq7qus] Meine bisherige Recherche bringt mich leider nicht weiter, ich fürchte, ich kann was ich brauche, mit MAXQDR12-Standard so nicht berechnen lassen oder?
Der letzte Beitrag dazu hier im Forum ist von 2014... deswegen nun noch aktuell nachgefragt.
Das Programm ermöglicht, es immer nur für 2 Codierer, soweit ich weiß...
Mit der neueren Funktion der Ähnlichkeitsanalyse geht das auch nicht, oder?
Glaube ich brauch Kippendorfs Alpha, oder?

[b:v1bq7qus]2)[/b:v1bq7qus] Bleibt mir demnach also nur der Schritt, alles irgendwie in SPSS o. Exel zu übertragen und dann damit zu rechnen?
Ggf. habe ich ja auch eine Funktion übersehen... ich hoffe noch ein wenig drauf, denn es gibt ja immer Aktualisierungen der Programme... :wink:

[b:v1bq7qus]3)[/b:v1bq7qus] Könnt ihr eine Online-Beschreibung/Tutorial empfehlen, welches das Berechnen meines Problems (ICC für 3 Codierer an Hand von 3 Dokumenten) in MAXQDR & SPSS/Exel erklärt, sollte schon eines existieren, das ich nur noch nicht gefunden habe... ich meine was von einer Alpha-Berechnung gelesen zu haben... da Kappa ja nur für 2 Codierer zutrifft...

Verzeiht bitte, sollte ich eine Post oder eine Anleitung übersehen haben & meine Frage wurde schon längst in einer anderen Support-Anfrage bearbeitet...

Vielen Dank schon mal im voraus & viele Grüße, Lisa

Version: MAXQDA 12
System: Windows 10
Lisa Fuhrmann
 
Beiträge: 2
Registriert: 14 Mär 2017, 23:01

Re: Beobachterübereinstimmung - mehr als 2 Codierer

19 Mär 2017, 22:36

Hallo Lisa,

es gibt in MAXQDA 12 keine eingebaute Funktion, um die Intercoder-Übereinstimmung bei 3 Codierenden zu überprüfen. Es gibt aber Online-Tools, mit denen man die gewünschten Werte leicht berechnen lassen kann.

Hierfür benötigen zunächst eine Matrix in Excel (oder einem ähnlichen Programm) der folgenden Art, in der die codierte Segmente die Zeilen und die 3 Codierenden die Spalten bilden:

____________Codierer 1____Codierer 2____Codierer 3
Segment 1
Segment 2
Segment 3
...

In die Zellen trägt man dann ein, welcher Code (durchnummeriert von 1 bis x) von den Codierenden vergeben wurde. Wenn ein Codierer keinen Code zu einem Segment vergeben hat, trägt man eine 0 ein und behandelt dies dadurch wie einen Code "Nichts zugeordnet". Die Verteilung auf die Zahlen ist beliebig, solange die Codes Nominalniveau haben.

Die Zellen der Tabelle kann man bei nur einem Dokument sicherlich am schnellsten per Hand füllen: Man öffnet alle drei Dokumente in MAXQDA in einzelnen Tabs und schaut jeweils, was vergeben wurde (es gibt da natürlich auch andere automatisiertere Formen, aber die kann ich hier nicht so einfach beschreiben). Man sieht dabei schnell, dass die Berechnung von zufallskorrigierten Intercoder-Koeffizienten wie Kappa oder Krippendorffs Alpha in der Regel davon ausgeht, dass vorab die Segmente festgelegt wurden und nur ein Code pro Segment vergeben wurde.

Hat man alle Zellen gefüllt, speichert man die Datei im CSV Format ab und lädt sie hier hoch:
http://dfreelon.org/utils/recalfront/recal3
Auf der Seite ist die Funktionsweise detailliert beschrieben. Es wird die durchschnittliche paarweise Übereinstimmung in Prozent ausgegeben sowie 3 zufallskorrigierte Koeffizienten.

Wichtig finde ich immer die Frage: "Warum, zu welchem Zweck, soll die Intercoder-Übereinstimmung berechnet werden?" Sinnvoll ist es ja meistens, auf Basis der Ergebnisse die Codieranweisungen zu verbessern, nachdem man einzelne Codes oder Textstellen identifiziert hat, die problematisch sind.

Ich hoffe, das hilft erstmal weiter, auch wenn das Thema Intercoder-Übereinstimmung sehr komplex ist ...

Viele Grüße
Stefan Rädiker
Dr. Stefan Rädiker
Beratung, Training, Analyse für Forschung & Evaluation
MAXQDA Professional Trainer
https://www.methoden-expertise.de
Stefan Rädiker
 
Beiträge: 368
Registriert: 12 Feb 2007, 11:18

Re: Beobachterübereinstimmung - mehr als 2 Codierer

21 Mär 2017, 01:24

Hallo Stefan,

1000 Dank.
Das werde ich dann doch mal glatt mal ausprobieren.
...denn in meiner weiteren Recherche über die letzten Tage habe auch feststellen müssen, wie komplex das Thema Intercoder-Übereinstimmung ist. Den 100% Überblick habe ich wohl auch noch immer nicht ganz.

Der Zweck meiner Berechnung besteht in einem darin, den Wert in meiner M.A. berichten zu können (ist so erwünscht)
...aber des Weiteren soll es mir auch in sofern weiterhelfen, als dass ich im Ausblick Verbesserungsvorschläge des neuen Codierungssystem & dessen Codieranweisungen diskutieren kann (wobei ich diesen Punkt auch schon gut durch 2 Codierer einsehen & erahnen kann).

Viele Grüße, Lisa
Lisa Fuhrmann
 
Beiträge: 2
Registriert: 14 Mär 2017, 23:01

Zurück zu MAXQDA in der Forschung

Diese Website nutzt Cookies, um Ihnen die bestmögliche Funktionalität bieten zu können. Mit Klick auf OK oder durch die weitere Nutzung der Website stimmen Sie der Nutzung der Cookies zu. Genauere Informationen finden Sie in unserer Datenschutzerklärung. OK