Forum

Voraussetzungen für Cohens Kappa

16 Jul 2018, 11:36

Hallo liebe Community,

für meiner Bachelorarbeit musste ich Videos mit einem Codiersystem kodieren und diese sollen nun von einem anderen Rater gegenkodiert werden, damit ich Cohens Kappa berechnen kann. Meine Betreuerin hat mich jetzt damit bauftragt herauszufinden, wie viel Prozent meines Transkript gegenkodiert werden muss um das Kappa sinnvoll zu berechnen.

Leider finde ich dazu fast gar nichts an Literatur. Das einzige was ich entdecken konnte war eine zitierte mündliche Äußerung einer Forscherin in einem Seminar, dass es ausreichen würde wenn 25% des Materials gegentranskribiert wird.
Da ich sonst aber keine Anhaltspunkte für diese Aussage finde, sehe ich die Quelle etwas skeptisch. :|

Deswegen hoffe ich, dass einer von euch vielleicht weißt wie viel transkribiert werden muss oder vielleicht aufschlussreiche Literatur dazu hat. Ihr würdet mir sehr helfen! :roll:

Liebe Grüße und danke im Voraus :)
Steffi331

Version: MAXQDA 2018
System: Windows 10
Steffi331
 
Beiträge: 2
Registriert: 16 Jul 2018, 11:25

Re: Voraussetzungen für Cohens Kappa

16 Jul 2018, 14:32

Hallo Steffi331,

danke für die Frage und willkommen im MAXQDA-Forum! Bei "Udo Kuckarzt (2016): Qualitative Inhaltsanalyse. Methoden, Praxis, Computerunterstützung. 3. Auflage, Beltz Juventa, Weinheim." gibt es ein Unterkapitel dazu, S. 206-218. Ich weiß allerdings nicht ob da auf die Frage eingegangen wird, wieviel gegencodiert werden muss, da hab ich beim drüberfliegen nichts zu gefunden. Warum es reichen sollte, (pauschal, bei jedem diesbezüglichen Vorgehen) genau 25% gegenzucodieren, und welche 25% dann genau gemeint sind, erschließt sich mir ehrlich gesagt nicht, und scheint mir arbiträr.

Bei der Grounded Theory gibt es ja z.B. den Gedanken, dass bei der Generierung von Theorien die "theoretische Sättigung" im Bezug auf eine Kategorie dann abgeschlossen ist, wenn die Auseinandersetzung mit dem Material keine neuen (relevanten) Eigenschaften für diese Kategorie hervorbringt. In ähnlicher Weise schiene es mir sinnvoll, das Messen der Intercoder-Übereinstimmung eben höchstens nur dann vorzeitig abzubrechen, wenn das noch zu codierende Material dem bereits codierten Material so ähnlich ist, dass die Übereinstimmung mit an Sicherheit grenzender Wahrscheinlichkeit antizipiert werden kann. Wenn das Material sich ständig wiederholt, ist das natürlich leichter, als wenn es da viele Veränderungen gibt. Das ist also etwas das (wie so häufig in der qualitativen Forschung) stark vom jeweiligen Kontext und der Struktur des vorliegenden Materials abhängt. Soviel nur als Anmerkung, um zu erklären, warum ich statischen Werten wie "25%" erstmal skeptisch gegenüberstehe.
MAXQDA Supportteam
Andreas V.
 
Beiträge: 437
Registriert: 13 Apr 2017, 17:22

Re: Voraussetzungen für Cohens Kappa

16 Jul 2018, 17:21

[quote="Andreas II."]

Ich danke dir Andreas II. für deine asuführliche Antwort. Leider habe ich aktuell keinen Zugriff auf das von dir empfohlene Buch. :(

Aber deine Überlegungen zu der 25 % Rate kann ich auf jeden Fall teilen. Leider sind meine Daten nicht so ähnlich, dass ich somit begründen könnte, dass nicht alles gegentranskribiert werden muss.

Meine Betreuerin ist aber irgendwie der festen Meinung es würden sogar nur 20% ausreichen. Jetzt stehe ich leider etwas ratlos da, weil ich keinen Beweis für Ihre Annahme finde und das ganze auch sehr skeptisch sehe. Hast du oder sonstige Mitleser vielleicht noch eine andere Idee?

Ganz Liebe Grüße
Steffi331
Steffi331
 
Beiträge: 2
Registriert: 16 Jul 2018, 11:25

Re: Voraussetzungen für Cohens Kappa

17 Jul 2018, 19:16

Hallo nochmal,

vielleicht können Sie ja Ihrer Betreuerin deutlich machen, dass Ihnen die Gründe für diese 20%-Grenze nicht einleuchten, und Sie es daher schwierig finden, diese z.B. in Ihrem Methodenteil dann auch überzeugend zu verteidigen? Ich hatte einige sehr gute Dozenten/Betreuer, die sich über eine anregende methodische Diskussion gefreut haben. Vielleicht ist das mit den 20% ja auch eher als Erfahrungswert gemeint, und die Entscheidungen, was genau gegencodiert werden muss, werden in der Praxis gemeinhin ad-hoc (im Bezug auf das als nächstes auszuwertende Material und z.B. bei den GT'lern im Zuge eines gemeinsamen "theoretical samplings") getroffen? Vielleicht könnten Sie dabei die Frage ja auch konkret an Ihrem Material mal erötern.
Viele Grüße

Andreas
MAXQDA Supportteam
Andreas V.
 
Beiträge: 437
Registriert: 13 Apr 2017, 17:22

Zurück zu MAXQDA in der Forschung

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 7 Gäste

Diese Website nutzt Cookies, um Ihnen die bestmögliche Funktionalität bieten zu können. Mit Klick auf OK oder durch die weitere Nutzung der Website stimmen Sie der Nutzung der Cookies zu. Genauere Informationen finden Sie in unserer Datenschutzerklärung. OK