Kappa de Cohen

La Kappa de Cohen es una medida de concordancia entre dos muestras categóricas dependientes, y se utiliza siempre que quieras saber si las mediciones de dos evaluadores concuerdan.

En el caso de la kappa de Cohen, la variable que deben medir los dos índices es una variable nominal.

Por tanto, si tienes una variable nominal y quieres saber cuánto acuerdo hay entre dos calificadores, utilizarías el kappa de Cohen. Si tienes una variable ordinal y dos calificadores, utilizarías la tau de Kendall o la Kappa de Cohens ponderada, y si tienes una variable métrica, utilizarías la correlación de Pearson. Si tienes más de dos muestras dependientes nominales, se utiliza el Kappa de Fleiss.

Ejemplo de Kappa de Cohen

Supongamos que has desarrollado una herramienta de medición, por ejemplo un cuestionario, que los médicos pueden utilizar para determinar si una persona está deprimida o no. Ahora le das esta herramienta a un médico y le pides que evalúe con ella a 50 personas.

Por ejemplo, tu método muestra que la primera persona está deprimida, la segunda está deprimida y la tercera no está deprimida. La gran pregunta ahora es ¿Llegará un segundo médico a la misma conclusión?

Entonces, con un segundo médico, el resultado podría ser ahora el siguiente: Para la primera persona, ambos médicos llegan al mismo resultado, pero para la segunda persona, el resultado difiere. Así que te interesa saber cuál es la concordancia de los médicos, y aquí es donde entra en juego el Kappa de Cohen.

Fiabilidad entre evaluadores

Si las evaluaciones de los dos médicos coinciden muy bien, la fiabilidad entre evaluadores es alta. Y es esta fiabilidad entre evaluadores la que se mide con el Kappa de Cohen.

La Kappa de Cohen es, por tanto, una medida de la fiabilidad con la que dos evaluadores miden lo mismo.

Casos de uso de la Kappa de Cohen

Hasta ahora hemos considerado el caso en que dos personas miden lo mismo. Sin embargo, el Kappa de Cohen también puede utilizarse cuando el mismo evaluador realiza la medición en dos momentos diferentes.

En este caso, la puntuación kappa de Cohen indica la concordancia entre las dos mediciones de la misma persona.

Fiabilidad y validez del Kappa de Cohen

Es importante tener en cuenta que el coeficiente Kappa de Cohen sólo puede indicarte la fiabilidad con la que ambos evaluadores miden lo mismo. No te dice si lo que miden los dos evaluadores es lo correcto.

En el primer caso hablamos de fiabilidad (si ambos miden lo mismo) y en el segundo de validez (si ambos miden lo correcto). El Kappa de Cohen sólo puede utilizarse para medir la fiabilidad.

Calcular el Kappa de Cohen

Ahora surge la pregunta, ¿cómo se calcula el Kappa de Cohen? No es difícil. Creamos una tabla con las frecuencias de las respuestas correspondientes.

Para ello tomamos a nuestros dos calificadores, cada uno de los cuales ha calificado si una persona está deprimida o no. Ahora contamos con qué frecuencia ambos han valorado lo mismo y con qué frecuencia no.

Así que hacemos una tabla con el Calificador 1 con "no deprimido" y "deprimido" y el Calificador 2 con "no deprimido" y "deprimido". Ahora simplemente llevamos una hoja de recuento y contamos con qué frecuencia se da cada combinación.

Digamos que nuestro resultado final es el siguiente 17 personas calificaron a ambos calificadores como "no deprimido". Para 19 personas, ambos eligieron la calificación "deprimido".

Así pues, si ambos calificadores midieron lo mismo, esa persona está en la diagonal, si midieron algo diferente, esa persona está en el borde. Ahora queremos saber con qué frecuencia ambos calificadores están de acuerdo y con qué frecuencia no lo están.

El Calificador 1 y el Calificador 2 coinciden en que 17 pacientes no están deprimidos y 19 sí lo están. Así pues, ambos calificadores coinciden en 36 casos. En total, se evaluó a 50 personas.

Con estas cifras, ahora podemos calcular la probabilidad de que ambos calificadores estén midiendo lo mismo en una persona. Lo hacemos dividiendo 36 entre 50. Esto nos da el siguiente resultado En el 72% de los casos, ambos calificadores evalúan lo mismo, en el 28% de los casos lo califican de forma diferente.

Esto nos da la primera parte que necesitamos para calcular el Kappa de Cohen. El Kappa de Cohen viene dado por esta fórmula

Así que acabamos de calcular p_o, ¿cuál es p_e?

Si ambos médicos respondieran a la pregunta de si una persona está deprimida o no por puro azar, simplemente lanzando una moneda al aire, probablemente llegarían a la misma conclusión en algunos casos, por puro azar.

Y eso es exactamente lo que indica lap_e: La probabilidad hipotética de una coincidencia aleatoria. Pero, ¿cómo se calcula p_e?

Para calcular p_e, primero necesitamos las sumas de las filas y las columnas. Entonces podemos calcular p_e.

En el primer paso, calculamos la probabilidad de que ambos calificadores lleguen aleatoriamente a la calificación "no deprimido".

• El Calificador 1 calificó a 25 de 50 personas como "no deprimidas", es decir, el 50%.
• El evaluador 2 calificó a 23 de 50 personas como "no deprimidas", es decir, un 46%.

La probabilidad global de que ambos calificadores digan "no deprimido" por azar es 0.5 * 0.46 = 0.23

En el segundo paso, calculamos la probabilidad de que ambos calificadores digan "deprimido" por azar.

• El evaluador 1 dice "deprimido" en 25 de cada 50 personas, es decir, el 50%.
• El evaluador 2 dice "deprimido" en 27 de 50 personas, es decir, el 54%.

La probabilidad total de que ambos calificadores digan "deprimido" por azar es 0.5 * 0.54 = 0.27. Ahora podemos calcular p_e.

Si ahora se suman ambos valores, obtenemos la probabilidad de que los dos calificadores coincidan por casualidad. p_e es, por tanto, 0.23 + 0.27, que es igual a 0.50. Por tanto, si los médicos no tuvieran ninguna orientación y se limitaran a tirar los dados, la probabilidad de que coincidan es del 50%.

Ahora podemos calcular el coeficiente Kappa de Cohen. Simplemente sustituimos p_o y p_e y obtenemos un valor Kappa de 0.4 en nuestro ejemplo.

Por cierto, en p_o la o significa "observado". Y en p_e, la e significa "esperado". Por tanto, p_o es lo que realmente observamos y p_e es lo que esperaríamos si fuera puramente aleatorio.

Interpretación Kappa de Cohen

Ahora, por supuesto, nos gustaría interpretar el coeficiente Kappa de Cohens calculado. La tabla de Landis & Koch (1977) puede servirnos de guía.

Por tanto, el coeficiente Kappa de Cohen calculado de 0.44 indica una fiabilidad o concordancia moderada.

Error Estándar de Cohen's Kappa (SE)

El Error Estándar (SE) de una estadística, como el Kappa de Cohen, es una medida de la precisión del valor estimado. Indica el grado en que el valor calculado variaría si el estudio se repitiera varias veces con diferentes muestras de la misma población. Por lo tanto, es una medida de la variabilidad o incertidumbre alrededor de la estimación de la estadística Kappa.

Cálculo del Error Estándar de Cohen's Kappa:

El cálculo del SE para el Kappa de Cohen involucra fórmulas algo complejas que tienen en cuenta las proporciones totales de cada categoría evaluada y la distribución de las evaluaciones entre los evaluadores. La fórmula general para el SE de Cohen's Kappa es:

Donde n es el número total de elementos evaluados.

Kappa de Cohen ponderado

El Kappa de Cohen tiene en cuenta el acuerdo entre dos calificadores, pero sólo es relevante si ambos calificadores miden lo mismo o no. En el caso de una variable ordinal, es decir, una variable con una gradación, como las calificaciones escolares, es deseable, por supuesto, que también se tengan en cuenta las gradaciones. La diferencia entre "muy bueno" y "satisfactorio" es mayor que entre "muy bueno" y "bueno".

Para tener esto en cuenta, se puede calcular el kappa ponderado. En este caso, la desviación se incluye en el cálculo. Las diferencias pueden tenerse en cuenta de forma lineal o cuadrática.

Calcular el Kappa de Cohen con DATAtab

Ahora veremos cómo puedes calcular fácilmente el Kappa de Cohen para tus datos en línea utilizando DATAtab.

Sólo tienes que ir a la calculadora de Kappa de Cohen y copiar tus propios datos en la tabla. Ahora haz clic en la pestaña "Fiabilidad".

Ahora sólo tienes que hacer clic en las variables que quieras analizar y el Kappa de Cohen se mostrará automáticamente. Primero verás la tabla cruzada y luego podrás leer el coeficiente Kappa de Cohen calculado. Si no sabes cómo interpretar el resultado, sólo tienes que hacer clic en interpretaciones en palabras.

Se realizó un análisis de fiabilidad entre evaluadores entre las muestras dependientes Evaluador1 y Evaluador2. Para ello, se calculó el Kappa de Cohen, que es una medida del acuerdo entre dos muestras categóricas relacionadas. El Kappa de Cohen mostró que había una concordancia moderada entre las muestras Rater1 y Rater2 con κ= 0.23.