Estadísticas - coeficiente kappa de Cohen

El coeficiente kappa de Cohen es una estadística que mide el acuerdo entre evaluadores para los ítems cualitativos (categóricos). En general, se cree que es una medida más sólida que el simple cálculo del porcentaje de acuerdo, ya que k toma en cuenta el acuerdo que ocurre por casualidad. El kappa de Cohen mide el acuerdo entre dos evaluadores que clasifican N artículos en C categorías mutuamente excluyentes.

El coeficiente kappa de Cohen está definido y dado por la siguiente función:

Fórmula

$ {k = \ frac {p_0 - p_e} {1-p_e} = 1 - \ frac {1-p_o} {1-p_e}} $

Donde -

  • $ {p_0} $ = acuerdo relativo observado entre los evaluadores.

  • $ {p_e} $ = la probabilidad hipotética de acuerdo de probabilidad.

$ {p_0} $ y $ {p_e} $ se calculan utilizando los datos observados para calcular las probabilidades de cada observador que dice al azar cada categoría. Si los evaluadores están completamente de acuerdo, entonces $ {k} $ = 1. Si no hay un acuerdo entre los evaluadores más allá de lo que se esperaría por casualidad (como lo da $ {p_e} $), $ {k} $ ≤ 0 .

Ejemplo

Planteamiento del problema:

Suponga que está analizando datos relacionados con un grupo de 50 personas que solicitan una subvención. Cada propuesta de subvención fue leída por dos lectores y cada lector dijo "Sí" o "No" a la propuesta. Suponga que los datos del recuento de desacuerdos son los siguientes, donde A y B son lectores, los datos en la diagonal diagonal izquierda muestran el recuento de acuerdos y los datos en la diagonal diagonal, desacuerdos:

si
si No
UN si 20 5 5
No 10 15

Calcule el coeficiente kappa de Cohen.

Solución:

Tenga en cuenta que hubo 20 propuestas otorgadas por el lector A y el lector B y 15 propuestas rechazadas por ambos lectores. Por lo tanto, el acuerdo proporcionado observado es

$ {p_0 = \ frac {20 + 15} {50} = 0.70} $

Para calcular $ {p_e} $ (la probabilidad de un acuerdo aleatorio) notamos que:

  • El lector A dijo "Sí" a 25 solicitantes y "No" a 25 solicitantes. Así, el lector A dijo "Sí" el 50% del tiempo.

  • El lector B dijo "Sí" a 30 solicitantes y "No" a 20 solicitantes. Así, el lector B dijo "Sí" el 60% del tiempo.

Usando la fórmula P (A y B) = P (A) x P (B) donde P es la probabilidad de que ocurra un evento.

La probabilidad de que ambos digan "Sí" al azar es 0.50 x 0.60 = 0.30 y la probabilidad de que ambos digan "No" es 0.50 x 0.40 = 0.20. Por lo tanto, la probabilidad general de acuerdo aleatorio es $ {p_e} $ = 0.3 + 0.2 = 0.5.

Entonces, ahora aplicando nuestra fórmula para Cohen's Kappa obtenemos:

$ {k = \ frac {p_0 - p_e} {1-p_e} = \ frac {0.70 - 0.50} {1-0.50} = 0.40} $