cohen_kappa_score

sklearn.metrics.cohen_kappa_score(y1, y2, *, метки=None, веса=None, sample_weight=None)

Вычислить каппу Коэна: статистику, измеряющую согласие между аннотаторами.

Эта функция вычисляет каппу Коэна [1], оценка, которая выражает уровень согласия между двумя аннотаторами в задаче классификации. Она определяется как

\[\kappa = (p_o - p_e) / (1 - p_e)\]

где \(p_o\) — это эмпирическая вероятность согласия по метке, назначенной любому образцу (наблюдаемое отношение согласия), и \(p_e\) является ожидаемым согласием, когда оба аннотатора случайно присваивают метки. \(p_e\) оценивается с использованием эмпирического априорного распределения по аннотаторам над метками классов [2].

Подробнее в Руководство пользователя.

Параметры:

y1array-like формы (n_samples,)

Метки, присвоенные первым аннотатором.

y2array-like формы (n_samples,)

Метки, назначенные вторым аннотатором. Каппа-статистика симметрична, поэтому замена y1 и y2 не изменяет значение.

меткиarray-like формы (n_classes,), по умолчанию=None

Список меток для индексации матрицы. Это может использоваться для выбора подмножества меток. Если None, все метки, которые появляются хотя бы один раз в y1 или y2 используются. Обратите внимание, что хотя бы одна метка в labels должен присутствовать в y1, даже если эта функция в остальном не зависит от порядка y1 и y2.

веса{‘linear’, ‘quadratic’}, по умолчанию=None

Тип взвешивания для расчета оценки. None означает не взвешенный; "linear" означает линейное взвешивание; "quadratic" означает квадратичное взвешивание.

sample_weightarray-like формы (n_samples,), по умолчанию=None

Веса выборок.

Возвращает:

kappafloat

Статистика каппа, которая представляет собой число от -1 до 1. Максимальное значение означает полное согласие; ноль или меньше означает случайное согласие.

Ссылки

[1]

Дж. Коэн (1960). «Коэффициент согласия для номинальных шкал». Educational and Psychological Measurement 20(1):37-46.

[2]

R. Artstein и M. Poesio (2008). "Соглашение между кодировщиками для вычислительной лингвистики". Computational Linguistics 34(4):555-596.

[3]

Запись в Википедии о каппе Коэна.

Примеры

>>> from sklearn.metrics import cohen_kappa_score
>>> y1 = ["negative", "positive", "negative", "neutral", "positive"]
>>> y2 = ["negative", "positive", "negative", "neutral", "negative"]
>>> cohen_kappa_score(y1, y2)
0.6875