fbeta_score

sklearn.metrics.fbeta_score(y_true, y_pred, *, beta, метки=None, pos_label=1, среднее='binary', sample_weight=None, zero_division='warn')

Вычислить F-бета оценку.

F-бета оценка - это взвешенное гармоническое среднее точности и полноты, достигающее оптимального значения 1 и худшего значения 0.

The beta параметр представляет соотношение важности полноты к важности точности. beta > 1 придает больший вес полноте, в то время как beta < 1 предпочитает точность. Например, beta = 2 делает recall в два раза важнее precision, в то время как beta = 0.5 делает противоположное. Асимптотически, beta -> +inf учитывает только полноту, и beta -> 0 только точность.

Формула для F-бета оценки:

\[F_\beta = \frac{(1 + \beta^2) \text{tp}} {(1 + \beta^2) \text{tp} + \text{fp} + \beta^2 \text{fn}}\]

Где \(\text{tp}\) это количество истинно положительных случаев, \(\text{fp}\) это количество ложных срабатываний, и \(\text{fn}\) — это количество ложноотрицательных результатов.

Поддержка за пределами бинарный целей достигается путем обработки многоклассовый и многометочный данные как набор бинарных задач, по одной для каждой метки. Для бинарный случае, установка average='binary' вернёт F-бета оценку для pos_label. Если average не является 'binary', pos_label игнорируется, и F-бета оценка для обоих классов вычисляется, затем усредняется или обе возвращаются (когда average=None). Аналогично, для многоклассовый и многометочный целевых значений, F-бета оценка для всех labels либо возвращаются, либо усредняются в зависимости от average параметр. Используйте labels указать набор меток для вычисления F-бета оценки.

Подробнее в Руководство пользователя.

Параметры:

y_true1d array-like, или массив индикаторов меток / разреженная матрица

Истинные (правильные) целевые значения. Разреженная матрица поддерживается только когда цели имеют многометочный тип.

y_pred1d array-like, или массив индикаторов меток / разреженная матрица

Оцененные цели, возвращаемые классификатором. Разреженная матрица поддерживается только когда цели имеют многометочный тип.

betafloat

Определяет вес полноты в комбинированной оценке.

меткиarray-like, default=None

Набор меток для включения, когда average != 'binary', и их порядок, если average is None. Метки, присутствующие в данных, могут быть исключены, например, в многоклассовой классификации для исключения "отрицательного класса". Метки, отсутствующие в данных, могут быть включены и им будет "назначено" 0 образцов. Для многометочных целей метки являются индексами столбцов. По умолчанию все метки в y_true и y_pred используются в отсортированном порядке.

Изменено в версии 0.17: Параметр labels улучшена для многоклассовой задачи.

pos_labelint, float, bool или str, по умолчанию=1

Класс для отчета, если average='binary' и данные являются бинарными, в противном случае этот параметр игнорируется. Для многоклассовых или многометочных целей, установите labels=[pos_label] и average != 'binary' для отчета метрик только для одной метки.

среднее{‘micro’, ‘macro’, ‘samples’, ‘weighted’, ‘binary’} или None, по умолчанию=’binary’

Этот параметр обязателен для многоклассовых/многометочных целей. Если None, метрики для каждого класса возвращаются. В противном случае это определяет тип усреднения, выполняемого над данными:

'binary':

Отчитываться только о результатах для класса, указанного pos_label. Это применимо только если цели (y_{true,pred}) являются бинарными.

'micro':

Рассчитать метрики глобально, подсчитывая общее количество истинно положительных, ложно отрицательных и ложноположительных.

'macro':

Вычислить метрики для каждой метки и найти их невзвешенное среднее. Это не учитывает дисбаланс меток.

'weighted':

Вычисляет метрики для каждой метки и находит их среднее, взвешенное по поддержке (количеству истинных экземпляров для каждой метки). Это изменяет 'macro' для учёта дисбаланса меток; может привести к F-оценке, не находящейся между точностью и полнотой.

'samples':

Вычислить метрики для каждого экземпляра и найти их среднее (имеет смысл только для многоклассовой классификации, где это отличается от accuracy_score).

sample_weightarray-like формы (n_samples,), по умолчанию=None

Веса выборок.

zero_division{"warn", 0.0, 1.0, np.nan}, по умолчанию="warn"

Устанавливает значение, возвращаемое при делении на ноль, т.е. когда все прогнозы и метки отрицательные.

Примечания:

• Если установлено в 'warn', это действует как 0, но также выдается предупреждение.

• Если установлено в np.nan, такие значения будут исключены из среднего.

Добавлено в версии 1.3: np.nan опция была добавлена.

Возвращает:

fbeta_scorefloat (если average не None) или array of float, shape = [n_unique_labels]

F-бета оценка положительного класса в бинарной классификации или взвешенное среднее F-бета оценки каждого класса для многоклассовой задачи.

Смотрите также

precision_recall_fscore_support

Вычислить точность, полноту, F-меру и поддержку.

multilabel_confusion_matrix

Вычислить матрицу ошибок для каждого класса или образца.

Примечания

Когда true positive + false positive + false negative == 0, f-мера возвращает 0.0 и вызывает UndefinedMetricWarning. Это поведение можно изменить, установив zero_division.

F-бета оценка не реализована как именованный скорер, который можно передать в scoring параметр инструментов перекрестной проверки напрямую: он требует обертывания с помощью make_scorer чтобы указать значение beta. Подробности см. в примерах.

Ссылки

[1]

R. Baeza-Yates и B. Ribeiro-Neto (2011). Modern Information Retrieval. Addison Wesley, pp. 327-328.

[2]

Запись в Википедии для F1-оценки.

Примеры

>>> import numpy as np
>>> from sklearn.metrics import fbeta_score
>>> y_true = [0, 1, 2, 0, 1, 2]
>>> y_pred = [0, 2, 1, 0, 0, 1]
>>> fbeta_score(y_true, y_pred, average='macro', beta=0.5)
0.238
>>> fbeta_score(y_true, y_pred, average='micro', beta=0.5)
0.33
>>> fbeta_score(y_true, y_pred, average='weighted', beta=0.5)
0.238
>>> fbeta_score(y_true, y_pred, average=None, beta=0.5)
array([0.71, 0.        , 0.        ])
>>> y_pred_empty = [0, 0, 0, 0, 0, 0]
>>> fbeta_score(
...     y_true,
...     y_pred_empty,
...     average="macro",
...     zero_division=np.nan,
...     beta=0.5,
... )
0.128

Для использования fbeta_scorer в качестве оценщика, сначала необходимо создать вызываемый объект оценщика с помощью make_scorer, передавая значение для beta параметр.

>>> from sklearn.metrics import fbeta_score, make_scorer
>>> ftwo_scorer = make_scorer(fbeta_score, beta=2)
>>> from sklearn.model_selection import GridSearchCV
>>> from sklearn.svm import LinearSVC
>>> grid = GridSearchCV(
...     LinearSVC(dual="auto"),
...     param_grid={'C': [1, 10]},
...     scoring=ftwo_scorer,
...     cv=5
... )