энтропия#
- Равномерное.энтропия(*, метод=None)[источник]#
Дифференциальная энтропия
В терминах функции плотности вероятности \(f(x)\) и поддержка \(\chi\), дифференциальная энтропия (или просто «энтропия») непрерывной случайной величины \(X\) равен:
\[h(X) = - \int_{\chi} f(x) \log f(x) dx\]Определение для дискретной случайной величины аналогично, с заменой ПРВ на ПМФ и суммированием по носителю вместо интеграла.
- Параметры:
- метод{None, ‘formula’, ‘logexp’, ‘quadrature’}
Стратегия, используемая для оценки энтропии. По умолчанию (
None), инфраструктура выбирает между следующими вариантами, перечисленными в порядке приоритета.'formula': использовать формулу для самой энтропии'logexp': вычислить лог-энтропию и возвести в степень'quadrature': численно интегрировать (или, в дискретном случае, суммировать) подынтегральное выражение энтропии (слагаемое)
Не все метод опции доступны для всех распределений. Если выбранная метод недоступен,
NotImplementedErrorбудет вызвано исключение.
- Возвращает:
- выходмассив
Энтропия случайной величины.
Смотрите также
Примечания
Эта функция вычисляет энтропию с использованием натурального логарифма; т.е. логарифма с основанием \(e\). Следовательно, значение выражается в (безразмерных) "единицах" нат. Чтобы преобразовать энтропию в другие единицы (т.е. соответствующие другому основанию), разделите результат на натуральный логарифм желаемого основания.
Ссылки
[1]Дифференциальная энтропия, Википедия, https://en.wikipedia.org/wiki/Differential_entropy
Примеры
любым из целых чисел в полуоткрытом диапазоне
>>> from scipy import stats >>> X = stats.Uniform(a=-1., b=1.)
Вычислить энтропию:
>>> X.entropy() 0.6931471805599454