Непрерывные статистические распределения#

Обзор#

Все распределения будут иметь параметры местоположения (L) и масштаба (S) вместе с любыми необходимыми параметрами формы, названия параметров формы будут различаться. Стандартная форма для распределений будет дана, где \(L=0.0\) и \(S=1.0.\) Нестандартные формы могут быть получены для различных функций с использованием (заметим \(U\) является стандартной равномерной случайной величиной).

Имя функции

Стандартная функция

Преобразование

Интегральная функция распределения (CDF)

\(F\left(x\right)\)

\(F\left(x;L,S\right)=F\left(\frac{\left(x-L\right)}{S}\right)\)

Функция плотности вероятности (PDF)

\(f\left(x\right)=F^{\prime}\left(x\right)\)

\(f\left(x;L,S\right)=\frac{1}{S}f\left(\frac{\left(x-L\right)}{S}\right)\)

Функция процентной точки (PPF)

\(G\left(q\right)=F^{-1}\left(q\right)\)

\(G\left(q;L,S\right)=L+SG\left(q\right)\)

Функция разреженности вероятности (PSF)

\(g\left(q\right)=G^{\prime}\left(q\right)\)

\(g\left(q;L,S\right)=Sg\left(q\right)\)

Функция риска (HF)

\(h_{a}\left(x\right)=\frac{f\left(x\right)}{1-F\left(x\right)}\)

\(h_{a}\left(x;L,S\right)=\frac{1}{S}h_{a}\left(\frac{\left(x-L\right)}{S}\right)\)

Кумулятивная функция риска (CHF)

\(H_{a}\left(x\right)=\) \(\log\frac{1}{1-F\left(x\right)}\)

\(H_{a}\left(x;L,S\right)=H_{a}\left(\frac{\left(x-L\right)}{S}\right)\)

Функция выживания (SF)

\(S\left(x\right)=1-F\left(x\right)\)

\(S\left(x;L,S\right)=S\left(\frac{\left(x-L\right)}{S}\right)\)

Обратная функция выживания (ISF)

\(Z\left(\alpha\right)=S^{-1}\left(\alpha\right)=G\left(1-\alpha\right)\)

\(Z\left(\alpha;L,S\right)=L+SZ\left(\alpha\right)\)

Производящая функция моментов (MGF)

\(M_{Y}\left(t\right)=E\left[e^{Yt}\right]\)

\(M_{X}\left(t\right)=e^{Lt}M_{Y}\left(St\right)\)

Случайные величины

\(Y=G\left(U\right)\)

\(X=L+SY\)

(Дифференциальная) энтропия

\(h\left[Y\right]=-\int f\left(y\right)\log f\left(y\right)dy\)

\(h\left[X\right]=h\left[Y\right]+\log S\)

(Нецентральные) моменты

\(\mu_{n}^{\prime}=E\left[Y^{n}\right]\)

\(E\left[X^{n}\right]=L^{n}\sum_{k=0}^{N}\left(\begin{array}{c} n\\ k\end{array}\right)\left(\frac{S}{L}\right)^{k}\mu_{k}^{\prime}\)

Центральные моменты

\(\mu_{n}=E\left[\left(Y-\mu\right)^{n}\right]\)

\(E\left[\left(X-\mu_{X}\right)^{n}\right]=S^{n}\mu_{n}\)

среднее (мода, медиана), дисперсия

\(\mu,\,\mu_{2}\)

\(L+S\mu,\, S^{2}\mu_{2}\)

асимметрия

\(\gamma_{1}=\frac{\mu_{3}}{\left(\mu_{2}\right)^{3/2}}\)

\(\gamma_{1}\)

куртозис

\(\gamma_{2}=\frac{\mu_{4}}{\left(\mu_{2}\right)^{2}}-3\)

\(\gamma_{2}\)

Моменты#

Некцентральные моменты определяются с использованием PDF

\[\mu_{n}^{\prime}=\int_{-\infty}^{\infty}x^{n}f\left(x\right)dx.\]

Обратите внимание, что их всегда можно вычислить с помощью PPF. Подставьте \(x=G\left(q\right)\) в приведённом выше уравнении и получить

\[\mu_{n}^{\prime}=\int_{0}^{1}G^{n}\left(q\right)dq\]

что может быть проще для численных вычислений. Обратите внимание, что \(q=F\left(x\right)\) так что \(dq=f\left(x\right)dx.\) Центральные моменты вычисляются аналогично \(\mu=\mu_{1}^{\prime}\)

\begin{eqnarray*} \mu_{n} & = & \int_{-\infty}^{\infty}\left(x-\mu\right)^{n}f\left(x\right)dx\\ & = & \int_{0}^{1}\left(G\left(q\right)-\mu\right)^{n}dq\\ & = & \sum_{k=0}^{n}\left(\begin{array}{c} n\\ k\end{array}\right)\left(-\mu\right)^{k}\mu_{n-k}^{\prime}\end{eqnarray*}

В частности

\begin{eqnarray*} \mu_{3} & = & \mu_{3}^{\prime}-3\mu\mu_{2}^{\prime}+2\mu^{3}\\ & = & \mu_{3}^{\prime}-3\mu\mu_{2}-\mu^{3}\\ \mu_{4} & = & \mu_{4}^{\prime}-4\mu\mu_{3}^{\prime}+6\mu^{2}\mu_{2}^{\prime}-3\mu^{4}\\ & = & \mu_{4}^{\prime}-4\mu\mu_{3}-6\mu^{2}\mu_{2}-\mu^{4}\end{eqnarray*}

Асимметрия определяется как

\[\gamma_{1}=\sqrt{\beta_{1}}=\frac{\mu_{3}}{\mu_{2}^{3/2}}\]

в то время как эксцесс (Фишера) равен

\[\gamma_{2}=\frac{\mu_{4}}{\mu_{2}^{2}}-3,\]

так что нормальное распределение имеет эксцесс, равный нулю.

Медиана и мода#

Медиана, \(m_{n}\) определяется как точка, в которой половина плотности находится с одной стороны, а половина - с другой. Другими словами, \(F\left(m_{n}\right)=\frac{1}{2}\) так что

\[m_{n}=G\left(\frac{1}{2}\right).\]

Кроме того, мода, \(m_{d}\) , определяется как значение, при котором функция плотности вероятности достигает своего пика

\[m_{d}=\arg\max_{x}f\left(x\right).\]

Подгонка данных#

Для подгонки данных к распределению обычно максимизируют функцию правдоподобия. В качестве альтернативы, некоторые распределения имеют хорошо известные несмещенные оценки с минимальной дисперсией. Они будут выбраны по умолчанию, но функция правдоподобия всегда будет доступна для минимизации.

Если \(f\left(x;\boldsymbol{\theta}\right)\) является функцией плотности вероятности случайной величины, где \(\boldsymbol{\theta}\) является вектором параметров ( например, \(L\) и \(S\) ), затем для коллекции \(N\) независимые выборки из этого распределения, совместное распределение случайного вектора \(\mathbf{x}\) является

\[f\left(\mathbf{x};\boldsymbol{\theta}\right)=\prod_{i=1}^{N}f\left(x_{i};\boldsymbol{\theta}\right).\]

Оценка максимального правдоподобия параметров \(\boldsymbol{\theta}\) являются параметрами, которые максимизируют эту функцию при \(\mathbf{x}\) фиксирован и задан данными:

\begin{eqnarray*} \boldsymbol{\theta}_{es} & = & \arg\max_{\boldsymbol{\theta}}f\left(\mathbf{x};\boldsymbol{\theta}\right)\\ & = & \arg\min_{\boldsymbol{\theta}}l_{\mathbf{x}}\left(\boldsymbol{\theta}\right).\end{eqnarray*}

Где

\begin{eqnarray*} l_{\mathbf{x}}\left(\boldsymbol{\theta}\right) & = & -\sum_{i=1}^{N}\log f\left(x_{i};\boldsymbol{\theta}\right)\\ & = & -N\overline{\log f\left(x_{i};\boldsymbol{\theta}\right)}\end{eqnarray*}

Обратите внимание, что если \(\boldsymbol{\theta}\) включает только параметры формы, параметры местоположения и масштаба могут быть подобраны путём замены \(x_{i}\) с \(\left(x_{i}-L\right)/S\) в функции логарифма правдоподобия, добавляя \(N\log S\) и минимизируя, таким образом

\begin{eqnarray*} l_{\mathbf{x}}\left(L,S;\boldsymbol{\theta}\right) & = & N\log S-\sum_{i=1}^{N}\log f\left(\frac{x_{i}-L}{S};\boldsymbol{\theta}\right)\\ & = & N\log S+l_{\frac{\mathbf{x}-S}{L}}\left(\boldsymbol{\theta}\right)\end{eqnarray*}

При необходимости, выборочные оценки для \(L\) и \(S\) (не обязательно оценки максимального правдоподобия) могут быть получены из выборочных оценок среднего и дисперсии с использованием

\begin{eqnarray*} \hat{S} & = & \sqrt{\frac{\hat{\mu}_{2}}{\mu_{2}}}\\ \hat{L} & = & \hat{\mu}-\hat{S}\mu\end{eqnarray*}

где \(\mu\) и \(\mu_{2}\) предполагаются известными как среднее и дисперсия непреобразованный распределение (когда \(L=0\) и \(S=1\) ) и

\begin{eqnarray*} \hat{\mu} & = & \frac{1}{N}\sum_{i=1}^{N}x_{i}=\bar{\mathbf{x}}\\ \hat{\mu}_{2} & = & \frac{1}{N-1}\sum_{i=1}^{N}\left(x_{i}-\hat{\mu}\right)^{2}=\frac{N}{N-1}\overline{\left(\mathbf{x}-\bar{\mathbf{x}}\right)^{2}}\end{eqnarray*}

Стандартное обозначение для среднего#

Мы будем использовать

\[\overline{y\left(\mathbf{x}\right)}=\frac{1}{N}\sum_{i=1}^{N}y\left(x_{i}\right)\]

где \(N\) должно быть ясно из контекста как количество образцов \(x_{i}\)

Ссылки#

В учебниках несколько специальных функций появляются повторно и перечислены здесь.

Symbol

Описание

Определение

\(\gamma\left(s, x\right)\)

нижняя неполная гамма-функция

\(\int_0^x t^{s-1} e^{-t} dt\)

\(\Gamma\left(s, x\right)\)

верхняя неполная гамма-функция

\(\int_x^\infty t^{s-1} e^{-t} dt\)

\(B\left(x;a,b\right)\)

неполная бета-функция

\(\int_{0}^{x} t^{a-1}\left(1-t\right)^{b-1} dt\)

\(I\left(x;a,b\right)\)

регуляризованная неполная бета-функция

\(\frac{\Gamma\left(a+b\right)}{\Gamma\left(a\right)\Gamma\left(b\right)} \int_{0}^{x} t^{a-1}\left(1-t\right)^{b-1} dt\)

\(\phi\left(x\right)\)

PDF для нормального распределения

\(\frac{1}{\sqrt{2\pi}}e^{-x^{2}/2}\)

\(\Phi\left(x\right)\)

CDF для нормального распределения

\(\int_{-\infty}^{x}\phi\left(t\right) dt = \frac{1}{2}+\frac{1}{2}\mathrm{erf}\left(\frac{x}{\sqrt{2}}\right)\)

\(\psi\left(z\right)\)

дигамма-функция

\(\frac{d}{dz} \log\left(\Gamma\left(z\right)\right)\)

\(\psi_{n}\left(z\right)\)

полигамма-функция

\(\frac{d^{n+1}}{dz^{n+1}}\log\left(\Gamma\left(z\right)\right)\)

\(I_{\nu}\left(y\right)\)

модифицированная функция Бесселя первого рода

\(\mathrm{Ei}(\mathrm{z})\)

экспоненциальный интеграл

\(-\int_{-x}^\infty \frac{e^{-t}}{t} dt\)

\(\zeta\left(n\right)\)

Дзета-функция Римана

\(\sum_{k=1}^{\infty} \frac{1}{k^{n}}\)

\(\zeta\left(n,z\right)\)

Дзета-функция Гурвица

\(\sum_{k=0}^{\infty} \frac{1}{\left(k+z\right)^{n}}\)

\(\,{}_{p}F_{q}(a_{1},\ldots,a_{p};b_{1},\ldots,b_{q};z)\)

Гипергеометрическая функция

\(\sum_{n=0}^{\infty} {\frac{(a_{1})_{n}\cdots(a_{p})_{n}}{(b_{1})_{n}\cdots(b_{q})_{n}}} \,{\frac{z^{n}}{n!}}\)

Непрерывные распределения в scipy.stats#