Нравится

Распределение вероятностей

Определение 1. Пусть задано вероятностное пространство $(\Omega, \mathcal{F}, \mathbb{P})$ , и на нём определена случайная величина . В частности, по определению, является измеримым отображением измеримого пространства $(\Omega, \mathcal{F})$ в измеримое пространство $(\mathbb{R},\mathcal{B}(\mathbb{R}))$ , где $\mathcal{B}(\mathbb{R})$ обозначает борелевскую сигма-алгебру на $\mathbb{R}$ . Тогда случайная величина индуцирует вероятностную меру $\mathbb{P}^X$ на $\mathbb{R}$ следующим образом:

$\mathbb{P}^X(B) = \mathbb{P}(X^{-1}(B)),\; \forall B\in \mathcal{B}(\mathbb{R}).$

Мера $\mathbb{P}^X$ называется распределением случайной величины . Иными словами, $\mathbb{P}^X(B)=\mathbb{P}(X\in B)$ , таким образом $\mathbb{P}^X(B)$ задаёт вероятность того, что случайная величина попадает во множество $B\in \mathcal{B}(\mathbb{R})$ .

Способы задания распределений

Определение 2. Функция $F_X(x) = \mathbb{P}^X((-\infty,x]) = \mathbb{P}(X \leqslant x)$ называется (кумулятивной) функцией распределения случайной величины . Из свойств вероятности вытекает

Теорема 1. Функция распределения любой случайной величины удовлетворяет следующим трем свойствам:

1. — функция неубывающая;

2. $\lim_{x\to -\infty} F_X(x) = 0,\; \lim_{x\to \infty}F_X(x) = 1$ ;

3. непрерывна слева.

Из того факта, что борелевская сигма-алгебра на вещественной прямой порождается семейством интервалов вида $\{(-\infty,x]\}_{x\in \mathbb{R}}$ , вытекает

Теорема 2. Любая функция , удовлетворяющая трём свойствам, перечисленным выше, является функцией распределения для какого-то распределения $\mathbb{P}^X$ .

Для вероятностных распределений, обладающих определенными свойствами, существуют более удобные способы его задания.

Дискретные распределения

Определение 3. Случайная величина называется простой или дискретной, если она принимает не более, чем счётное число значений. То есть $X(\omega) = a_i,\; \forall \omega \in A_i$ , где $\{A_i\}_{i=1}^{\infty}$ — разбиение $\Omega$ .

Распределение простой случайной величины тогда по определению задаётся: $\mathbb{P}^X(B) = \sum_{i:a_i \in B} \mathbb{P}(A_i)$ . Введя обозначение $p_i = \mathbb{P}(A_i)$ , можно задать функцию . Очевидно, что $\sum_{i=1}^{\infty}p_i = 1$ . Используя счётную аддитивность $\mathbb{P}$ , легко показать, что эта функция однозначно определяет распределение .

Определение 4. Функция , где $\sum_{i=1}^{\infty} p_i = 1$ часто называется дискретным распределением.

Пример 1. Пусть функция задана таким образом, что $p(-1) = \frac{1}{2}$ и $p(1) = \frac{1}{2}$ . Эта функция задаёт распределение случайной величины такой, что $\mathbb{P}(X=\pm 1) = \frac{1}{2}$ (распределение Бернулли).

Теорема 3. Дискретное распределение обладает следующими свойствами:

1. $p_i \geqslant 0$ ;

2. $\sum_{i=1}^{n} p_i = 1$ .

Непрерывные распределения

Непрерывное распределение — распределение вероятностей, не имеющее атомов. Любое распределение вероятностей есть смесь дискретного и непрерывного.

Абсолютно непрерывные распределения

Основная статья: Плотность вероятности

Определение 5. Распределение случайной величины называется абсолютно непрерывным, если существует неотрицательная функция $f_X:\mathbb{R}\to \mathbb{R}_+$ , такая что $\mathbb{P}^X(B) \equiv \mathbb{P}(X\in B) = \int\limits_B f_X(x)\, dx$ . Функция тогда называется плотностью распределения случайной величины .

Пример 2. Пусть , когда $0\leqslant x \leqslant 1$ , и — в противном случае. Тогда $\mathbb{P}(a < X < b) = \int\limits_a^b 1\, dx = b-a$ , если $(a,b) \subset [0,1]$ .

Очевидно, что для любой плотности распределения верно равенство $\int\limits_{-\infty}^{\infty} f_X(x)\, dx = 1$ . Верна и обратная

Теорема 4. Если функция такая, что:

1. $f(x) \geqslant 0,\; \forall x \in \mathbb{R}$ ;

2. $\int\limits_{-\infty}^{\infty} f(x)\, dx = 1$ ,

то существует распределение $\mathbb{P}^X$ такое, что является его плотностью.

Просто применение формулы Ньютона-Лейбница приводит к простому соотношению между кумулятивной функцией и плотностью абсолютно непрерывного распределения.

Теорема 5. Если — непрерывная плотность распределения, а — его кумулятивная функция, то

1. $F'(x) = f(x),\; \forall x \in \mathbb{R},$

2. $F(x) = \int\limits_{-\infty}^x f(t)\, dt$ .

Нормальное распределение, также называемое гауссовым распределением или распределением Гаусса — распределение вероятностей, которое задается функцией плотности распределения:

$f(x) = \tfrac{1}{\sqrt{2\pi}\sigma}\; e^{ -\frac{(x-\mu)^2}{2\sigma^2} },$

где параметр μ — среднее значение (математическое ожидание) случайной величины и указывает координату максимума кривой плотности распределения, а σ² — дисперсия.

Нормальное распределение играет важнейшую роль во многих областях знаний, особенно в статистической физике. Физическая величина, подверженная влиянию значительного числа независимых факторов, способных вносить с равной погрешностью положительные и отрицательные отклонения, вне зависимости от природы этих случайных факторов, часто подчиняется нормальному распределению, поэтому из всех распределений в природе чаще всего встречается нормальное (отсюда и произошло одно из названий этого распределения вероятностей).

Нормальное распределение зависит от двух параметров — смещения и масштаба, то есть является с математической точки зрения не одним распределением, а целым их семейством. Значения параметров соответствуют значениям среднего (математического ожидания) и разброса (стандартного отклонения).

Стандартным нормальным распределением называется нормальное распределение с математическим ожиданием 0 и стандартным отклонением 1.

Если случайные величины и независимы и имеют нормальное распределение с математическими ожиданиями $\mu_1$ и $\mu_2$ и дисперсиями $\sigma_1^2$ и $\sigma_2^2$ соответственно, то также имеет нормальное распределение с математическим ожиданием $\mu_1+\mu_2$ и дисперсией $\sigma_1^2+\sigma_2^2$ .

Моделирование нормальных случайных величин

Простейшие, но неточные методы моделирования основываются на центральной предельной теореме. Именно, если сложить много независимых одинаково распределённых величин с конечной дисперсией, то сумма будет распределена примерно нормально. Например, если сложить 12 независимых базовых случайных величин, получится грубое приближение стандартного нормального распределения. Тем не менее, с увеличением слагаемых распределение суммы стремится к нормальному.

Использование точных методов предпочтительно, поскольку у них практически нет недостатков. В частности, преобразование Бокса — Мюллера является точным, быстрым и простым для реализации методом генерации.

Normality test

Критерий нормальности процесса

In statistics, normality tests are used to determine whether a data set is well-modeled by a normal distribution or not, or to compute how likely an underlying random variable is to be normally distributed.

More precisely, they are a form of model selection, and can be interpreted several ways, depending on one's interpretations of probability:

· In descriptive statistics terms, one measures a goodness of fit of a normal model to the data – if the fit is poor then the data are not well modeled in that respect by a normal distribution, without making a judgment on any underlying variable.

· In frequentist statistics statistical hypothesis testing, data are tested against the null hypothesis that it is normally distributed.

· In Bayesian statistics, one does not "test normality" per se, but rather computes the likelihood that the data come from a normal distribution with given parameters μ,σ (for all μ,σ), and compares that with the likelihood that the data come from other distributions under consideration, most simply using a Bayes factor (giving the relatively likelihood of seeing the data given different models), or more finely taking a prior distribution on possible models and parameters and computing a posterior distribution given the computed likelihoods.

Graphical methods

An informal approach to testing normality is to compare a histogram of the sample data to a normal probability curve. The empirical distribution of the data (the histogram) should be bell-shaped and resemble the normal distribution. This might be difficult to see if the sample is small. In this case one might proceed by regressing the data against the quantiles of a normal distribution with the same mean and variance as the sample. Lack of fit to the regression line suggests a departure from normality.

A graphical tool for assessing normality is the normal probability plot, a quantile-quantile plot (QQ plot) of the standardized data against the standard normal distribution. Here the correlation between the sample data and normal quantiles (a measure of the goodness of fit) measures how well the data is modeled by a normal distribution. For normal data the points plotted in the QQ plot should fall approximately on a straight line, indicating high positive correlation. These plots are easy to interpret and also have the benefit that outliers are easily identified.

Back-of-the-envelope test

A simple back-of-the-envelope test takes the sample maximum and minimum and computes their z-score, or more properly t-statistic (number of sample standard deviations that a sample is above or below the sample mean), and compares it to the 68–95–99.7 rule: if one has a 3σ event (properly, a 3s event) and significantly fewer than 300 samples, or a 4s event and significantly fewer than 15,000 samples, then a normal distribution significantly understates the maximum magnitude of deviations in the sample data.

This test is useful in cases where one faces kurtosis risk – where large deviations matter – and has the benefits that it is very easy to compute and to communicate: non-statisticians can easily grasp that "6σ events don’t happen in normal distributions".

Frequentist tests

Tests of univariate normality include D'Agostino's K-squared test, the Jarque–Bera test, the Anderson–Darling test, the Cramér–von Mises criterion, the Lilliefors test for normality (itself an adaptation of the Kolmogorov–Smirnov test), the Shapiro–Wilk test, the Pearson's chi-squared test, and the Shapiro–Francia test. Some published works recommend the Jarque–Bera test.^[1]^[2]

Historically, the third and fourth standardized moments (skewness and kurtosis) were some of the earliest tests for normality. Mardia's multivariate skewness and kurtosis tests generalize the moment tests to the multivariate case.^[3] Other early test statistics include the ratio of the mean absolute deviation to the standard deviation and of the range to the standard deviation.^[4]

More recent tests of normality include the energy test^[5] (Szekely and Rizzo) and the tests based on the empirical characteristic function (ecf) (e.g. Epps and Pulley^[6], Henze–Zirkler^[7], BHEP test ^[8]). The energy and the ecf tests are powerful tests that apply for testing univariate or multivariate normality and are statistically consistent against general alternatives.

Bayesian tests

Kullback–Leibler distances between the whole posterior distributions of the slope and variance do not indicate non-normality. However, the ratio of expectations of these posteriors and the expectation of the ratios give similar results to the Shapiro–Wilk statistic except for very small samples, when non-informative priors are used.^[9]

Spiegelhalter suggests using a Bayes factor to compare normality with a different class of distributional alternatives.^[10] This approach has been extended by Farrell and Rogers-Stewart.^[11]

Applications

One application of normality tests is to the residuals from a linear regression model. If they are not normally distributed, the residuals should not be used in Z tests or in any other tests derived from the normal distribution, such as t tests, F tests and chi-squared tests. If the residuals are not normally distributed, then the dependent variable or at least one explanatory variable may have the wrong functional form, or important variables may be missing, etc. Correcting one or more of these systematic errors may produce residuals that are normally distributed.

Подробности: Родительская категория: Математика; Категория: Математическая статистика