Оценивание вероятностей и моментов

Оценка неизвестной вероятности случайного события

Задачи математической статистики связаны с неизвестностью распределения наблюдений. Но распределение — это совокупность вероятностей, поэтому начнем с оценки неизвестной вероятности.

Пусть A — случайное событие, p = P(A) — его неизвестная вероятность. Пусть проведено n испытаний этого события, n — количество появления события А, т.е. количество успехов. Рассмотрим в качестве оценки для p статистику

 ,                                                   (1)

где  — относительная частота появления события А. случайная величина n распределена по биномиальному закону Bi (n, p), и потому

.

Это означает, что оценка  несмещённая. Проверим состоятельность оценки:

        ,

где D — дисперсия. Т.е. оценка состоятельна.

 

Оценка неизвестной функции распределения. Основная теорема статистики

Пусть имеется выборка x₁, ξ₂…x_n с неизвестной функцией распределения F (x). Построим оценку для F (x). Зафиксируем произвольное значение аргумента х. Значение F (x) в точке x есть вероятность события А_х= {x< х }, т.е. F (x) = P (A _x). Несмещённой и состоятельной оценкой для вероятности P (A _x) — она же и оценка  для F (x) — является относительная частота (см. пример в п. 2.1):

                                 = (x; x₁, ξ₂…x_n),        (2)

где n_х — количество появления события А_х в n испытаниях, т. е. количество тех наблюдений x _i в выборке, которые меньше х (x_i < x). Случайная величина n_х имеет биномиальное распределение Bi (n, F (x)) с параметрами n и F (x). Имеет место несмещённость:

Также справедлива состоятельность:

.            

Итак, при любом х оценка (2) является несмещённой и состоятельной.

Функция  ≡ (x | x₁, ξ₂…x_n) называется ФУНКЦИЕЙ ЭМПИРИЧЕСКОГО РАСПРЕДЕЛЕНИЯ (основное понятие семестра)

основная теорема статистики. Функция эмпирического распределения сходится (по вероятности) к истинной функции распределения:

 ≡ (x; x₁, ξ₂…x_n) .                     (3)

Справедливость этого утверждения показана предыдущими соотношениями. График функции эмпирического распределения показан на рис. 1:  кусочно-постоянная, делает скачок величиной 1/ n, когда аргумент x при его возрастании переходит выборочное значение.

Рис. 1. Функция эмпирического            Заметим, что если в n точках x₁, ξ₂…x_n

              распределения                    на оси х поместить равные вероятности 1/ n,             то получится некоторое дискретное распределение, называемое эмпирическим, и  — его функция распределения. Ясно, что первые два момента этого распределения таковы:

                    ,           (4)

                       .

В этих равенствах учтено, что при кусочно-постоянной интегрирующей функции интеграл Стильтьеса превращается в сумму. Второй центральный момент эмпирического распределения:

. (5)

Статистика  называется выборочным средним, а s² — выборочной дисперсией.

Простейшие оценки моментов

Пусть имеется выборка x₁,ξ₂…x_n. Функция распределения F (x) наблюдений нам неизвестна.

А. оценка математического ожидания.

По определению математическое ожидание (первый момент) есть

.

Подставим в интеграл вместо   F (x)  несмещенную  и  состоятельную оценку (x | x₁, ξ₂…x_n). Получим (4):

Получили (4)-дисперсию эмпирического распределения

.

Рассмотрим эту статистику в качестве оценки для математического ожидания m ₁. Проверим несмещённость:

.

Проверим состоятельность:

.

Таким образом,  является несмещенной и состоятельной оценкой для математического ожидания.

Заметим, что замена истинного неизвестного нам распределения эмпирическим (или выборочным) приводит к состоятельным оценкам.

Кроме того, заметим, что проверка на несмещенность и состоятельность являются стандартными действиями

Б. Оценка дисперсии.

Дисперсия случайной величины, согласно определению:

.

Вместо неизвестных m ₁ и F (x) подставим состоятельные оценки  и .

Получили оценку s ² для s² (формула (5) выше):

s ² = .

Проверим несмещённость, для чего сначала преобразуем выражение для s²:

s ² = =

.                              (5а)

Здесь учтено, что . Определим математическое ожидание:

М s ² ¹s².

Оно не равно s², и потому оценка смещенная. Ясно, что ее можно исправить, умножив s ² на константу, обратную к коэффициенту при s². Рассмотрим исправленную оценку

s ₁² = s ² = .

Эта оценка является несмещенной:

M s ₁² = M s ² = s².

Обе оценки s ² и s ₁² являются состоятельными, что видно из (5а), используя свойства сходимости по вероятности, аналогичные свойствам сходимости числовых последовательностей.

В. Оценка моментов порядка k > 2.

Для начального момента порядка k > 2

m_k = Mx ^k = ,

рассмотрим оценку, полученную заменой F (x) на (x | x₁, ξ₂…x_n):

.

Она является несмещенной:

.

Можно показать, что оценка состоятельна, т.е.

 .

Для центрального момента порядка k > 2

m _k = M(x - m₁) ^k = ,

рассмотрим оценку, полученную аналогично предыдущему:

.

Можно показать, что данная оценка состоятельна, т.е.

,

но несмещенной она не является. И исправить ее, аналогично выборочной дисперсии, умножением на коэффициент, зависящий от n, невозможно.