Исследование вероятностных зависимостей

Предположим, что изучается некоторая система и проводятся одновременные наблюдения над двумя исследуемыми параметрами. Значения этих параметров могут быть независимыми или взаимосвязанными. Если наблюдаемые параметры связаны, то зависимости между ними могут быть детерминированными (функциональными) и стохастическими (вероятностными). В свою очередь, и функциональные и вероятностные зависимости условно можно разделить на линейные и нелинейные (схема 4.3.1).

Рассмотрим общий подход к исследованию зависимостей между случайными величинами. Будем при этом считать, что наблюдению доступны две случайные величины ξ и η. Полное вероятностное описание случайной величины дается плотностью вероятностей p(ξ), а полное описание величины η, соответственно, плотностью вероятностей р(η). Для исследования совместного поведения ξ и η необходимо знать совместную плотность вероятностей р(ξ, η).

Функция р(ξ,η) относится к классу двумерных распределений, и в ней содержится вся информация о рассматриваемых величинах ξ и η и их взаимосвязи. Если величины ξ, и η независимы, то

p(ξ, η)= p(ξ)p(η). (2.9.1)

Записанное условие (1) отражает известное общее свойство: для независимости двух случайных величии ξ и η необходимо и достаточно, чтобы их совместная плотность вероятностей p(ξ, η) представляла собой произведение одномерных распределений p(ξ) и p(η) исследуемых величин ξ и η. Очевидно, что при выполнении условия независимости (1) будут выполняться простые соотношения

p(ξ)= p(ξ, η)/p(η), p(η)= p(ξ, η)/ p(ξ). (2.9.2)

Если исследуемые величины ξ и η не являются независимыми, то их совместная плотность вероятностей может быть представлена в виде

p(ξ, η)= p(ξ) p(η| ξ)≠ p(ξ) p(η), (2.9.3)

где выражение

p(η| ξ)= (2.9.4)

соответствует условной плотности вероятностей случайной величины η при условии выбора некоторого фиксированного значения величины ξ.

Для функции р(η| ξ) можно ввести числовые характеристики - условные моменты распределения. При этом наиболее простым и наглядным параметром условной плотности вероятностей (4) будет являться условное математическое ожидание

m_η|ξ =M{η| ξ}= η р(η| ξ)d η. (2.9.5)

При изменении выбранного значения ξ условная плотность

вероятностей р(η| ξ) будет изменяться и, соответственно, будет изменяться условное математическое ожидание (5). Если случайную величину ξ рассматривать здесь как независимую переменную, то зависимость условного среднего значения величины η от ξ, то есть зависимость

m_η|ξ =M{η| ξ}= ƒ (ξ) (2.9.6)

принято называть регрессией η на ξ. Сама функция M{η| ξ}= ƒ (ξ) называется при этом функцией регрессии. График функции ƒ (ξ) часто называется линией регрессии или кривой регрессии случайной величины η по ξ. Случайная величина ξ выполняющая роль “независимой” переменной в регрессионной модели (6) называется регрессионной переменной.

Приведенные определения (3) - (6) показывают, что функция регрессии (6) по своей сути отражает зависимость среднего значения одной случайной величины η от некоторого выбранного значения другой случайной величины ξ. Форма функции регрессии ƒ (ξ) позволяет делать выводы о расположении условной плотности вероятностей р(η| ξ) случайной величины η при различных значениях ξ.

С целью более наглядного представления рассмотренных результатов на схеме 4.3.1 показана упрощенная графическая интерпретация совместной плотности вероятностей р(ξ,η), условного распределения р(η, ξ) и функции регрессии m_η|ξ = ƒ (ξ).