Линейная множественная регрессия

Процедура определения коэффициентов bo,..., bj,..., bk в принципе не отличается от одномерного случая, рассмотренного ранее, и поэтому здесь не приводится.

Для оценки тесноты связи между функцией отклика у и несколькими факторами х_ь х₂,..., Xj,..., x_k используют коэффициент множественной корреля­ции R, который всегда положителен и изменяется в пределах от 0 до 1. Чем больше R, тем качественнее предсказания данной моделью опытных данных с точки зрения близости ее к функциональной. При функциональной линейной зависимости R=1.

Расчеты обычно начинают с вычисления парных коэффициентов корре­ляции, при этом вычисляются два типа парных коэффициентов корреляции:

1) г_ух. - коэффициенты, определяющие тесноту связи между функцией отклика у и одним из факторов Xj;

2) iv _Y - коэффициенты, показывающие тесноту связи между одним из

^A j ^A u

факторов Xj и фактором x_u (j, u =Uk).

Если один из коэффициентов г_хх окажется равным 1, то это означа­ет, что факторы Xj и х_и функционально связаны между собой. Тогда целесооб­разно один из них исключить из рассмотрения, причем оставляют тот фактор, у которого коэффициент г_ух. больше.

После вычисления всех парных коэффициентов корреляции можно по­строить матрицу коэффициентов корреляции следующего вида:

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

1 ^Гух, V, -^Г^ -^Гух_к

^Х\У xi x 2 '" xixJ '" ^х\^хк

х₂у х₂х_х " x₂xj " х₂х_к

(4.31)

г „ г _v г _v... 1...г

X у X Xi X Хт X

J**

Г „ г _т г _т...г _т... 1

^хк.» ^хк-*-1 ^хк-*-2 xj-*-£

Однако парные коэффициенты корреляции не характеризуют тесноту связи, так как они вычисляются при случайно изменяющихся значениях других факторов. Действительно, при рассмотрении трех и более случайных величин коэффициенты корреляции любой пары из этих случайных величин могут не дать правильного представления о степени связи между всеми случайными ве­личинами. Это объясняется тем, что на закон распределения вероятностей ис­следуемой пары случайных величин могут оказывать влияние и другие рас­сматриваемые случайные величины. Это обстоятельство делает необходимым введение показателей стохастической связи между парой случайных величин при условии, что значения других случайных величин зафиксированы. В этом случае говорят о статистическом анализе частных связей. Используя матрицу (4.31), можно вычислить частные коэффициенты корреляции, которые показы­вают степень влияния одного из факторов Xj на функцию отклика у при усло­вии, что остальные факторы остаются на постоянном уровне. Формула для вы­числения частных коэффициентов корреляции имеет вид

ryxi,X2,.">xjv>xk ~ ^1}/л1^И '^jj

(4.32)

где Dij - определитель матрицы, образованной из матрицы (4.31) вычеркивани­ем 1-й строки и j-ro столбца. Определители D-ц и Djj вычисляют аналогично. Как и парные коэффициенты, частные коэффициенты корреляции изменяются от -1 до +1.

Значимость и доверительный интервал для коэффициентов частной кор­реляции определяются так же, как для коэффициентов парной корреляции, только число степеней свободы вычисляют по формуле

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

m = п -к*-2, (4.33)

где к*=к-1 - порядок частного коэффициента парной корреляции.

Для вычисления коэффициента множественной корреляции R yx₁,x₂,...,x_j,...,x_k используют матрицу (4.31):

R yx₁,x₂,...,x_j,...,x_k =V1"D/Dlb (4-34)

где D - определитель матрицы (4.31).

Множественный коэффициент корреляции дает оценку тесноты связи между у и совокупностью всех переменных х^ х₂,..., Xj,..., x_k.

Если число опытов п сравнимо с числом коэффициентов l=k+1, связи оказываются преувеличенными. Поэтому следует исключить систематическую погрешность, физический смысл которой состоит в следующем. Если разность п и I будет уменьшаться, то коэффициент множественной корреляции R будет возрастать и при n-l=0 окажется равным R=+1, а уравнение регрессии превра­тится в функциональное уравнение гиперплоскости, которая пройдет через все п экспериментальных точек. Однако ясно, что случайный характер переменных процесса при этом не может измениться. В связи с этим требуется оценка зна­чимости коэффициента множественной корреляции.

Значимость коэффициента множественной корреляции проверяется по критерию Стьюдента:

R.

t = => t _a. _m; m = n-k-l,

Sr

где Sr - среднеквадратичная погрешность коэффициента множественной кор­реляции, рассчитываемая по выражению

Sr = (1 -R)Vn-к-1. (4.35)

Значимость R можно проверить также по критерию Фишера

F =-----------------. (4.36)

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

Если расчетное значение F превышает теоретическое F_a;mi_;m2, то гипоте­зу о равенстве коэффициента множественной корреляции нулю отвергают и связь считают статистически значимой. Теоретическое (табличное) значение критерия Фишера определяется для выбранного уровня значимости а и числа степеней свободы m₁ = n-k-1 и т₂=к.

Если коэффициент множественной корреляции оказался неожиданно малым, хотя априорно известно, что между выходом у и входами xi,...,x_k долж­на существовать достаточно тесная корреляционная связь, то возможными причинами такого явления могут быть следующие:

а) ряд существенных факторов не учтен, и следует включить в рассмот­
рение дополнительно эти существенные входные параметры;

б) линейное уравнение плохо аппроксимирует в действительности нели­
нейную зависимость y = f(x_l,...,x_k), и следует определить коэффициенты уже
нелинейного уравнения регрессии методами регрессионного анализа;

в) рабочий диапазон рассматриваемых факторов находится в районе
экстремума функции отклика - в этом случае следует расширить диапазон из­
менения входных переменных, а также перейти к нелинейной математической
модели объекта.

Нелинейная регрессия

Используя подходы, изложенные ранее, можно построить практически любые формы нелинейной связи. С этой целью в инженерной практике очень часто используют линеаризующие преобразования.

В табл. 4.1 приведены часто встречающиеся парные зависимости и ли­неаризующие преобразования переменных. Качество преобразования резуль­татов проверяют с помощью уравнения у = bo'+bi'-x\

Таблица 4.1 Функции и линеаризующие преобразования

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

После вычисления коэффициентов b₀' и bi', так же как в случае линейной зависимости от одного фактора, выполняют обратные преобразования, т.е. по bo' и Ь-Г определяют bo и Ь-i. Аналогичный подход обычно используют и при множественном нелинейном регрессионном анализе.

Контрольные вопросы

1. В чем заключаются сущность и основные задачи корреляционного, регрес­сионного и дисперсионного анализа?

2. Какие подходы используют при нахождении коэффициентов уравнения рег­рессии?

3. Сформулируйте исходные положения метода наименьших квадратов.

4. С помощью какого параметра оценивается теснота связи между случайными величинами? Поясните физическую суть этого параметра.

5. Как оценивается адекватность статистической модели?

6. Что называется частным коэффициентом корреляции?

4. АНАЛИЗ РЕЗУЛЬТАТОВ ПАССИВНОГО ЭКСПЕРИМЕНТА…

7. Что называется множественным коэффициентом корреляции?

8. Какими свойствами обладают коэффициенты корреляции?

9. Каким образом производится проверка значимости коэффициентов уравне­ния регрессии?

10. В чем заключается постановка задачи линейной множественной регрессии?