Материал: 05_линейная регрессия

35

§ 5. Линейная регрессия

Предположим, что зависимость среднего значения фактора У от изменения фактора Х можно описать линейной функцией

.

Т.е., линия регрессии – прямая линия.

X

Чтобы найти коэффициенты регрессии a и b применим метод наименьших квадратов (МНК).

Составим сумму квадратов отклонений :

Чтобы найти минимум, приравняем нулю частные производные этого выражения по параметрам a и b . Получим нормальную систему для определения коэффициентов:

Вычислим производные и выполним преобразования полученных выражений:

Разделим оба равенства на n:

Это система двух линейных уравнений с двумя неизвестными. Коэффициенты этой системы – это числовые характеристики, подсчитанные для имеющихся исходных данных, данных наблюдений.

Матрица системы:

Найдем коэффициент b из второго уравнения:

Подставим это значение в уравнение линейной регрессии и получим еще одну форму записи этого уравнения

Это так называемая центрированная форма записи уравнения линейной регрессии.

Второй коэффициент a можно получить, используя формулы Крамера.

.

Числитель этой формулы симметричен относительно x и y. Разделим и умножим эту дробь на . Получим:

Здесь введен новый коэффициент, который называется коэффициент корреляции.

В исследовании зависимости между различными показателями он играет огромную роль, он содержит в себе массу информации. Подробнее мы на нем остановимся ниже, а сейчас запишем окончательно уравнение линейной регрессии.

или

.

Эта форма записи называется: стандартизированное уравнение регрессии.

Совершенно аналогично можно по методу наименьших квадратов построить уравнение регрессии X на Y .

Далее нам предстоит проанализировать построенные уравнения линейной регрессии и постараться и извлечь из полученных формул массу полезной информации.