Линейная регрессия. Прямые линии среднеквадратической регрессии

• Корреляция
  • Корреляционный момент и коэффициент корреляции
  • Коррелированность и зависимость случайных величин
  • Нормальный закон распределения на плоскости
  • Линейная регрессия. Прямые линии среднеквадратической регрессии
  • Линейная корреляция. Нормальная корреляция
  • Коэффициент корреляции Пирсона
  • Коэффициент корреляции Пирсона: пример решения задачи
  • Коэффициент ранговой корреляции Спирмена
  • Коэффициент корреляции Спирмена: пример решения задачи

Рассмотрим двумерную случайную величину (X, Y), где X и У—зависимые случайные величины. Представим одну из величин как функцию другой. Ограничимся приближенным представлением (точное приближение, вообще говоря, невозможно) величины Y в виде линейной функции величины X:

где α и β — параметры, подлежащие определению. Это можно сделать различными способами: наиболее употребительный из них—метод наименьших квадратов.

Функцию g(X)=αX+β называют «наилучшим приближением» Y в смысле метода наименьших квадратов, если математическое ожидание М [Y—g(X)]2 принимает наименьшее возможное значение; функцию g(x) называют среднеквадратической регрессией Y на X.

Теорема. Линейная средняя квадратическая регрессия Y на X имеет вид

где m_x=M(X), m_y=M(Y), σ_x=√D(X),  σ_y=√D(Y),  r=µ_xy/(σ_xσ_y)—коэффициент корреляции величин X и Y.

Доказательство. Введем в рассмотрение функцию двух независимых аргументов α и β:
Учитывая, что М (X—m_x)=M(Y—m_y) = 0, М[(X—m_х)∙(Y—m_y)] = µ_xy = rσ_xσ_y, и выполнив выкладки, получим

F(α, β) = σ_y²+ β² σ_x²—2r σ_xσ_yβ+(m_y—α—βm_x)². (*)

Исследуем функцию F(α, β) на экстремум, для чего приравняем нулю частные производные:

Отсюда,

Легко убедиться, что при этих значениях α и β рассматриваемая функция принимает наименьшее значение.

Итак, линейная средняя квадратическая регрессия Y и X имеет вид:

или

Коэффициент β=rσ_y/σ_x называют коэффициентом регрессии Y на X, а прямую

называют прямой среднеквадратической регрессии Y на X. Подставив найденные значения α и β в соотношение (*), получим минимальное значение функции F (α, β), равное σ_y²(1—r²). Величину σ_y²(1—r²) называют остаточной дисперсией случайной величины Y относительно случайной величины X; она характеризует величину ошибки, которую допускают при замене У линейной функцией g(X)=α + βX. При r = ±1 остаточная дисперсия равна нулю; другими словами, при этих крайних значениях коэффициента корреляции не возникает ошибки при представлении Y в виде линейной функции от X.
Итак, если коэффициент корреляции г = ± 1, то Y и X связаны линейной функциональной зависимостью.
Аналогично можно получить прямую среднеквадратической регрессии X на Y:

(rσ_x/σ_y — коэффициент регрессии X на Y) и остаточную дисперсию σ_x²(1—r²) величины X относительно Y.
Если r = ± 1, то обе прямые регрессии, как видно из уравнений, совпадают.
Из уравнений прямых среднеквадратической регрессии следует, что обе прямые регрессии проходят через точку (m_x; m_y), которую называют центром совместного распределения величин X и Y.