Для нескольких независимых переменных процесс называется множественной линейной регрессией. Этот термин отличается от многомерной линейной регрессии, в которой прогнозируются несколько коррелированных зависимых переменных, а не одна скалярная переменная. Чтобы линейная регрессия давала надежные и достоверные результаты, необходимо выполнить несколько ключевых предположений.
И последнее, что тут стоит сказать — на практике коэффициент детерминации редко превышает 8%. Часто все три события происходят одновременно (так как они взаимосвязаны), поэтому обычно легко понять стоит исключить из модели переменную или нет. Статистические тесты, о которых мы говорили до этого (T-тест, ANOVA и другие) в основном проверяли связь не больше, чем между двумя переменными одновременно. Цель этого раздела – разработать эквивалентную линейную вероятностную модель. Метод называется «fit», это глагол, на английском означает «произвести соответствие», то есть тут производится процесс «подгонки» входных данных к выходным. Далее создаем класс, который будет определять, как выглядит модель изнутри (с точки зрения программирования).
Модели линейной регрессии представляют собой статистическую процедуру, помогающую прогнозировать будущее. Она применяется в научных сферах и в бизнесе, а в последние десятилетия используется в машинном обучении. Остатки должны иметь постоянную дисперсию на каждом уровне независимой переменной. Это значит, что для каждого из значений независимой переменной уровень дисперсии остатков должен быть одинаковым. RSS — расшифровывается как Residual Sum of Squares (сумма квадратов остатков регрессии) — так дисперсия остатков регрессии называется в англоязычной литературе.
Если это не так, то наша модель будет отражать связь между данными линейная регрессия это неточно. Чем он выше, тем лучше наша модель объясняет изменчивость зависимой переменной. Линия обеспечивает наилучшее соответствие данным, если сумма квадратов вертикальных расстояний (отклонений) от наблюдаемых точек до этой линии настолько мала, насколько это возможно. Стоит отметить, что перечисленные недостатки касаются классического случая и могут быть частично либо полностью устранены с помощью вышеописанных методов.
Что такое: линия регрессии
Линейная регрессия — это статистический метод , используемый для изучения взаимосвязи между двумя непрерывными переменными . Основная идея линейной регрессии — найти прямую линию, которая лучше всего соответствует данным. Кроме того, он позволяет прогнозировать значение одной переменной на основе значения другой. Линейная регрессия (Linear regression) — один из простейший алгоритмов машинного обучения, описывающий зависимость целевой переменной от признака в виде линейной функции .
Заключение по моделям линейной регрессии
Модели линейной регрессии относительно просты и предоставляют легко интерпретируемую математическую формулу для создания прогнозов. Линейная регрессия – это признанный статистический метод, который легко применяется к программному обеспечению и вычислениям. Компании используют его для надежного и предсказуемого преобразования необработанных данных в бизнес-аналитику и полезную аналитику. Ученые во многих областях, включая биологию и поведенческие, экологические и социальные науки, используют линейную регрессию для проведения предварительного анализа данных и прогнозирования будущих тенденций.
- Более того, линии регрессии необходимы в машинном обучении, где они служат основой для более сложных алгоритмов, прогнозирующих результаты на основе входных характеристик.
- Помимо этого, в конце указаны дополнительные источники для более глубокого ознакомления.
- Общая сумма квадратов (TSS, total square sum) – сумма ошибок точек данных относительно среднего значения целевой переменной.
- Следовательно, линейную регрессию следует использовать, когда есть подозрение на линейную связь между двумя переменными.
- У всех точек данных относительно линии регрессии должна быть примерно одинаковая дисперсия (отклонение).
Ограничения линейной регрессии
ЛинР часто служит хорошей базовой моделью для сравнения с более сложными алгоритмами машинного обучения. N — число наблюдений (объектов), m — число признаков, — список всех значений из набора данных для данного признака (j-я координата вектора), mean – среднее значение, std – стандартное отклонение. Узнай о ее применении, преимуществах и ключевых понятиях для успешного прогнозирующего моделирования. Линейная регрессия (Linear regression) — это математическая модель, предполагающая, что зависимость между переменными можно описать линейной функцией. В основе ее работы лежит поиск таких весов и смещений, при которых предсказания, опирающиеся на обучающие данные, будут максимально точными.
- Некоторые типы регрессионного анализа больше подходят для обработки сложных наборов данных, чем другие.
- Однако при использовании стохастического или мини-пакетного градиентного спуска в данном случае могут возникнуть трудности в поиске минимальной ошибки из-за менее гладких кривых обучения.
- Общие метрики, используемые для этой цели, включают R-квадрат, скорректированный R-квадрат, среднюю абсолютную ошибку (MAE) и среднеквадратическую ошибку (RMSE).
- Несмотря на широкое распространение, линейная регрессия имеет несколько ограничений, которые аналитикам следует учитывать.
Выбор регрессионной линии (плоскости), описывающей взаимосвязь данных наилучшим образом, заключается в минимизации функции потерь , представленной в виде среднеквадратичной ошибки. Проще говоря, линия должна проходить через данные таким образом, чтобы в среднем разница квадратов ожидаемых и реальных значений была минимальна. Для расчета линии регрессии обычно используется метод наименьших квадратов, который минимизирует сумму квадратов разностей между наблюдаемыми значениями и значениями, предсказанными линией. Это включает определение оптимального наклона и отсекаемого значения, которые приводят к наилучшему соответствию для данных.
Чтобы модель линейной регрессии была действительной, необходимо выполнить несколько предположений. К ним относятся линейность, независимость, гомоскедастичность, нормальность и отсутствие мультиколлинеарности между независимыми переменными. Линейность предполагает, что связь между зависимыми и независимыми переменными линейна. Независимость требует, чтобы остатки (ошибки) были независимы друг от друга. Гомоскедастичность означает, что дисперсия остатков постоянна на всех уровнях независимых переменных. Нормальность предполагает, что остатки нормально распределены, а мультиколлинеарность относится к корреляции между независимыми переменными, которая должна быть минимальной.
Вместо этого выборочные данные состоят из \(n\) наблюдаемых пар \((x_1, y_1),\dots,(x_n, y_n)\), по которым можно оценить параметры модели и саму истинную линию регрессии. Если две (случайные) переменные вероятностно связаны, то для фиксированного значения \(x\) существует неопределенность в значении второй переменной. Как можно заметить, в данном случае ElasticNet имеет самую высокую точность среди всех видов регуляризации, что обусловлено лучшим увеличением обобщающей способности за счёт более сильных штрафов во время обучения. На графике ниже видно, что это достигается за счёт более сильного наклона красной линии. Далее метод, в котором будет происходить процесс обучения по всему набору данных. Errors — это список для хранения значений отклонений (остатков) для каждого входного значения из списка x_values.
Модель простой линейной регрессии¶
Регуляризация — метод, который позволяет удерживать значения коэффициентов в определенном диапазоне. Включение неподходящих или избыточных признаков может привести к переобучению и усложнить интерпретацию модели. Рассмотрим приведенный ниже рисунок, который использует две визуализации средней квадратичной ошибки в диапазоне, где наклон m находится между -2 и 4, а b между -6 и 8. В теории линейная регрессия может применяться в любой области, однако можно выделить несколько наиболее распространенных сфер применение. 🔍 Гетероскедастичность — непостоянная дисперсия случайной ошибки для разных наблюдений.
Эта модель широко используется в различных областях, включая экономику, биологию, инженерию и социальные науки, для прогнозирования результатов и анализа тенденций на основе исторических данных. R-квадрат указывает долю дисперсии зависимой переменной, которую можно объяснить независимыми переменными. Скорректированный R-квадрат корректирует количество предикторов в модели. MAE измеряет среднюю величину ошибок в прогнозах, а RMSE позволяет оценить, насколько хорошо модель предсказывает зависимую переменную, при этом более низкие значения указывают на лучшую производительность. В линейной регрессии коэффициенты представляют собой наклон и точку пересечения линии регрессии . Наклон указывает изменение зависимой переменной на единицу изменения независимой переменной, а точка пересечения представляет значение зависимой переменной, когда независимая переменная равна нулю.
Метод наименьших квадратов и функция потерь
Наша задача состоит в том, чтобы аппроксимировать набор данных и оптимизировать модель ЛинР. В качестве такой функции будем использовать функцию среднего квадратичного отклонения (средней квадратичной ошибки). Оптимизируем значение этой функции к минимуму, то есть в сторону нуля, поэтому нужно использовать вычетание градиента, другими словами это будет градиентный спуск. Здесь слова «отклонение», «ошибка» и «остаток» можно рассматривать как взаимозаменяемые, так как речь идет о расхождении между ответом (output) модели и целевым значением (target). В машинном обучении компьютерные программы, называемые алгоритмами, анализируют большие наборы данных и работают в обратном направлении от этих данных для расчета уравнения линейной регрессии. Специалисты по обработке данных сначала обучают алгоритм на известных или маркированных наборах данных, а затем используют алгоритм для прогнозирования неизвестных значений.
Одним из существенных ограничений является его чувствительность к выбросам, которые могут непропорционально влиять на наклон линии регрессии и приводить к ошибочным результатам. Кроме того, линейная регрессия предполагает линейную связь между переменными, что не всегда может иметь место в реальных сценариях. Если взаимосвязь нелинейная, более подходящими могут оказаться альтернативные методы моделирования, такие как полиномиальная регрессия или нелинейная регрессия. Более того, линейная регрессия не учитывает взаимодействия между независимыми переменными, если они явно не включены в модель, что потенциально упускает из виду важные взаимосвязи. Оценка эффективности модели линейной регрессии необходима для обеспечения ее эффективности и надежности. Общие метрики, используемые для этой цели, включают R-квадрат, скорректированный R-квадрат, среднюю абсолютную ошибку (MAE) и среднеквадратическую ошибку (RMSE).
При этом важно учитывать, что коэффициент детерминации — это не всегда корректный показатель для сравнения моделей с различным числом параметров. X — независимая переменная (или предиктор), используемая для прогнозирования. 🔍 Мультиколлинеарность — наличие линейной зависимости между независимыми переменными. Мы считаем, что между независимой и зависимой переменной приближенно есть линейная связь, которую мы можем зафиксировать.
