능선과 최소 제곱 회귀의 기본 차이점은 무엇입니까?


대답 1:

최소 제곱에서는 가장 작은 제곱 오차를 제공하는 솔루션을 간단히보고합니다.

릿지에서는 제곱 오차의 합과 회귀 계수의 합인 페널티 캘리브레이션 계수를 곱한 "페널티"를 최소화합니다. 그 결과 Ridge는 계수를 0으로“축소”하고, 즉 0에 가까운 계수를 선호합니다.


대답 2:

선형 회귀

회귀는 변수 간의 관계를 모델링하고 분석하는 데 사용되는 기술이며 종종 특정 결과를 함께 생성하는 데 기여하고 관련되는 방법입니다.

선형 회귀는 선형 변수로 완전히 구성된 회귀 모델을 나타냅니다. 간단한 경우부터 단일 변수 선형 회귀는 단일 입력 독립 변수 (기능 변수)와 선형 모델 즉 선을 사용하여 출력 종속 변수 간의 관계를 모델링하는 데 사용되는 기술입니다.

보다 일반적인 경우는 다중 독립 선형 회귀 분석으로 다중 독립 입력 변수 (피처 변수)와 출력 종속 변수 간의 관계에 대한 모델이 생성됩니다. 출력은 입력 변수의 선형 조합이므로 모델은 선형으로 유지됩니다. 다변량 선형 회귀를 다음과 같이 모델링 할 수 있습니다.

Y = a_1 * X_1 + a_2 * X_2 + a_3 * X_3 ……. a_n * X_n + b

a_n이 계수 인 경우 X_n은 변수이고 b는 바이어스입니다. 보시다시피이 함수에는 비선형 성이 포함되지 않으므로 선형으로 분리 가능한 데이터 모델링에만 적합합니다. 계수 가중치 a_n을 사용하여 각 피처 변수 X_n의 중요성을 간단히 계량하기 때문에 이해하기가 매우 쉽습니다. 우리는 이러한 가중치 a_n과 Stochastic Gradient Descent (SGD) 버스 링 바이어스를 결정합니다. 보다 시각적 인 그림을 보려면 아래 그림을 확인하십시오!

그라디언트 디센트가 선형 회귀에 대한 최적의 매개 변수를 찾는 방법의 그림

선형 회귀에 대한 몇 가지 핵심 사항 :

  • 빠르고 모델링하기 쉬우 며 모델링 할 관계가 극도로 복잡하지 않고 데이터가 많지 않은 경우 특히 유용합니다. 이해하고 해석하기가 매우 직관적입니다. 선형 회귀 분석은 특이 치에 매우 민감합니다.

릿지 회귀

피처 변수간에 공선 성이 높은 경우 표준 선형 또는 다항 회귀 분석이 실패합니다. 공선 성은 독립 변수 사이에 거의 선형 관계의 존재입니다. 높은 공선 성이 있는지 여부는 몇 가지 다른 방식으로 확인할 수 있습니다.

  • 이론적으로 해당 변수와 Y의 상관 관계가 높더라도 회귀 계수는 중요하지 않습니다 .X 피처 변수를 추가하거나 삭제하면 회귀 계수가 크게 변경됩니다. .

먼저 능선 회귀가 어떻게 도움이 될 수 있는지에 대한 통찰력을 얻기 위해 표준 선형 회귀의 최적화 함수를 살펴볼 수 있습니다.

분 || Xw-y || ²

X가 특징 변수를 나타내는 경우, w는 가중치를 나타내며 실제 사실을 나타냅니다. 릿지 회귀는 모형에서 회귀 예측 변수 사이의 공선 성을 완화하기 위해 취해진 개선 조치입니다. 공선 성은 다중 회귀 모델에서 하나의 특징 변수가 다른 정확도로부터 선형으로 예측 될 수있는 현상입니다. 피처 변수는 이러한 방식으로 상호 연관되어 있기 때문에 최종 회귀 모델은 근사치에서 상당히 제한적이고 엄격합니다. 즉, 분산이 높습니다.

이 문제를 완화하기 위해 Ridge Regression은 변수에 작은 제곱 바이어스 계수를 추가합니다.

분 || Xw-y || ² + z || || ²

이러한 제곱 바이어스 계수는 피처 변수 계수를이 강성에서 멀어지게하여 모델에 약간의 바이어스를 도입하지만 분산을 크게 줄입니다.

릿지 회귀에 대한 몇 가지 핵심 사항 :

  • 이 회귀의 가정은 정규성을 가정하지 않는다는 점을 제외하고 최소 제곱 회귀와 동일합니다. 계수 값은 줄어들지 만 0에 도달하지 않으므로 피처 선택 기능이 없음을 나타냅니다.