앙상블 학습과 랜덤포레스트

목차

1. 앙상블학습

2. 배깅과 페이스팅

3. 랜덤 패치와 랜덤 서브스페이스

4. 랜덤 포레스트

5. 부스팅
1) AdaBoost
2) Gradient Boosting
3) XGBoost

6. Bagging vs Boosting

7. 스태킹(Stacking)

8. Why 앙상블?

본문내용

*스태킹(Stacking)
- 스태킹(Staking, Stacked generalization) : 앙상블 학습에서 각 모델의 예측값을 가지고 새로운 메타 모델(meta learner)을 학습시켜 최종 예측 모델을 만드는 방법

- 스태킹 과정
1. 학습 데이터셋에서 샘플링을 통해 subset-1을 만들고, 이를 이용해 각 모델을 학습시킨다.
2. Subset-2 학습 시킨 모델을 이용해 각 모델의 예측값을 출력하고 예측값을 합친다.
3. 합쳐진 예측값들을 input feature로 사용하는 meta learner을 학습시킨다.

* Why 앙상블?
- Error 최소화
다양한 모델의 결과를 종합하여 전반적으로 오류를 줄여줌

- Overfitting 감소
각 모델 별로 bias가 존재함
이렇게 다양한 bias를 종합하여 결과를 생성하게 되어, overfitting을 줄여줌
- Low Bias, High Variance
Variance를 줄이기 위한 기법

참고 자료

없음