5. Re-sampling Methods

Re-sampling 은 Training sample에 단지 한번만 fitting하는 것이 아니라,
Training set에서 반복적으로 Sample(Subset)을 추출하고,  추출된 서로다른  sample들에  관심있는 model을(같은 통계적 방법을)  re-fitting하여, 
fitting된 결과가 서로 얼마나 다른지를 살펴보면서, Fitted model에 대해 추가적인 정보를 얻는 것이다. 

가장 일반적으로 많이 사용되는 Re-sampling 방법은 2가지,   Cross-Validation 과 BootStrap 이다. 

CV (cross-validation, 교차검증)

         Validation set approach
                                                                  K-fold CV
         Leave1out CV

• 모델 평가(assessment) : model의 performance 평가하는 process. Test Error 추정을 통해
                                                 (사용한 Statistical learning 방법의 performance측정) 
• 모델 선택 (selection) :     model의 적절한 flexibility의 level를 선택하는 process
                                                 (flexibility의 적절한 level 선택하기 위해 test error를 추정) 

Bootstrap

 parameter추정 , 또는 statistical learning method의  정확성(accuracy)을 측정하는 measure로 사용된다.