[데이콘] 모델 튜닝 챌린지 : RF 하이퍼파라미터 최적화 경진대회

프로젝트 소개

데이콘 유저 데이터로 유저의 로그인 여부를 예측하는 프로젝트!

이때 RandomForest 만으로 하이퍼 파라미터를 최적화시켜 성능을 높여야 하는 프로젝트

 

새로 배운 점

하이퍼 파라미터 최적화 방법

프로젝트 특성상 하이퍼 파라미터 최적화가 주가 되는 프로젝트였다.

그동안은 그리드 서치만 알고 사용해왔는데,

이번에 하이퍼 파라미터 최적화 방법에 대해 더 검색해보면서 AutoML을 새로 배우게 되었다!

 

optuna, pycaret, h2o 등의 방법이 있는 것 같고

어떤 블로거에 따르면 최근에는 optuna가 많이 쓰인다고 한다. 

 

랜덤포레스트의 하이퍼 파라미터

랜덤포레스트를 사용해본 적은 많지만 하이퍼 파라미터에 대해 열심히 살펴본 적은 처음이다

어떤 하이퍼 파라미터가 있는지, 어떤 의미인지 다시 한번 공부하는 시간이 되었다

 

느낀 점 & 어려운 점

러닝 타임으로 인한 부족한 시도

처음에는 그리드 서치로 시도해서 한 번 코드 돌릴 때 너무 오랜 시간이 걸렸다 

몇 번 튕기기도 했다..

automl을 좀 더 빨리 알았더라면

더 빠르게 성능을 높일 수 있지 않았을까 하는 아쉬움이 남는다

 

결과

 

제출 시도가 적어서 반포기였는데, 이 정도 결과라니 만족스럽다!

다음에는 이번에 배운 Automl을 적극 활용해서 더 좋은 성과를 낼 수 있으면 좋겠다