Home

Support Vector Machine (SVM)은 선형, 비선형 분류, 회귀 이상치 탐색에도 사용할 수 있는 다목적 머신러닝 모델입니다.

“A hero is a man who does what he can.” - Romain Rolland in “John Christopher: Storm and Stress”

Decision Tree 단계별로 각 feature의 적절한 값을 기준으로 sample들을 분할하여 tree 형태의 model을 학습시키는 방법이다. 매우 복잡한 데이터도 학습시킬 수 있는 강력한 알고리즘으로 분류와 회귀, 다중출력 작업도 가능한 다재다능한 알고리즘이다.

Remarks 본 포스팅은 https://datascienceschool.net/view-notebook/d0b1637803754bb083b5722c9f2209d0/을 기반으로 작성되었습니다.

Ensemble 일련의 예측기로부터 예측을 수집하면 가장 좋은 한 가지 모델보다 더 좋은 예측을 얻을 수 있습니다. 일련의 예측기를 ensemble이라고 부르고, 이러한 방식으로 학습하는 것을 ensemble learning, ensemble learning algorithm을 ensemble method라고 부릅니다.

Statistical inference (통계적 추론): 주어진 자료를 이용하여 모집단의 특성을 결정지어주는 모수(parameter) $\theta$에 대한 정보를 이끌어내는 것. 크게 추정(estimation)과 가설검정(hypothesis testing)으로 분류된다. Estimation (추정): 표본을 이용하여 모집단의 미지의 모수를 예측하는 과정 Estimator (추정량): 모수 $\theta$를 하나의 값으로 추측하는 통계량(statistic) $\hat \theta(X_1, \cdots, X_n)$ (확률변수) Estimate (추정값, 추정치): 표본(sample)을 이용하여 구한 estima...

Ridge regression (Tikhonov regularization): cost funtion에 l2 regularization ($\alpha \Sigma_i \theta_i^2$)이 추가된 선형 회귀 Lasso regression: cost funtion에 l1 regularization ($ \alpha \Sigma_i \mid \theta_i \mid $)이 추가된 선형 회귀 Elastic net: cost funtion에 l1, l2 regularization을 모두 추가한 선형 회귀