Home

sklearn 등에서 구현된 machine learning algorithm들은 굉장히 최적화가 잘 되어 손으로 계산하는 naive한 복잡도보다 훨씬 더 빠르게 작동하도록 구현되어 있습니다. 예를 들어, 정규방정식의 복잡도는 $O(mn^2)$으로 알려져 있지만 실제론 $O(m^{0.72}n^{1.3})$ 정도의 복잡도까지 최적화되어있습니다. 자세한 내용은 https://www.thekerneltrip.com/machine/learning/computational-complexity-learning-algorithms/을 참조!

Gradient 다변수 함수에 대한 일차 편미분 벡터입니다. Gradient의 방향은 함수값이 가장 크게 변하는 방향을 가리키고, gradient의 크기는 변화량의 크기를 나타냅니다.

Block matrix (partitioned matrix, 블록 행렬, 분할 행렬) 더 작은 행렬 블록으로 분할되었다고 간주된 행렬이다.

인위적으로 학습 데이터를 변형시켜 추가의 학습 데이터로 사용하는 기법을 data augmentation (데이터 증식), training set expansion이라고 합니다.

Remarks 본 포스팅은 https://scikit-learn.org/stable/glossary.html#term-warm-start 를 기반으로 작성되었습니다.

모델을 선택한 다음 해야할 일은 모델의 hyperparameter를 정하는 hyperparameter tuning 과정입니다.

Regular matrix / Singular matrix Square matrix (정방행렬) 중에서 역행렬이 존재하는 행렬을 regular matrix (정칙행렬)라고 하고 역행렬이 존재하지 않는 행렬을 singular matrix (특이행렬)라고 합니다.

Remarks 본 포스팅은 Hands-On Machine Learning with Scikit-Learn & TensorFlow (Auérlien Géron, 박해선(역), 한빛미디어) 를 기반으로 작성되었습니다.