이전 게시물에서 손실 함수의 값을 최소로 하는 매개변수를 찾는 방법인 경사하강법에 대해 설명했습니다. 이를 최적화(optimization)라고 합니다. 현재의 손살 함수 값이 감소하는 방향으로 매개변수를 갱신하는 것입니다. 그림 출처 지금까지 최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)를 이용했습니다. 이번 게시물에서는 최적화를 시키는 다양한 방법들에 대해 설명하겠습니다. - BGD(Batch Gradient Descent, 배치 경사하강법) - SGD(Stochastic Gradient Descent, 확률적 경사하강법) - MSGD(Mini-Batch Stochastic Gradient Descent, 미니-배치 확률적 경사하강법) - Momentum(모멘텀) - Adagrad - Ad..