[딥러닝 기본지식] 오차 역전파(backpropagation)의 이해 - 계산그래프와 연쇄법칙(chain rule)
·
AI Research/Deep Learning
이전 게시물들에서 신경망의 가중치 매개변수에 대한 손실 함수의 기울기는 수치 미분을 사용해 구한다고 설명하였습니다. 수치 미분은 단순하고 구현하기 쉽지만 계산 시간이 오래 걸린다는 단점이 있습니다. 이번에는 가중치 매개변수의기울기를 효율적으로 계산하는 '오차역전파(backpropataion, backward propagation of errors)'에 대해 설명하겠습니다. 오차역전파는 말 그대로 오차를 점점 거슬러 올라가면서 다시 전파하는 것입니다. 이를 설명하기 위해 간단한 문제를 계산 그래프를 이용해 풀어보도록 하겠습니다. 계산 그래프는 계산 과정을 그래프로 나타낸 것을 말합니다. 슈퍼에서 사과를 2개, 귤을 3개 샀습니다. 사과는 1개에 100원, 귤은 1개에 150원입니다. 소비세가 10%일 ..