728x90 반응형 AI Research47 [딥러닝 기본지식] 손실 함수(Loss Function)의 이해 - 손실 함수의 정의와 다양한 종류들 ▶ 손실 함수(Loss Function == Cost Function)란? 손실함수는 신경망 성능의 '나쁨'을 나타내는 지표입니다. 정답과 비교했을 때 신경망이 학습 데이터를 얼마나 잘 처리했는지, 못 처리했는지를 나타냅니다. 이 값이 높을수록 모델이 좋지 않다는 것을 의미합니다. 이 지표의 값을 바탕으로 학습을 하면서 모델의 적절한 가중치를 찾아 나갑니다. 손실 함수는 사용자가 임의의 함수를 정의해 사용할 수도 있지만 일반적으로는 '평균 제곱 오차'와 '교차 엔트로피 오차'를 사용합니다. ▶ 손실 함수를 설정하는 이유? 신경망 학습에서 '미분'의 역할을 생각해보면 됩니다. 신경망 학습에서 최적의 가중치를 찾을 때 손실 함수의 값을 가능한 작게 하는 매개변수 값을 찾습니다. 이때 매개변수의 미.. 2023. 3. 3. [딥러닝 기본지식] 활성화 함수(Activation Function)의 이해 - 다양한 활성화 함수의 종류들 - Sigmoid (시그모이드 함수) - Tanh (Hyperbolic Tangent) - ReLU (Rectified Linear Unit) - Leaky ReLU - PReLU (Parametric ReLU) - ELU (Exponential Linear Unit) - Maxout ▶ Sigmoid (시그모이드 함수) ● 모든 수에 대해서 함수 값은 (0, 1) 사이의 모든 실수 값으로 출력 => 정교한 수 전달 가능 ● 매우 큰 양의 값일 경우 1에 가까운 값을, 매우 작은 음수 값일 경우 0에 가까운 값을 갖습니다. ● 단점 : - 기울기 소멸(Gradient Vanishing) 문제가 발생합니다. 입력 값이 무한대로 커져도 미분값이 거의 0에 수렴하게 됩니다. 그렇게 되면 1보다 작은 .. 2023. 3. 3. [딥러닝 기본지식] 활성화 함수(Activation Function)의 이해 - 활성화 함수란? 이번 게시물에서는 활성함수가 필요한 이유에 대해 작성하겠습니다. ▶활성화 함수(Activation Function)란? 활성화 함수는 한 노드의 출력값을 활성화를 일으킬 것인지를 결정하고 활성화를 일으킨다면 어느 정도의 세기로 활성화를 일으킬지 그 값을 결정해주는 함수라고 할 수 있습니다. 이전에, 그리고 현재 많이 쓰이고 있는 활성화 함수로는 Sigmoid, ReLu, tanh등이 있습니다. 이들의 공통점은 모두 비선형 함수라는 점입니다. 이렇게 비 선형 함수를 활성화 함수로 사용했을 때 가장 큰 장점은 층을 깊게 쌓을 수 있다는 점입니다. 그렇다면 왜 층을 깊게 쌓을 수 있는 것일까요? ▶비선형함수를 활성화 함수로 사용했을 때 층을 깊게 쌓을 수 있는 이유? 신경망에서 층을 쌓는다는 의미는.. 2023. 3. 3. [Pytorch-기초강의] 경쟁하며 학습하는 GAN ▶ GAN(Generative Adversarial Network) 이란? 직역하면 "적대적 생성 신경망"입니다. 1. 앞서 배운 CNN과 RNN 모델로는 새로운 것을 만들어 낼 수 없었습니다. 그러나 GAN은 새로운 이미지나 음성을 "생성(창작)"하도록 할 수 있습니다. 2. GAN은 적대적으로 학습합니다. GAN은 가짜이미지를 생성하는 생성자(generator)와 생성된 이미지의 진위를 판별하는 판별자(discriminator)가 번갈아가며 학습하는 경쟁적 방식으로 학습을 진행합니다. 3. GAN은 생성자와 판별자 모두 신경망으로 되어있는 인공신경망 모델입니다. => 요약하자면, GAN은 서로 대립하는 두 모델이 경쟁해 학습하는 방법론입니다. ● GAN이 주목받는 이유 비지도학습 방식이기 때문입니다... 2023. 3. 3. 이전 1 ··· 3 4 5 6 7 8 9 ··· 12 다음 728x90 반응형
