[딥러닝 기본지식] Transfer Learning과 Fine Tuning
·
AI Research/Deep Learning
▶Transfer Learning(전이 학습)이란? Transfer Learning이란 한 분야에서 학습된 신경망의 일부 능력을 유사하거나 새로운 분야에서 사용되는 신경망의 학습에 이용하는 방법입니다. 데이터의 수가 적을 때 효과적입니다. 또한, 전이 학습 없이 밑바닥부터 새로 학습할 때 보다 훨씬 더 높은 정확도와 빠른 학습 속도를 얻을 수 있습니다. Transfer Learning에서 사용되는 학습된 신경망을 pretrained model 이라고 합니다. 대표적으로는 ImageNet, ResNet, GoogleNet, VGG 등이 있습니다. 대규모 데이터에서 잘 학습된 모델을 가지고 와서 사용자가 적용하려는 문제에 맞게 weight를 조금씩 변화하여 사용하면 됩니다. 따라서 첫 학습부터 어느 정도 합..
[딥러닝 기본지식] 그래프 신경망(Graph Neural Network)
·
AI Research/Deep Learning
▶ Graph Neural Network(GNN) GNN은 그래프 구조의 데이터를 입력으로 사용하는 인공 신경망입니다. 가장 많이 쓰이는 인공 신경망들인 FCN(Fully Connected Network)과 CNN(Convolutional Neural Network), RNN(Recurrent Neural Netwrok)등은 보통 벡터나 행렬 형태의 입력을 사용합니다. 그에 비해, GNN은 입력이 그래프 구조입니다. ​ ​ ▶ Neighborhoods Aggregation GNN은 입력으로 그래프 구조(노드들 사이의 연결 상태)와 노드별 feature 정보를 받습니다. 입력으로 받은 feature들의 정보와 이웃 노드 정보를 바탕으로 각 노드 별 embedding 을 출력 결과를 얻을 수 있습니다. 이때..
[딥러닝 기본지식] 가중치(weight)와 편향(bias)
·
AI Research/Deep Learning
▶ 가중치(weight) 각 입력 신호가 결과 출력에 미치는 중요도를 조절하는 매개변수(parameter)입니다. 입력 값에 곱해지는 수이며, 입력으로 들어온 데이터들 중에서 어떤 feature를 많이 반영하고, 어떤 feature를 덜 반영할지 결정해줍니다. 가중치는 활성화 함수에 따라 기울기를 증가시킵니다. 가중치가 커질 수록 그 feature는 모델에 더 많은 영향을 미치게 됩니다. 예를 들어, 집값을 예측하는 모델이 있다고 가정하겠습니다. 입력으로 들어오는 feature는 역과의 거리, 방 넓이, 층 수, 창문의 개수 등이 있습니다. 이 중 창문의 개수는 다른 세 개의 feature에 비해 덜 중요합니다. 따라서 역과의 거리, 방 넓이와 층 수는 높은 가중치를 창문의 개수는 낮은 가중치를 가지도록..
[딥러닝 기본지식] 평가 지표(Metrics)
·
AI Research/Deep Learning
이번 포스팅에서는 분류와 회귀에 사용되는 평가 지표들에 대해 설명하겠습니다! ​ ▶Classification Metrics Classification Metrics에서 가장 중요한 개념은 Confusion Matrix입니다. 이는 모델의 예측과 실제 결과를 비교하여 나타낸 표를 말합니다. 가로행은 모델의 예측된 결과를, 세로열은 실제 결과를 의미합니다. True Positive(TP) : 실제 True인 정답을 True라고 예측 (정답) False Positive(FP) : 실제 False인 정답을 True라고 예측 (오답) False Negative(FN) : 실제 True인 정답을 False라고 예측 (오답) True Negative(TN) : 실제 False인 정답을 False라고 예측 (정답) P..