[딥러닝 기본지식] batch size가 학습에 미치는 영향 / 적절한 batch size 선택하기
·
AI Research/Deep Learning
- batch size가 학습에 미치는 영향 batch size 의 값에 따라 학습 결과는 직접적인 영향을 받게 됩니다. 클때와 작을 때 각각의 장단점은 아래와 같습니다. ✅ 배치 크기가 클 때 (예: 256~1024) ✔ 장점:병렬 연산이 최적화됨 → GPU 활용도가 높아짐학습이 빠름 (한 번의 forward/backward pass에서 많은 샘플을 처리)Gradient가 안정적 (많은 샘플을 평균내므로 변화가 작음)❌ 단점:일반화 성능이 낮아질 가능성 (Gradient가 안정적이라 local minima에 빠질 위험 있음)메모리 사용량이 많음 (큰 모델에서는 Out of Memory(OOM) 발생 가능)배치 내 데이터 다양성이 감소하여 Overfitting 위험 증가✅ 배치 크기가 작을 때 ..