[12] In-Context Edit: Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer
·
Paper Review/etc
[Paper] https://arxiv.org/pdf/2504.20690[Github] https://github.com/River-Zhang/ICEdit.git GitHub - River-Zhang/ICEdit: Image editing is worth a single LoRA! 0.1% training data for fantastic image editing! Training releImage editing is worth a single LoRA! 0.1% training data for fantastic image editing! Training released! Surpasses GPT-4o in ID persistence! Official ComfyUI workflow release! Onl..
[11] Visual Instruction Tuning (LLaVA: Large Language and Vision Assistant)
·
Paper Review/etc
[paper] https://arxiv.org/pdf/2304.08485[Github] https://github.com/haotian-liu/LLaVA GitHub - haotian-liu/LLaVA: [NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) built towards GPT-4V level capabilities and beyo[NeurIPS'23 Oral] Visual Instruction Tuning (LLaVA) built towards GPT-4V level capabilities and beyond. - haotian-liu/LLaVAgithub.com Abstract 기존 LLM의 문제점: 이미지를 입력 받지 못해 vision 정보를 처리..
[딥러닝 기본지식] batch size가 학습에 미치는 영향 / 적절한 batch size 선택하기
·
AI Research/Deep Learning
- batch size가 학습에 미치는 영향 batch size 의 값에 따라 학습 결과는 직접적인 영향을 받게 됩니다. 클때와 작을 때 각각의 장단점은 아래와 같습니다. ✅ 배치 크기가 클 때 (예: 256~1024) ✔ 장점:병렬 연산이 최적화됨 → GPU 활용도가 높아짐학습이 빠름 (한 번의 forward/backward pass에서 많은 샘플을 처리)Gradient가 안정적 (많은 샘플을 평균내므로 변화가 작음)❌ 단점:일반화 성능이 낮아질 가능성 (Gradient가 안정적이라 local minima에 빠질 위험 있음)메모리 사용량이 많음 (큰 모델에서는 Out of Memory(OOM) 발생 가능)배치 내 데이터 다양성이 감소하여 Overfitting 위험 증가✅ 배치 크기가 작을 때 ..
[Pytorch] num_workers가 성능에 미치는 간접적 영향
·
Pytorch
딥러닝으로 분류모델 학습도중, validation accuracy가 n epoch =>.  "class A" Acc: 98.21%,   "class B" Acc: 98.67%n+1 epoch =>   "class A" Acc: 28.96%,   "class B" Acc: 99.88%이렇게 데이터가 적은 쪽 클래스의 정확도가 대폭 감소하는 현상이 발생했습니다.원인을 찾아보니 num_workers의 값이 크면 발생할 수 있는 현상이라고 합니다. - num_workers란?  num_workers는 PyTorch의 DataLoader가 데이터를 로드할 때 사용할 서브 프로세스(worker)의 개수를 의미합니다.기본적으로 DataLoader는 데이터를 배치 단위로 불러오는데, num_workers를 늘리면 여러..