요즘 논문을 읽다보면 Inductive Bias라는 단어를 자주 볼 수 있는데요! 이번 포스팅은 Inductive Bias에 대해 작성해보겠습니다 :D 1. Inductive Bias란? 우리는 딥러닝 모델을 학습시킬 때 모델이 일반화가 잘 되게 학습되길 기대합니다. 일반화가 잘 됐다는 것은 학습 시에 보지 못한 데이터도 적절히 잘 분류함을 뜻합니다. 이 떄 Inductive Bias가 사용됩니다. Inductive Bias란 모델이 주어지지 않은 데이터의 output을 예측하는 것입니다. 모델의 일반화 능력을 높이기 위해 사용하는 추가적인 가정을 의미합니다. 모델이 한 번도 보지 못한 데이터에 대해서도 정확한 output을 내기 위해서는 추가적인 가정이 필수적입니다. 이 추가된 가정은 사전 정보를 통해..

이전 포스팅에서는 Transformer의 가장 핵심이라 할 수 있는 Self-Attention에 대해 설명했습니다. 이번 포스팅에서는 Transformer의 전반적인 작동 과정에 대해 알아보겠습니다. [Paper] https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf [Github] https://github.com/huggingface/transformers GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. 🤗 Tr..

이번 포스팅에서는 자연어처리 분야의 눈부신 성능 향상을 가져온 Self Attention과 Transformer에 대해 알아보겠습니다 :) 참고한 논문은 아래와 같습니다. [Paper] https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf [Github] https://github.com/huggingface/transformers GitHub - huggingface/transformers: 🤗 Transformers: State-of-the-art Machine Learning for Pytorch, TensorFlow, and JAX. 🤗 Transformers: Stat..

이번 포스팅에서는 Text-to-image에서 많이 사용되는 Auto Regressive Model에 대해 작성하겠습니다 :) 1. Auto Regressive(AR) Model 이란? 자기 자신을 입력 데이터로 하여 스스로를 예측하는 모델입니다. 현재 time step까지 생성한 결과를 이용해 다음 시점의 output을 예측합니다. 그렇기 때문에 현재 time step의 데이터는 이전 time step의 모든 데이터에 대해 의존성을 갖게 됩니다. 아래 그림은 개념도와 likelihood식입니다. Auto Regressive Generative Model은 데이터를 생성해내는 과정에서 이전 time step까지의 모든 정보에 기반을 두고 생성하는 모델입니다. low resolution 이미지를 high ..