custom Dataset과 Dataloader에 대해 설명하기 전에 pytorch에서 제공하는 Dataset과 Dataloader의 기본적인 사용법 부터 설명하도록 하겠습니다. ​ 파이토치에서는 데이터를 좀 더 편리하게 다룰 수 있도록 데이터셋(Dataset)과 데이터로더(DataLoader)라는 모듈을 기본적으로 제공합니다. 이를 사용하면 batch size 설정, 데이터 셔플(shuffle, 랜덤하게 데이터를 전달), 병렬 처리까지 파라미터로 간단히 조절하여 수행하는 것이 가능해집니다. 기본적인 사용 방법은 Dataset을 정의하고, 이를 DataLoader에 전달하는 것입니다. 간단한 사용법을 설명하기 위해 Float형 텐서를 입력받아 Dataset의 형태로 변환해주는 TensorDataset을 ..

분류기를 통과한 후 나온 현재 tensor의 구조는 다음과 같습니다. (batch_size, max_len, num_classes) 이를 아래와 같은 순서로 변경해주어야 합니다. (batch_size, num_classes, max_len) 참고 사이트에 따르면 두번째 자리에 항상 클래스 수가 와야 합니다. ​ 참고: https://stackoverflow.com/questions/63648735/pytorch-crossentropy-loss-with-3d-input Pytorch crossentropy loss with 3d input I have a network which outputs a 3D tensor of size (batch_size, max_len, num_classes). My grou..