ImageNet-21k1 [논문 구현] ImageNet-21k 데이터셋 pre-training 방법 ViT는 트랜스포머의 일종이다.트랜스포머의 핵심은 초거대 파라미터를 운용하는 것인데,이를 위해 필수적인 것이 바로 pre-training이다. ViT는 기본적으로 ImageNet-21k에서 pre-training 하고,ImageNet-1k(2012)에서 fine-tuning한다.(이 포스팅에서는 ImageNet-1k가 아니라 21k를 찾는 법이니 혼동하지 않길 바랍니다.) 이런건 어디서 알 수 있냐면 라이브러리 깃허브를 참고하면 된다.https://github.com/google-research/vision_transformer 가끔... 아주 가끔... 이 pre-training을 직접 해야하는 괴랄한 상황이 생긴다.그래서 ImageNet-21k를 다운받아야 하는 곤란한 상황이 .. 2023. 6. 8. 이전 1 다음
