[CV] CvT

[출처] CvT: Introducing Convolutions to Vision Transformers

cvt.pdf

0.95MB

 

[출처]: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

 

CvT.pdf

3.57MB

---

요약

논문 제목: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

저자: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby (Google Research, Brain Team)

발표: ICLR 2021

주요 내용 요약:

1. 배경 및 목적:
   • Transformer는 자연어 처리(NLP)에서 성공적으로 사용되었으나, 컴퓨터 비전에서의 사용은 제한적이었다.
   • 이 연구는 순수 Transformer를 이미지 분류에 적용하여 기존의 CNN(Convolutional Neural Network)을 대체할 수 있음을 보여주고자 한다.
2. 모델 소개:
   • Vision Transformer (ViT)는 이미지를 작은 패치로 나누고, 각 패치를 토큰처럼 취급하여 Transformer 모델에 입력으로 제공한다.
   • 패치의 선형 임베딩을 통해 이미지를 변환하고, 표준 Transformer 인코더를 사용하여 분류 작업을 수행한다.
3. 실험 결과:
   • 대규모 데이터셋(예: ImageNet-21k, JFT-300M)에서 사전 학습된 ViT는 다양한 이미지 인식 벤치마크에서 우수한 성능을 발휘하였다.
   • ImageNet, CIFAR-100, VTAB 등 중소형 데이터셋으로 전이 학습 시, ViT는 최첨단 CNN과 비교해 뛰어난 성능을 보였다.
   • ViT는 사전 학습에 필요한 계산 자원이 CNN보다 적다.
4. 주요 성과:
   • ViT는 ImageNet에서 88.55% 정확도를 달성했으며, CIFAR-100에서는 94.55% 정확도를 보였다.
   • ViT는 CNN 기반 모델보다 적은 자원으로 높은 성능을 보였으며, 특히 대규모 데이터셋에서 더욱 효과적이었다.
5. 모델 구조:
   • 이미지를 고정 크기 패치로 분할하고, 패치의 선형 임베딩에 위치 임베딩을 추가한 후 Transformer 인코더에 입력으로 제공.
   • [class] 토큰을 추가하여 분류 작업 수행.
   • 하이브리드 아키텍처를 통해 CNN 특징 맵을 ViT에 입력으로 사용 가능.
6. 미래 연구 방향:
   • ViT를 객체 검출, 이미지 분할 등 다른 컴퓨터 비전 작업에 적용하는 연구 필요.
   • 자기 지도 학습 방법을 통한 성능 향상 연구 필요.

결론:

• ViT는 대규모 데이터셋에서 사전 학습 시 뛰어난 성능을 발휘하며, 컴퓨터 비전에서 Transformer의 가능성을 보여준다.
• CNN을 대체할 수 있는 ViT의 효율성과 성능은 향후 연구와 응용에서 중요한 시사점을 제공한다.

---

Summary

Paper Title: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

Authors: Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby (Google Research, Brain Team)

Conference: ICLR 2021

Key Points Summary:

1. Background and Objective:
   • Transformers have been successfully used in natural language processing (NLP), but their application in computer vision has been limited.
   • This study aims to show that a pure Transformer can be applied to image classification tasks without relying on Convolutional Neural Networks (CNNs).
2. Model Introduction:
   • Vision Transformer (ViT) splits images into small patches, treats each patch as a token, and feeds them into a Transformer model.
   • The model uses linear embeddings of these patches and employs a standard Transformer encoder for classification tasks.
3. Experimental Results:
   • When pre-trained on large datasets (e.g., ImageNet-21k, JFT-300M), ViT performs exceptionally well on various image recognition benchmarks.
   • ViT achieves excellent results on mid-sized and small datasets such as ImageNet, CIFAR-100, and VTAB, often surpassing state-of-the-art CNNs.
   • ViT requires significantly fewer computational resources for pre-training compared to CNNs.
4. Key Achievements:
   • ViT achieved an accuracy of 88.55% on ImageNet and 94.55% on CIFAR-100.
   • ViT demonstrated superior performance with less computational resource consumption, particularly effective on large-scale datasets.
5. Model Architecture:
   • The image is divided into fixed-size patches, linearly embedded, and combined with position embeddings before being fed into the Transformer encoder.
   • An additional [class] token is used for classification.
   • Hybrid architectures allow using CNN feature maps as input to ViT.
6. Future Research Directions:
   • Further research is needed to apply ViT to other computer vision tasks such as object detection and image segmentation.
   • Exploring self-supervised learning methods to improve performance is essential.

Conclusion:

• ViT demonstrates strong performance when pre-trained on large datasets, showcasing the potential of Transformers in computer vision.
• The efficiency and performance of ViT provide significant insights for future research and applications, potentially replacing traditional CNNs in certain contexts.

---