[CV] ResNet

[출처]: Deep Residual Learning for Image Recognition

resnet.pdf

0.78MB

 

---

"Deep Residual Learning for Image Recognition" 요약

저자: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun (Microsoft Research)

초록:

• 깊은 신경망의 훈련 어려움을 해결합니다.
• 층 입력을 참조하여 잔여 함수를 학습하도록 층을 재구성하는 잔여 학습 프레임워크를 소개합니다.
• 잔여 네트워크(ResNets)가 최적화하기 더 쉽고 깊이가 증가함에 따라 정확도가 높아짐을 입증합니다.
• ImageNet 데이터셋에서 최대 152층의 잔여 네트워크를 평가하여 3.57%의 오류율로 최첨단 성능을 달성했습니다.
• COCO 객체 탐지 데이터셋에서도 깊은 표현으로 28%의 상대적 개선을 보여줍니다.

주요 기여:

1. 잔여 학습 프레임워크:
   • 네트워크가 학습할 함수를 잔여 매핑으로 재구성하여 원래 함수 H(x)H(x)H(x)를 F(x)+xF(x) + xF(x)+x로 근사합니다.
   • 네트워크가 잔여 함수 F(x)=H(x)−xF(x) = H(x) - xF(x)=H(x)−x를 학습하게 하여 최적화 과정을 단순화합니다.
2. 네트워크 아키텍처:
   • 단순 네트워크: VGG 네트를 참고하여 설계된 기본 네트워크로, 더 적은 파라미터와 낮은 복잡도를 가집니다.
   • 잔여 네트워크: 아이덴티티 숏컷 연결을 포함하여 층의 출력을 다음 층에 직접 추가하여 최적화를 용이하게 합니다.
3. 구현 및 훈련:
   • 각 합성곱 후 및 활성화 전 배치 정규화(BN)를 사용합니다.
   • 네트워크는 확률적 경사 하강법(SGD)으로 훈련되며 ImageNet 및 CIFAR-10 데이터셋에서 평가됩니다.
   • 광범위한 실험을 통해 잔여 네트워크가 단순 네트워크보다 훈련 및 검증 오류가 적고 정확도가 높음을 보여줍니다.
4. 실험 결과:
   • 잔여 네트워크는 훈련 오류를 크게 줄이고 깊이가 증가함에 따라 더 높은 정확도를 달성합니다.
   • ImageNet에서 152층 잔여 네트워크가 3.57%의 상위 5개 오류율을 기록하며 ILSVRC 2015 분류 대회에서 1위를 차지했습니다.
   • COCO 탐지 및 세분화와 같은 다른 인식 작업에서도 강력한 성능을 보여 ILSVRC 및 COCO 2015 대회에서 1위를 차지했습니다.

상세 분석:

• CIFAR-10 데이터셋:
  • 110층까지 잔여 네트워크를 테스트하여 이러한 깊이에서도 단순 네트워크보다 우수한 성능을 입증했습니다.
  • 1000층 이상의 네트워크에서도 효과적으로 훈련할 수 있음을 보여주며 잔여 학습 접근법의 강력함을 강조했습니다.
• 객체 탐지:
  • Faster R-CNN과 함께 구현되어 ResNet-101이 VGG-16보다 COCO 데이터셋에서 평균 정확도가 6% 증가하는 등 상당한 개선을 보여줍니다.
  • 박스 정제, 글로벌 컨텍스트 통합, 멀티 스케일 테스트와 같은 추가 기술을 적용하여 성능을 더욱 향상시켰습니다.

결론:

• 잔여 학습 프레임워크의 도입은 매우 깊은 신경망을 훈련하는 데 있어 중요한 발전을 의미합니다.
• 잔여 네트워크는 다양한 데이터셋 및 작업에서 최적화 및 정확도 면에서 상당한 개선을 보여주며 이미지 인식 및 객체 탐지에서 새로운 기준을 설정했습니다.

이 요약은 논문의 주요 측면과 발견을 강조하며, 잔여 학습의 혁신과 그로 인한 성능 향상을 강조

---

Summary of "Deep Residual Learning for Image Recognition"

Authors: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun (Microsoft Research)

Abstract:

• The paper addresses the difficulty in training deeper neural networks.
• Introduces a residual learning framework, reformulating layers to learn residual functions with reference to the layer inputs, making optimization easier.
• Demonstrates that deep residual networks (ResNets) are easier to optimize and achieve higher accuracy with increased depth compared to plain networks.
• Evaluated on ImageNet dataset with up to 152 layers, achieving state-of-the-art performance with a 3.57% error rate.
• Also shows improvements on the COCO object detection dataset with deep representations, achieving a 28% relative improvement.

Key Contributions:

1. Residual Learning Framework:
   • Reformulates the function to be learned by the network into a residual mapping, where the original function H(x)H(x)H(x) is approximated as F(x)+xF(x) + xF(x)+x.
   • Simplifies the optimization process by allowing the network to learn the residual F(x)=H(x)−xF(x) = H(x) - xF(x)=H(x)−x.
2. Network Architectures:
   • Plain Networks: Baseline networks inspired by VGG nets but with fewer parameters and lower complexity.
   • Residual Networks: Incorporate identity shortcut connections that add outputs of layers directly to subsequent layers, easing the optimization.
3. Implementation and Training:
   • Batch normalization (BN) is used after each convolution and before activation.
   • The networks are trained with stochastic gradient descent (SGD) and evaluated on both ImageNet and CIFAR-10 datasets.
   • Extensive experiments show that residual networks outperform plain networks in terms of both training and validation error.
4. Empirical Results:
   • Residual networks significantly reduce training error and achieve higher accuracy as depth increases.
   • On ImageNet, a 152-layer residual network achieved a 3.57% top-5 error rate, winning the ILSVRC 2015 classification competition.
   • The networks also show strong performance on other recognition tasks like COCO detection and segmentation, achieving 1st places in ILSVRC and COCO 2015 competitions.

Detailed Analysis:

• CIFAR-10 Dataset:
  • Residual networks with up to 110 layers were tested, demonstrating superior performance over plain networks, even at such depths.
  • Further exploration showed that networks with over 1000 layers can still be trained effectively, highlighting the robustness of the residual learning approach.
• Object Detection:
  • Implemented with Faster R-CNN, the ResNet-101 showed significant improvements over VGG-16, especially on the COCO dataset, with a 6% increase in mean average precision (mAP).
  • Additional techniques such as box refinement, global context integration, and multi-scale testing were applied to enhance performance further.

Conclusion:

• The introduction of the residual learning framework marks a significant advancement in training very deep neural networks.
• The residual networks demonstrate substantial improvements in optimization and accuracy across various datasets and tasks, establishing new benchmarks in image recognition and object detection.

This summary captures the critical aspects and findings of the paper, emphasizing the innovations in residual learning and the resulting empirical performance improvements.

 

---