딥러닝2015

ResNet — 잔차 학습 혁명

허카이밍이 잔차 연결로 152층 신경망 학습에 성공, 인간 수준 이미지 인식 달성

ResNet 잔차 연결: 입력 x를 변환 F(x)에 직접 더하는 skip connection (Wikimedia Commons)

ResNet 잔차 연결: 입력 x를 변환 F(x)에 직접 더하는 skip connection (Wikimedia Commons)

ResNet은 입력을 출력에 직접 더하는 잔차 연결(Skip Connection)을 도입하여, 수백 층 깊이의 네트워크도 안정적으로 학습할 수 있게 만들었습니다. 'F(x) + x' 구조로 기울기가 직접 전달되어 기울기 소실 문제를 근본적으로 해결했으며, ImageNet 2015에서 인간 수준(3.57%)의 오류율을 달성했습니다.

핵심 수식

잔차 학습
H(x)=F(x)+x\mathcal{H}(x) = \mathcal{F}(x) + x
x=블록의 입력 — skip connection으로 출력에 직접 더해짐
F(x)=신경망 레이어가 학습하는 잔차(변화량)
H(x)=블록의 최종 출력 = 변환값 + 원래 입력
+ x=핵심! 입력을 그대로 더해서 기울기가 직접 전달됨

핵심 개념

잔차 연결(Skip Connection)

입력을 변환 없이 출력에 직접 더하는 지름길 경로 — F(x) + x

기울기 고속도로

잔차 연결을 통해 기울기가 수백 층을 건너뛰어 직접 전달되는 효과

배치 정규화(Batch Norm)

각 레이어의 입력을 정규화하여 학습을 안정화하는 기법

주요 인물

허
허카이밍(Kaiming He)
ResNet 논문 1저자 (Microsoft Research)

영향 & 의의

딥러닝의 '깊이 혁명'. ResNet의 skip connection은 이후 Transformer, U-Net, DenseNet 등 거의 모든 현대 아키텍처에 영향을 미쳤으며, '잔차 학습'은 딥러닝의 가장 중요한 설계 원칙 중 하나가 되었습니다.

용어집

ResNetResidual Network

잔차 네트워크. Skip Connection으로 수백 층도 안정적으로 학습 가능

Skip ConnectionSkip / Shortcut Connection

입력을 변환 없이 출력에 직접 더하는 지름길. 기울기 직접 전달의 핵심

Batch NormBatch Normalization

배치 정규화. 각 레이어 입력의 분포를 정규화하여 학습을 안정화

잔차Residual

네트워크가 학습하는 것은 출력 전체가 아닌 '입력 대비 변화량' F(x) = H(x) - x

관련 항목

2012AlexNet & ImageNet 혁명2017트랜스포머 — Attention Is All You Need