딥러닝2012
AlexNet & ImageNet 혁명
크리제프스키가 GPU 기반 딥러닝으로 ImageNet 대회를 압도적으로 우승
AlexNet 아키텍처: 5 Conv + 3 FC, GPU 병렬 처리 구조 (Wikimedia Commons)
AlexNet은 GPU를 활용한 대규모 CNN으로, ImageNet 대회 오류율을 26%에서 16%로 급감시켰습니다. ReLU, 드롭아웃, 데이터 증강 등의 기법을 도입하여 딥러닝 붐의 시작점이 되었습니다.
핵심 수식
ReLU
x=뉴런의 가중합 (입력×가중치 합산값)
f(x)=양수면 그대로 통과, 음수면 0 — 단순하지만 기울기 소실 해결
Sigmoid
x=뉴런의 가중합
σ(x)=0~1 사이로 압축 — 깊은 네트워크에서 기울기 소실 문제 발생
e=자연상수 (≈2.718)
핵심 개념
ReLU
f(x)=max(0,x) — 기울기 소실 문제를 해결한 활성화 함수
드롭아웃(Dropout)
학습 시 랜덤으로 뉴런을 비활성화하여 과적합을 방지
데이터 증강(Augmentation)
회전·반전·크롭 등으로 학습 데이터를 인위적으로 늘리는 기법
주요 인물
알
알렉스 크리제프스키
AlexNet 설계 및 구현
일
일리아 수츠케버
AlexNet 공동 연구, 이후 OpenAI 공동 창립
제
제프리 힌튼
AlexNet 지도교수, GPU 활용 딥러닝 주창
영향 & 의의
딥러닝이 전통적 머신러닝을 압도할 수 있음을 입증. GPU 기반 학습이 표준이 되었고, 컴퓨터 비전을 넘어 전 분야에 딥러닝 열풍을 촉발했습니다.
용어집
ReLURectified Linear Unit
f(x)=max(0,x). 음수는 0, 양수는 그대로. 기울기 소실 문제를 해결한 활성화 함수
GPUGraphics Processing Unit
그래픽 처리 장치. 병렬 연산에 특화되어 딥러닝 학습을 수십 배 가속
드롭아웃Dropout
학습 시 뉴런을 랜덤으로 비활성화하여 과적합을 방지하는 정규화 기법
ImageNetImageNet Large Scale Visual Recognition Challenge
1000개 카테고리, 120만 장의 이미지 분류 대회. 딥러닝 발전의 벤치마크
과적합Overfitting
훈련 데이터에만 맞추고 새 데이터에 일반화하지 못하는 현상