AlexNet 에서 2015년 ResNet 으로의 발전

2011년 발표된 AlexNet에서 2015년 **ResNet(Residual Network, Deep Residual Learning)**이 나오기까지 CNN(Convolutional Neural Network)의 발전 과정에서 중요한 연구들이 진행되었으며, ResNet은 이러한 문제를 해결하고 더욱 강력한 성능을 보여준 모델이다.

1. AlexNet(2011)의 한계점

AlexNet은 딥러닝을 대중화한 첫 번째 모델이었지만, 몇 가지 한계가 있었다.

1. 더 깊은 네트워크를 만들기 어려움

AlexNet(8층) 이후 VGGNet(2014, 16~19층) 같은 더 깊은 네트워크가 등장했지만, 깊이가 증가할수록 기울기 소실(Vanishing Gradient) 문제가 심각해짐.

층을 깊게 쌓아도 성능이 향상되지 않거나 오히려 악화되는 문제 발생.

2. 과적합(Overfitting) 문제

AlexNet은 Dropout, 데이터 증강 등을 활용했지만, 더 깊은 모델을 만들면 여전히 과적합 문제가 발생.

3. 계산 비용 증가

VGGNet 이후 CNN 모델이 점점 깊어지면서 파라미터 수와 연산량이 증가하여 학습 속도가 느려지고 GPU 메모리 부담이 커짐.

2. 2015년 ResNet(Residual Network)의 주요 개선점

ResNet은 152층까지 네트워크를 깊게 쌓아도 학습이 가능하도록 만든 모델이며, 이를 통해 딥러닝의 새로운 기준을 제시했다.

① 깊은 신경망 학습을 가능하게 만든 "Residual Connection"

ResNet의 가장 큰 혁신은 **잔차 학습(Residual Learning)**을 활용한 **스킵 연결(Skip Connection, Shortcut Connection)**이다.

일반적인 CNN에서는 층이 깊어질수록 학습이 어려워지는 기울기 소실(Vanishing Gradient) 문제가 발생하는데, ResNet은 이를 해결함.

Residual Block(잔차 블록) 구조를 도입하여 네트워크가 학습해야 할 것을 직접 최적화하는 대신, 잔차(residual, 남은 차이)를 학습하도록 유도함.

일반적인 깊은 신경망과 Residual Learning 비교

기존 방식:  (입력 를 변환하는 함수 F(x)를 학습)

ResNet 방식:  (입력 를 직접 보존하고, 변화량 F(x)만 학습)

즉, 학습이 어려운 전체 함수  대신, 작은 변화량(잔차) F(x)만 학습하기 때문에 기울기 소실 문제가 완화됨.



② 네트워크 깊이가 깊어질수록 성능이 향상

일반적인 CNN에서는 네트워크를 깊게 만들면 오히려 학습이 어려워지지만, ResNet은 152층까지 깊어지더라도 성능이 꾸준히 향상됨.

**2015년 ImageNet 대회에서 압도적인 성능(Top-5 error 3.57%)**을 기록하며 우승.


③ 더 효율적인 파라미터 활용

VGGNet 대비 적은 파라미터 수로도 높은 성능을 달성.

ResNet-152(152층) 모델이 VGG-19(19층)보다 연산량은 비슷하면서도 훨씬 좋은 성능을 냄.

3. AlexNet vs. ResNet 비교


4. 결론: ResNet의 의미

ResNet은 **잔차 학습(Residual Learning)**을 활용하여 딥러닝에서 층을 깊게 쌓는 문제를 해결했다.

기울기 소실 문제 해결 → 네트워크를 깊게 만들면서도 안정적으로 학습 가능.

ImageNet 대회에서 혁신적인 성능을 기록하며 이후 딥러닝 모델(Transformer 등)의 발전에도 영향을 줌.


결론적으로, AlexNet에서 시작된 CNN 연구가 ResNet을 통해 극적으로 발전하여, 신경망의 깊이가 성능을 제한하는 문제를 극복할 수 있게 되었다.