Batch-Normalization은 왜 해야하는가? (정리중~)

시작에 앞서
본 내용에서는 Batch-Normalization이란 무엇이며 왜 해야하는가에 대해
스스로 어느정도 이해하고 있는지 정리해볼 예정입니다.

 

Batch-Normalization

Min Batch 내의 분포를 스케일링 하는 과정

 

Why?

• Batch 단위로 학습을 하면 발생되는 문제 : Internal Covariant Shift
  • Internal Covariant Shift : 학습 과정에서 계층 별로 입력의 데이터 분포가 달라지는 현상
  • 위와 유사하게 Batch 단위로 학습을 하게 되면 Batch 단위간에 데이터 분포의 차이가 발생할 수 있다.
  • 이 문제를 개선하기 위한 개념이 Batch Normalization

 

How?

• 각각의 Min-Batch 마다 적용
  • 각각의 Batch마다 적용함으로써,
    크게 분포되어있는 데이터를 0~1사이로 정규화 시키며 이를 통해 weight의 학습가중치를 낮출수 있다?

 

참고중~

https://gaussian37.github.io/dl-concept-batchnorm/

배치 정규화(Batch Normalization)