| 작성자 | 김명원 |
| 일 시 | 2024. 10. 31 (목) 18:00 ~ 21:00 |
| 장 소 | 미래관 자율주행스튜디오 429호 |
| 참가자 명단 | 임혜진, 이재영, 성창민, 장원준, 김명원 |
| 사 진 |  |
배치 정규화(Batch Normalization) : 입력 활성화를 채널 차원에서 정규화하여 출력이 평균이 0이고 분산이 1이 되도록 한다.
이 파라미터들은 학습 과정에서 조정되며, 정규화된 출력의 스케일과 오프셋을 조절한다.
네트워크의 학습을 안정화하고, 학습 속도를 향상시키며, 과적합을 방지하는 데 도움을 준다.
훈련 시, 채널별 평균과 분산이 계산된다.
이 통계치를 바탕으로 입력 텐서가 정규화된다.
정규화된 텐서에 채널별 스케일/쉬프트 연산이 적용된다.
이동 평균에 기반하여 running 평균/분산이 계산된다.
추론 시, running 통계치가 활용된다.
입력 텐서는 고정된 running 평균/분산을 기반으로 정규화된다.
정규화된 텐서에 채널별 scale/shift 연산이 적용된다.
정규화와 스케일/쉬프트 연산은 하나의 스케일/쉬프트 연산으로 병합된다.
정규화 방식의 차이는 주로 입력 통계치를 수집하는 데 사용하는 차원에 따라 달라진다.
오늘은 배치 정규화에 대해 알아봤다.
배치 정규화는 신경망을 학습하는 과정에서 안정성과 효율성을 높이는데 큰 역할을 한다.
앞으로 다양한 인공지능을 활용하면서 적절하게 배치 정규화를 사용해 학습시켜야 겠다.