작성자 | 김명원 |
일 시 | 2024. 11. 05 (화) 18:00 ~ 21:00 |
장 소 | 미래관 429호 자율주행스튜디오 |
참가자 명단 | 임혜진, 장원준, 이재영, 성창민, 김명원 |
사 진 |
Activation Function은 인공 신경망에서 입력 신호를 받아들여서 출력 신호로 변환하는 역할을 한다. 이는 신경망의 각 뉴런에서 가중합을 계산한 후, 해당 값을 어떤 기준에 따라 활성화할지 여부를 결정하게 한다. 활성화 함수는 모델이 비선형성을 학습할 수 있도록 도와주며, 복잡한 패턴을 학습할 수 있도록 만든다.
1. Sigmoid
- 수식: y=11+e−xy = \frac{1}{1 + e^{-x}}
- 0과 1 사이의 값을 출력하여 확률 값으로 해석될 수 있습니다.
- 주로 이진 분류에서 사용되지만, 기울기 소실 문제가 있을 수 있습니다.
2. ReLU
- 수식: y=max(0,x)y = \max(0, x)
- 입력이 0 이하일 경우 0을 출력하고, 0보다 크면 입력 값을 그대로 출력합니다.
- 비선형성을 제공하면서 계산이 효율적입니다.
3. ReLU6
- 수식: y=min(max(0,x),6)y = \min(\max(0, x), 6)
- ReLU와 비슷하지만, 최댓값이 6으로 제한됩니다.
- 주로 모바일 환경이나 효율성을 중시하는 모델에서 사용됩니다.
4. Leaky ReLU
- 0 이하의 입력 값에 대해 작은 기울기를 부여하는 ReLU의 변형입니다.
- 죽은 ReLU 문제를 완화할 수 있습니다.
5. Swish
- Sigmoid와 입력 값을 곱한 형태로, ReLU보다 더 부드러운 비선형성을 제공합니다.
- 최근 딥러닝 모델에서 자주 사용되며, 더 나은 성능을 보이는 경우가 많습니다.
6. Hard Swish
- Swish의 근사 형태로, 계산 효율성을 높이기 위해 약간 단순화한 형태입니다.
- 모바일 환경에서 주로 사용됩니다.
다양한 활성화함수에 대해 알아보았다.
적절한 활성화함수를 사용해야 모델의 성능을 극대화할 수 있기 때문에 이에 대해 잘 공부해야겠다.