카테고리 없음

[OpenCV] Activation Function

콜라드리블 2024. 11. 5. 22:51
작성자 김명원
일 시 2024. 11. 05 (화) 18:00 ~ 21:00
장 소 미래관 429호 자율주행스튜디오
참가자 명단 임혜진,  장원준, 이재영, 성창민, 김명원
 사 진

 

Activation Function은 인공 신경망에서 입력 신호를 받아들여서 출력 신호로 변환하는 역할을 한다. 이는 신경망의 각 뉴런에서 가중합을 계산한 후, 해당 값을 어떤 기준에 따라 활성화할지 여부를 결정하게 한다. 활성화 함수는 모델이 비선형성을 학습할 수 있도록 도와주며, 복잡한 패턴을 학습할 수 있도록 만든다.

 

1. Sigmoid

 

  • 수식: y=11+e−xy = \frac{1}{1 + e^{-x}}
  • 0과 1 사이의 값을 출력하여 확률 값으로 해석될 수 있습니다.
  • 주로 이진 분류에서 사용되지만, 기울기 소실 문제가 있을 수 있습니다.

2. ReLU

 

  • 수식: y=max⁡(0,x)y = \max(0, x)
  • 입력이 0 이하일 경우 0을 출력하고, 0보다 크면 입력 값을 그대로 출력합니다.
  • 비선형성을 제공하면서 계산이 효율적입니다.

3. ReLU6

 

  • 수식: y=min⁡(max⁡(0,x),6)y = \min(\max(0, x), 6)
  • ReLU와 비슷하지만, 최댓값이 6으로 제한됩니다.
  • 주로 모바일 환경이나 효율성을 중시하는 모델에서 사용됩니다.

4. Leaky ReLU

 

  • 0 이하의 입력 값에 대해 작은 기울기를 부여하는 ReLU의 변형입니다.
  • 죽은 ReLU 문제를 완화할 수 있습니다.

5. Swish

 

  • Sigmoid와 입력 값을 곱한 형태로, ReLU보다 더 부드러운 비선형성을 제공합니다.
  • 최근 딥러닝 모델에서 자주 사용되며, 더 나은 성능을 보이는 경우가 많습니다.

6. Hard Swish

 

  • Swish의 근사 형태로, 계산 효율성을 높이기 위해 약간 단순화한 형태입니다.
  • 모바일 환경에서 주로 사용됩니다.

 

다양한 활성화함수에 대해 알아보았다.
적절한 활성화함수를 사용해야 모델의 성능을 극대화할 수 있기 때문에 이에 대해 잘 공부해야겠다.