인공신경망의 기본구조

1.

- 입력층 

- 은닉층 : 데이터의 입출력 과정에서 직접 보이진 않지만 숨겨진 특징을 학습하는 역할.

- 출력층 

 

2. Activation Function 

[활성화 함수]

 

 : 딥러닝 네트워크에서는 노드에 들어오는 값들에 대하여 곧바로 다음 레이어로 전달하지 않고 주로 비선형 함수를 통과시킨 후 전달한다.

 : 이때 사용하는 함수를 활성화 함수(Activation Function) 이라고 부른다.

 

[은닉층]

 : 하이퍼볼릭 탄젠트 함수 ('쌍곡함수')

  -> sigmoid 시그모이드 함수를 보완

  -> 출력 범위가 -1 ~ 1 사이이기 때문에 훈련 초기에 각 층의 출력이 다소 정규화되는 경향 (원점 주위로 몰리게 되는 경향)

 

 

 : ReLU(Rectified Linear Unit)함수 

  - 계산속도가 빠르다는 장점. 출력에 최댓값이 없기 때문에 경사하강법의 문제를 완화(편평한 지역에서 심하게 지체되지는 않음) 

  - 과거에는 sigmoid 함수를 많이 사용했으나 최근에는 ReLU가 딥러닝에 더 적합하다고 알려져 많이 쓰이는 추세

  - Sigmoid함수와 tanh 함수는 입력값 x 가 너무 커지거나 너무 작아지면 그래프의 미분값(기울기) 이 0이 되는 문제가 발생하는데, ReLU 는 입력값 x가 0보다 작으면 미분값이 0이지만 , 0보다 클 경우 아무리 커져도 미분값이 1 인 상태가 유지되기 때문에 Vanishing Gradient 가 발생할 확률이 작다. 

  - 'Dying Neuron' 현상 

3. 손실함수 ,경사하강법 , optimizer

 - 손실함수 (Loss function)

  : 측정한 데이터를 토대로 산출한 모델의 예측값과 실제값의 차이를 표현하는 지표

  : MSE(Mean Squared Error) 

  : 크로스 엔트로피(Cross - Entropy)

 - Optimizer 

  : 손실함수의 값이 최대한 작아지도록