규제화(Regularization)
- 규제화 즉 가중치 규제는 가중치의 값이 커지지 않도록 제한하는 기법
- 가중치를 규제하면 모델의 일반화(generalizability)의 정도가 올라간다. -> 오버피팅을 방지할 수 있게 된다.
- 가중치의 크기를 제한하면, 모델이 소수의 데이터에 집착하지 않기 때문에
- L1 norm (L1 규제) : 손실함수에 가중치의 절대값인 L1 norm을 추가한다.
c.f) Lasso : 회귀모형에 L1 규제 추가한 것
- L2 norm (규제) : 손실함수에 가중치에 대한 L2 norm 을 추가한다.
- 주로 L2 norm 을 많이 사용
드롭아웃(drop out)
- 은닉층의 뉴런을 일정 비율로 배제하고 학습
- 드롭아웃의 하이퍼파라미터는 제외할 뉴런의 비율이며 이 값이 너무 낮으면 오버피팅 방지 효과가 크지 않은 반면 너무 높으면 언더피팅(과소적합)이 될 수 있다.
'ML&DL' 카테고리의 다른 글
| 딥러닝과 시계열 (0) | 2023.03.01 |
|---|---|
| batch normalization , early stopping (0) | 2023.02.28 |
| CNN 분류모형 예시 (0) | 2023.02.25 |
| CNN 의 차원 (1d, 2d, 3d) (0) | 2023.02.21 |
| CNN 기본 개념 (0) | 2023.02.21 |