Day 3 더나은 신경망 학습을 위한 방법들

질문 정리 

 

0. 릿지 이해가...xx

 

Q: 가중치 감소 이해 

 

1. Xavier 초기화는 가중치를 표준편차가 고정값인 정규 분포로 초기화 했을 때 등장한 방법이라는데 어떤 문제가 일어나나요? 

 

2.그리고 이 Xavier는 렐루일때 층이 지날수록 왜 활성화 값이 고르지 못하나요

그리고 이건 왜 He초기화에서 사용하면 해결되나요 

--------------------------------------------------------------------------------

hyperparameter / GridSearch, RandomSearch (ML)

딥러닝에서 -> 시간적 / 현실적 한계 

 

가중치 초기화 

 

가중치가 0이어도 학습이 일어나긴 하는데, (편향이 있으니까) 그런데 균일성이 문제

Early Stopping  

왜 255로 나누냐, 255로 나눠도 되서 간단하게, 나중에 데이터가 커지면 다른걸로