SGD

Tip & 내 생각 - 텐서 플로우 튜토리얼도 너무 좋다. - tf.kr (페이스북 그룹) 여기 좋음 - tensor flow, pytorch 둘다 공식 문서 너무 좋다. 💖🚀🌟 아이패드로 렉처 보면서 생각하기 -> 유용하더라. 렉처 읽으면서 생각하기 1. 모멘텀 옵티마이저 기울기를 누적해서 벗어나는 힘을 주자 (관성의 힘을 이용해서) 배치 사이즈가 요동이 칠 수 밖에 없다. 반대 방향 벡터의 합은 변동 폭을 줄어들게 한다. 앞으로 가는 힘은 동일하다. (반대 방향 힘 상쇄, 최적점으로 가는 힘 누적) 2. Adaptive LR 학습률 맨날 고정했었는데, 변화하면 어떨까? -> 가중치별로 다르게 학습률을 가진다. RMS Prop -> Ada grad의 단점 보완한다. -> 너무 과거의 거를 가져오게 된다..