gradient descent (경사하강법)복습

*코드스테이츠 AI 부트캠프 20210914 11시 줌 강의, 업로드 동의를 받았습니다.

 

7개월전 쓴 벨로그 학습 글을 복습할 겸 포스팅하는 나.. 부끄럽고 멋져...(?)

이해가 잘 되었던 그랜드 캐니언에서 뛰어내리는 예시!

 

경사하강법을 배우는 이유

 

용어 (차이를 작게) | 에러를 최소화 시키고 싶다 -> 에러: cost function
error=cost=distance 같은 언어

cost function을 최소화-->🌟최적화(optimization)

방법: gradient descent 사용

"비행기에서 눈을 감고 그랜드 캐니언에 뛰어 내리는데 최대한 밑으로 내려가는게 목표다."

기울기=0이다를 찾는 것이다.
경사 하강법 : 경사가 되게 다양한데 거기서 내가 어떻게 경사를 찾아서 가느냐..

local minimun:  시야의 한계

자신은 global 찾았다고 생각해도 local인 경우가 많아서 최적화가 어렵다.

Q (동기분 질문) : 처음부터 global minimum을 찾을 수 없는 이유는?

A: 과정을 봐야한다. 시작점이 랜덤하다.
기울기를 따라서 내가 갈 수 있는 대로 간다.
산을 내려간다고 생각하면 가장 이지 웨이로 가게 된다. 계속 방향을 틀어서 간다. 이게 경사 하강법이다.

• learning rate=속도
  가는 속도가 너무 빠르면 튕겨나가고 너무 느리면 한없이 가는 것. 
• 그래서 최적화된 minimum으로 간다고 생각하야함.

비행기에서 눈을 감고 그랜드 캐니언에 뛰어 내리는데 최대한 밑으로 내려가는게 목표다.
기울기=0이다를 찾는 것이다.

경사 하강법 : 경사가 되게 다양한데 거기서 내가 어떻게 경사를 찾아서 가느냐..

random initialization

비행기에 내려서 산으로 하강을 하는데 시작점이 랜덤하다고 아까 설명한 것.

-> 똑같은 모델인데도 할 때 마다 시작점이 다르니까 결과값이 달라짐.
-> 결과값을 같이하고 싶으면 시작점을 같게 함.
ex) seed(시작점) 가 4다 이런식으로.

미분

Q: 무엇이 맞냐

A: 4x +2y (x로 편미분) 2y는 상수 처리

seed

ex) 나는 시드를 42로 심었다.

(질문)

Q: 오늘 과제에 주어진 machine learning model의 error function ( ε )이 다음과 같을 때 error function을 최소화 하는 최적의 parameter들을 구하세요 라는 문제가 있던데, 문제가 이해가 안갑니다. 파라미터를 구하라는게 어떤걸 말하는지 모르겠습니다.

(서로 general 디스코드에서 답은 알려주지 말되, 서로 도와가면서 해야 성장한다.!!)

 

Q:경사하강법에서 0가 되는 지점이 아래로 볼록한 최소점이랑 위로 볼록한 최대점이 되는 0지점이 있는데 이것도 구분이 가능한가요?