Classification

Logistic (regression) classification

: classification algorithm중 정확도가 높은 algorithm이다.

 

 binary classification

0과 1로 enconding하여 결과를 두가지로 분류한다.

 

이 때 linear Regression을 사용하면

결과가 0이나 1 사이가 아닌 0보다 작거나 1보다 큰 값이 나올수 있고,

x값이 커지면 기울기가 바뀌어 0과 1을 구분하는 기준값이 변화한다.

 

-> H(X)를 0과 1사이의 값으로 압축해주는 함수가 필요하다.

->이 함수가 sigmoid function 또는 logistic function 이다.

 

z = wx

H(x) = h(z)

이 함수는 어떤 점에서 시작하느냐에 따라 최저점이 달라진다.

이런 지점을 local minimum이라고 한다.

사실 우리가 찾고자 하는 것은 global minumum인데 local minimum에서 학습을 멈추므로

이런 그래프에서는 Gradient descent algorithm을 사용할 수 없다.

 

-> cost 함수를 바꿔야한다!

 

C(H(x),y) = -ylog(H(x)) - (1-y)log(1-H(x))

 

minimize 하는 법은 이전과 마찬가지로 한 기울기 값에서 cost함수 미분 값을 빼면서 진행한다.

 

Youtube 모두를 위한 딥러닝 참고