[Machine Learning] Gradients

Machine Learning Logo

위키백과에 따르면, Gradient란 벡터 미적분학에서 스칼라장의 최대의 증가율을 나타내는 벡터장을 뜻한다고 한다.

기울기를 나타내는 벡터장을 화살표로 표시할 때 화살표의 방향은 증가율이 최대가 되는 방향이며, 화살표의 크기는 증가율이 최대일 때의 증가율 크기를 나타낸다.

---

하지만, 이게 문과인 나로써는 이해할 수 없어 좀 더 쉬운 설명을 찾기로 했다.

---

벡터 미적분학에서, 스칼라 값을 가지는 미분 가능한 함수 f가 여러 변수에 의해서 정의된다고 하자. 그것에 대한 Gradient는 벡터 장 또는 더욱 단순하게 벡터 값으로 이루어진 함수이다. 이것의 값은 포인트 p에 대한 벡터 값으로, 이것의 구성요소는 포인트 p에서 f에 대한 편미분이다. 즉, 아래와 같다.

Gradient에 대한 기하학적인 예제는 다음과 같다. 화살표가 Gradient를 나타내고, 검정색이 실제 함수의 값이 높은 것을 의미하고, 하얀색일수록 함수의 값이 작다. 즉, 함수의 값이 작은 곳에서 큰 곳으로 갈 수록 Gradient는 양의 방향을 보인다.

포인트에서의 Gradient는 탄젠트( Tangent ) 벡터로, 포인트에서의 미분은 Cotangent 벡터이다.