안장점(saddle point) 이 중요한 이유 250611

안장점(saddle point)은 다변수 함수의 특정한 종류의 임계점으로, 어떤 방향으로는 최솟값처럼 보이고 다른 방향으로는 최댓값처럼 보이는 지점을 말합니다.

1. 정의 및 의미
• 이차원 함수 f(x,y)에서 한 점 (x_0,y_0)가 편미분이 모두 0인 임계점이면서, 그 점에서 Hessian 행렬의 고유값(eigenvalues)이 서로 부호가 다를 때 안장점이라 부릅니다.

2. 왜 중요한가?
• 최적화 문제에서 안장점은 진정한 극값(전역/국소 최솟값·최댓값)이 아니므로, 알고리즘이 안장점에 빠지면 잘못 수렴할 수 있습니다.
• 머신러닝이나 비선형 시스템 해석에서, 경사 기반 최적화(gradient descent) 과정이 안장점에서 수렴 정체(stall)가 발생할 수 있어 특별한 기법이 필요합니다.
• 물리학·공학에서도 포텐셜 에너지 곡면에서 안장점은 불안정 평형점을 나타내어 운동 방향에 따라 안정/불안정 거동을 구분짓습니다.