[ML] Eigenvector(고유벡터), Eigenvalue(고유값)의 의미

---

고유벡터(Eigenvector)와 고유값(Eigenvalue)은 선형대수학의 핵심적인 개념으로 선형 변환(Linear transformation)의 특성을 파악하는데 사용될 수 있습니다.

 

선형 변환(Linear transformation)이란?

어떤 행렬 $A$가 벡터 $\vec{x}$에 적용하면 새로운 벡터 $A\vec{x}$를 생성합니다. 이때 행렬 $A$를 $\vec{x}$에 적용되는 선형 변환이라고 합니다. 선형 변환 $A$은 벡터에 적용되는 함수 $f(\cdot)$의 일종이라고 볼 수 있습니다.

 

Figure 1. 선형 변환과 함수의 비교

기하학적으로 선형 변환은 늘이기, 회전, 반사, 기울이기, 축소 등의 연산을 복합적으로 수행하여 점(벡터)를 이동(변환)시킵니다. 예를 들어, 선형 변환 $A=\begin{bmatrix} 0.5 & -0.5 \\ 0.5 & 0.5 \end{bmatrix}$는 원점을 기준으로 45도 회전시키고, 벡터의 길이를 $\sqrt{0.5}$배 하는 선형 변환입니다. 벡터 $\vec{x}=[1~0]^\top$에 선형 변환 $A$를 적용하면 아래와 같이 변환됩니다.

 

Figure 2. 선형 변환의 기하학적 의미

또한 선형 변환은 선형성(Linearity)을 만족하기 때문에 두가지 특징을 가집니다.

 

1)  덧셈에 대해 보존 (Additivity)

$$ A(\vec{x}+\vec{y}) = A\vec{x} + A\vec{y} $$

 

2) 스칼라 곱에 대해 보존 (Homogeneity)

$$ A(c\vec{x}) = cA\vec{x} $$

 

고유벡터(Eigenvector)와 고유값(Eigenvalue)이란?

선형 변환 $A$가 어떤 벡터 $\vec{x}$에 적용했을 때 벡터의 방향은 바뀌지 않고 크기만 변한다면, 그 벡터를 고유벡터(Eigenvector) $\vec{v}$라고 하고 그때의 배율을 고유값(Eigenvalue) $\lambda$라고 합니다.

 

$$A\vec{v} = \lambda\vec{v} $$

 

아무리 복잡한 선형 변환이라도 고유벡터에 대해서는 스칼라 곱만큼 늘어나는 단순한 연산을 수행합니다. 따라서 이 특별한 성질을 잘 활용한다면 복잡한 선형 변환을 단순화시킬 수 있습니다. (행렬의 고유벡터와 고유값을 찾는 방법은 본 포스팅에서는 넘어가도록 하겠습니다.)

 

고유벡터(Eigenvector)의 의미

선형 변환 $A$를 벡터 $\vec{x}$에 적용하고자 합니다. 위에서 선형 변환은 덧셈과 스칼라 곱에 대해 보존되는 선형성을 가지고 있다고 하였습니다. 만약 벡터 $\vec{x}$를 선형 변환의 고유벡터 $\vec{v_1},\vec{v_2},...,\vec{v_n}$로 분해하여 아래와 같이 표현할 수 있다고 가정해봅시다.

 

$$ \vec{x} = c_1\vec{v_1} + c_2\vec{v_2} + \cdots + c_n\vec{v_n} $$

 

여기에 선형 변환 $A$를 적용하면 아래와 같이 스칼라 곱과 덧셈만 수행하도록 문제를 단순화시킬 수 있습니다.

 

$$ \begin{align} A\vec{x} &= A(c_1\vec{v_1} + c_2\vec{v_2} + \cdots + c_n\vec{v_n}) \\\\ &= c_1(\lambda_1\vec{v_1}) + c_2(\lambda_2\vec{v_2}) + \cdots + c_n(\lambda_n\vec{v_n}) \end{align} $$

 

고유벡터는 선형 변환의 성질을 가장 잘 드러내는 벡터로 선형 변환에서 벡터가 방향을 바꾸지 않는 축으로써 작용합니다. 고유벡터는 선형 변환에 의해 방향이 바뀌지 않기 때문에 그 변환의 본질적인 기준축 역할을 합니다. 이러한 고유벡터들을 기준으로 좌표계를 재정렬하면, 해당 선형 변환은 각 축 방향으로의 단순한 스케일링으로 표현될 수 있습니다.

 

References

[1] https://en.wikipedia.org/wiki/Eigenvalues_and_eigenvectors

 

---

오타나 잘못된 부분 있으면 댓글 부탁드립니다. 도움이 되셨다면 공감 눌러 주시면 감사하겠습니다 :)