[선형대수] MIT 18.06 - Geometry of Linear Equation

 

본 게시물은 Gilbert Strang 교수님의 강의를 기반으로 작성되었습니다. 

 

 

선형대수학의 근본적인 문제는 연립선형방정식을 푸는 것이다. 연립방정식은 여러 개의 선형방정식으로 이루어진 방정식의 집합이라고 표현할 수 있다. 각 방정식은 미지수들이 선형적인 형태로 나타나는 것이 특징이며, 이 방정식을 한 번에 풀어 여러 미지수의 값을 찾는 것이 가장 큰 목표이다. 

 

연립선형방정식은 일반적으로 Ax = b와 같은 형태로 표현할 수 있으며, Ax가 x(col1) + y(col2)으로 표현되면, 이를 선형결합(Linear Combination)이라고 아래의 그림처럼 정의할 수 있다. 

 

Linear Combination

 

본 게시물에서는 연립방정식을 3 가지의 관점에 대해 다룰 것이다. 

 

1. Row Picture

Row Picture는 연립선형방정식을 각 방정식이 표현하는 직선의 교점으로 해석하는 방식이다. 각 방정식은 N차원 평면에서 하나의 직선으로 나타나며, 이 직선들은 방정식이 정의하는 해를 만족하는 모든 점들의 집합을 의미한다. 두 방정식이 나타내는 직선들이 교차하는 점이 바로 두 방정식을 동시에 만족하는 해이다. 쉽게 말하자면, row picture 방식은 방정식들을 기하학적으로 시각화하여, 직선들의 교점으로 해를 찾는 방법이다. 

 

아래의 그림처럼 두 개의 방정식을 시각화하여, 교차하는 점을 찾게 되면 (1,2) 이라는 해를 얻을 수 있게 된다. 

2x-y=0 및 -x+2y=3들이 교차하는 지점

 

만약에 3차원이라면 어떻게 될까? 

 

3차원 방정식의 교차하는 지점

 

3차원에서는 row picture 방식이 매우 복잡해졌다. 과연 각각의 방정식을 시각화한 후, 3 개의 방정식이 교차하는 지점을 찾을 수 있을까? 물론 찾을 수는 있겠지만, 생각보다 어려울 것이다. 

 

2. Column Picture

Column Picture는 연립선형방정식을 행렬 형태로 표현할 때, 열벡터들의 선형 결합을 통해 해를 구하는 방식이다. 이 방식은 행렬의 열들을 기하학적으로 해석하고, 그들의 선형 결합으로 방정식을 해결하는 접근하는 것이다. 

 

예를 들어, 아래의 그림에서 각 열벡터(col1, col2)를 시각화한 후, 이 두 벡터의 적절한 선형 결합을 통해 목표 벡터 [0;3]을 표현할 수 있는 x와 y의 스칼라 값을 찾으면, 그 해가 (1,2)임을 알 수 있습니다.

 

만약에 3차원이라면 어떻게 될까? 

 

3차원에서 Column Picutre 방식은 2차원과 유사하게 적용되지만, 조금 더 복잡해진다. 하지만 Row Picture 방식과는 다르게 x,y,z의 scalar 값이 (0,0,1) 라는 것을 알 수 있다. 

 

3. Row Picture or Column Picture??? 

강의에서 따로 언급된 내용은 아니지만, 딥러닝 관점에서 column picture와 row picture에 대해서 이해하는 것은 중요하다고 생각이 되었다. 왜냐하면 딥러닝에서 입력 벡터와 가중치 행렬 간의 곱셈은 열벡터들의 선형 결합으로 나타나며, 이는 모델이 어떻게 입력 데이터를 처리하는지 조금이나마 이해할 수 있다고 생각한다.