대학 강의/선형대수

우리는 선형대수를 배우면서 Decomposition이 가장 중요한 요소 중 하나라고 배운다. Decomposition은 복잡한 행렬을 쉬운 행렬들로 표현할 수 있게 해서 해석적인 면 또는 용량적인 면을 해결해주기 때문이다. SVD는 Decomposition 중 하나이다.SVD란?SVD를 쉽게 말하자면 다음과 같다. $$AV = U\Sigma$$ 어떤 직교 행렬(orthogonal matrix, $V$)를 $A$로 행렬곱 했을 때 그 결과는 크기는 달라지더라도 다시 다른 직교 행렬($U$)로 변환된다. 그리고 $V$와 $U$는 각각 $A^T A$, $AA^T$의 EVD(Eigen Value Decomposition)으로 얻을 수 있고, $\Sigma$의 대각 성분의 크기 순으로 $V$, $U$, $\Sig..

2차원에서 선형 변환과 같은 핵심 개념들을 제대로 이해했다면, 그보다 높은 차원에서도 잘 적용할 수 있다. 2차원 이상의 차원에 이 개념들을 적용한다는 것이 어떤 의미인지 알아보자. 3차원 선형변환 먼저 3차원 선형변환을 생각해보자. 이는 3차원 벡터를 입력받아 3차원 벡터를 출력한다. 우리는 이를 격자로 표현된 3차원 공간에서의 벡터로 상상할 수 있다. 또한 이 변환은 기저벡터의 움직임을 알면 완벽하게 서술될 수 있다. 이 기저벡터들은 각각 x축, y축, z축에 따라 $\hat i, \hat j, \hat{k}$라고 한다. 변환된 기저벡터들을 각각 좌표값으로 나타낸 뒤, 이를 열로 합쳐 3x3 행렬로 적는다. 단지 이 9개의 숫자들만 있으면 이 변환을 완전하게 설명할 수 있다. 예를 들어 3차원 공간을..

복습 지난 포스트에서 말한 것처럼, 선형 변환은 함수와 같다. 입력 벡터를 집어넣으면 출력 벡터가 나오는 것이다. 여기서 중요한 점은, 선형 변환에 의해 기저 벡터가 어떻게 옮겨졌는지를 알면, 그 선형 변환이 무엇인지 파악할 수 있다는 것이다. 왜냐하면 모든 벡터들은 기저 벡터들의 선형 결합으로 표현 가능하고, 변형 후에도 변형된 기저 벡터들의 선형 결합으로 표현 가능하기 때문이다. 변형 전 : $3\hat\imath + 2\hat\jmath$ 변형 후 : $3 ($변형된 $\hat\imath) + 2($변형된 $\hat\jmath)$ 즉, 변형된 기저 벡터들의 좌표값만 알면 벡터가 어떻게 변할지 계산할 수 있다는 것이다. 만약 변형된 $\hat\imath$과 $\hat\jmath$의 좌표값이 각각 $(..

선형 변환 변환 선형 변환에서의 ‘변환’은 ‘함수’의 다른말일 뿐이다. 선형 대수 맥락으로 보자면, 특정 벡터를 다른 벡터로 바꾸는 변환은 입력 벡터를 받아 출력 벡터를 반환하는 함수와 같다. 그런데 같은 의미라면, 왜 굳이 ‘함수’ 대신 ‘변환’이라고 할까? 이는 입력-출력 관계를 시각화하는 특정 방법(회전, 반전 등)을 암시한다. 알다시피, 벡터 함수를 이해하는 가장 좋은 방법은 움직임으로 이해하는 것이다. 어떤 변환이 입력 벡터를 출력 벡터로 바꾼다면, 우리는 이를 입력 벡터를 출력 벡터로 이동시키는 것으로 생각할 수 있다. 이 변환을 모든 벡터에 적용한다고 생각하면, 모든 가능한 입력 벡터들을 움직여 결과 벡터를 만드는 것을 상상할 수 있다. 하지만 많은 벡터를 화살표로 생각하는 것은 혼란스럽다...

이전 포스트에서 벡터 기본 연산인 벡터 덧셈, 스칼라 곱셈과 함께 벡터 좌표를 설명했다. 기저 벡터 (basis vector) 이런 벡터 좌표들을 다른 방식으로 볼 수 있는 또 다른 흥미로운 관점이 있다. $ \left[ \begin{matrix} 3 \\ -2 \\ \end{matrix} \right]$와 같은 벡터가 있을 때 3과 -2를 하나의 스칼라로 생각해보자. 즉, 각각의 좌표값이 벡터를 어떻게 늘리고 줄일지에 대한 정보인 것이다. 이제, 벡터의 x,y 좌표값을 스칼라로서 $\hat\imath$과 $\hat\jmath$를 늘리고 줄인다고 생각해보자. $\hat\imath$과 $\hat\jmath$이란 각각 xy 좌표계에서의 x축 단위 벡터, y축 단위 벡터이다. 이런 방식에서 보면, 이 벡터는 ..

벡터 벡터를 정의하는 관점은 세가지 관점이 존재한다. 바로 물리학의 관점, 컴퓨터 과학의 관점, 수학의 관점이다. 먼저 물리학의 관점에서 벡터는 공간에서의 화살표이다. 이 화살표는 길이와 방향을 가지고 이 두가지가 같다면 어디에 있든 같은 벡터이다. 즉, 물리학에서는 어디서 시작하느냐에 상관없이 길이와 방향만 같다면 같은 벡터라고 생각한다. 컴퓨터 과학의 관점에서 벡터는 순서가 있는 숫자 리스트이다. 만약 주택 가격 분석 프로젝트를 하고 있다면, 면적과 가격을 고려하는데 각각의 집마다 [면적, 가격] 숫자쌍으로 모델링할 수 있다. (정확히는 [면적, 가격]이 아니라 [[면적], [가격]]으로 열벡터) 이는 집을 2차원 벡터로 모델링한 것으로 말하는데 리스트의 길이가 2이기 때문이다. 수학의 관점에서는 위..

Onto & One-to-One Neural Network Example & Further

Linear Transformation Matrix of Linear Transformation Linear Transformation in Neural Networks

Subspace, Basis Dimension of Subspace, Column Space of Matrix, Rank

Recall 선형독립의 직관적인 이해 Linear Independence's Two Definitions Two Definitions are Equivalent 결론