AI/ML, DL 학습

[ML/DL 스터디] <Optimization - 1> Optimization, Convex Optimization

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 Key Point:** 결국 Convex Optimization이 중요한 이유는, local한 minimum(optimal solution)이 global한 minimum이기 때문. OptimizationOptimization 문제는 이러한 수학적 모델로 정의할 수 있음.⇒ f(x)라는..

[ML/DL 스터디] <Linear Algebra - 2> Least Square Solution, Orthogonal Projection

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 Least Square Solution위와 같이 선형연립방정식 꼴에서,unknown(변수)의 개수보다 constraint(방정식)의 개수가 더 많다면⇒ matrix A의 꼴은 skinny하고, 이 때 일반적으로 solution이 존재하지 않음(해가 없다.) 이 때 column vecto..

[ML/DL 스터디] <Linear Algebra - 1> EigenVector(고유벡터), EigenValue(고윳값)의 의미

Eigenvector, Eigenvalue 계산법아래의 식에서, $A$는 행렬(matrix), $\lambda$는 value, $\vec{v}$는 vector.$A\vec{v} = \lambda\vec{v} = \lambda I\vec{v}$$A\vec{v}-\lambda I\vec{v} = (A-\lambda I)\vec{v} = 0$$\therefore A-\lambda I = 0$ or$\vec{v} = 0$ or$(A-\lambda I)^{-1}$ does not exist.⇒ (3rd)$det(A - \lambda I) = 0$** 여기서 $(A-\lambda I)^{-1}$가 존재하지 않는다는 것은, $(A-\lambda I)$이 가역행렬이 아님(역행렬이 존재하지 않음)을 의미한다.역행렬이 존..