AI/ML, DL 학습

[ML/DL 스터디] <Classification - 3> Logisitic Regression, Kernel

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsLogistic Regressionsigmoid, softmaxlog likelihoodKernel trick Logistic Regression - MotivationPerceptron → data들의 부호 ($g(x)=0$을 기준으로 어느 쪽에 위치해있는지) 에 따라,..

[ML/DL 스터디] <Classification - 2> Support Vector Machine (SVM)

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsSVMband, slack variable, margin 오른쪽의 그림과 같이 Perceptron은 초평면(hyperplane)을 separate할 수 있는 많은 경우의 수 중 단 하나만을 찾아낼 수 있을 뿐임.⇒ 이러한 방식으로 찾아낸 Linear Separator가 가..

[ML/DL 스터디] <Classification - 1> Perceptron

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsPerceptronsigned distance Signed Distance(앞에서의 perceptron의 기본적인 개요에 대해서는 생략.)⇒ discrete한 값의 y에서의 Classification.boundary를 찾기 위한 여정.평면 상에서 $\vec\omega$가 ..

[ML/DL 스터디] <Regression - 3> Overfitting, Regularization

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsOverfittingRegularizationRidge, Lasso Overfitting주어진 input, output - (training dataset)으로부터 optimizing을 달성하는 $\theta$값을 찾는 문제를 풀다 보면, 결국 그러한 특정 데이터에 맞춰진..

[ML/DL 스터디] <Regression - 2> Nonlinear Regression, Functional Approximation

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsMultivariate Linear RegressionNon-Linear RegressionPolynomial RegressionFunctional Approximation(Polynomial Basis, RBF Basis) Nonlinear Regression다중 선형 ..

[ML/DL 스터디] <Regression - 1> Linear Regression

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsLinear RegressionLeast Square SolutionL1, L2 norm Linear Regression가장 간단한 모델인 선형 모델에서부터 보자면,$y_i$를 가장 잘 predict(예측)하기 위한 linear model인 $f(\theta)$ (여기선,..

[ML/DL 스터디] <Optimization - 3> Gradient Descent

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 Gradient Descent그러나 매번 편미분을 통해 gradient = 0인 지점을 찾는 것은 매번 analytical solution이 존재하는 것은 아니므로, iterative한 방식을 사용한다.⇒ gradient descent 1-dimension의 예시에서 볼 때, gradi..

[ML/DL 스터디] <Optimization - 2> Solving Optimization Problem

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 Solving Optimization Problemsunconstrained optimization problem이며, 1-dimensional한 case에서부터 보면,이러한 형태의 optimal solution을 찾는 방법 ⇒ 미분하여 0이 되는 값 (flat point)를 찾으면 됨..