젝무의 개발새발

[ML/DL 스터디] <AE - 1> Autoencoder

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsAutoencoderDim. ReductionAE as Generative Model Autoencoder이미 앞 장(ML)에서 Unsupervised Learning이 무엇인지, 그리고 Dimesional Reduction과 그 방법 중 하나인 PCA에 대해서 학습하였다..

[ML/DL 스터디] <ANN - 4> Vanishing Gradient, Batch Normalization, Dropout

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsNonlinear Activation FunctionVanishing Gradient ProblemBatch NormalizationDropout (Regularization) Nonlinear Activation Function: Vanishing Gradient Pro..

[ML/DL 스터디] <ANN - 3> Training ANN, Backpropagation

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsOptimizationLoss Function, Gradient DescentBackpropagation Training(Fitting) ANN: OptimizationNeural Network를 training하는 과정⇒ MLP 구조의 weight, bias들을 trai..

[ML/DL 스터디] <ANN - 2> Artificial Neural Network (ANN) - 2

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsActivation Function (tanh, ReLU)ANN (Multi-layer)ANN as Kernel LearningDeep LearningLooking at Parameters Activation Function앞 장에서 Activate Function을 st..

[ML/DL 스터디] <ANN - 1> Artificial Neural Network (ANN) - 1

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsPerceptron, NeuronXOR ProblemMulti-Layer Perceptron(MLP)Aritificial Neural Network(ANN)Activation Function, Sigmoid From Perceptron to MLPBinary Linear ..

[논문 리뷰] CLIP (Learning Transferable Visual Models From Natural Language Supervision)

[딥러닝 논문 리뷰 시리즈]노션에서 작성한 글을 옮겼으며, 아래 노션에서 더 깔끔하게 읽으실 수 있습니다.>>노션 링크 CLIP (Learning Transferable Visual Models From Natural Language Supervision) | NotionIntroduction & Motivationskillful-freighter-f4a.notion.site  Introduction & MotivationNLP 분야에서는 Transformer의 발표 이후, Seq2Seq와는 다르게 긴 문장도 잘 처리할 수 있는 능력을 갖게 되었다.그러한 능력을 기반으로, 인터넷 상의 많은 raw text data를 이용하여 큰 모델, 큰 데이터셋을 이용하여 대규모로 학습(Pre-train)할 수 있게 ..

[논문 리뷰] Transformer (Attention is All You Need) - Transformer의 구조와 각 Layer의 의미, 동작 방식을 중심으로.

[딥러닝 논문 리뷰 시리즈]노션에서 작성한 글을 옮겼으며, 아래 노션에서 더 깔끔하게 읽으실 수 있습니다.>>노션 링크 Transformer의 각 Layer 의 의미와 동작, 계산 과정을 예시를 통해 이해하기처음 보면 굉장히 복잡해 보이는 Transformer의 구조.하나하나 뜯어서 직접 계산 과정을 눈으로 확인하고, 각 부분의 의미와 용도를 알아보며 보다 쉽게 이해할 수 있도록 써 보았다. 아래 대부분의 과정은 Attention Is All You Need 논문의 base model을 기준으로 작성하였다.전체 Layer의 계산과정을, 계산식 예시를 보며 하나하나 파헤쳐 보자. Input EmbeddingInput Embedding Layer에서는, 여타 다른 NLP 모델에서와 같이 word embedd..

[ML/DL 스터디] <Dim. Reduction> Principal Component Analysis (PCA)

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 Keywordscovariance, correlation coefficientDimension ReductionPCA algorithmcovariance matrix, eigenvalue, eigenvector Multivariate StatisticsSample Variance: 단일..