AI/ML, DL 학습

[ML/DL 스터디] Long Short Term Memory (LSTM)

* 이 시리즈의 마지막 글입니다. *Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsLong Short Term Memory (LSTM) Long Short Term Memory (LSTM)RNN에서, 많은 stage를 거칠 수록 결국 gradient가 vanish되거나 explode되는 경향은 발생한다.또한 long-..

[ML/DL 스터디] Recurrent Neural Networks (RNN)

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsRNNRecurrenceFinite Response Model / Infinite Response ModelState-Space ModelRNN Training (Backpropagation) RNN - Recurrence위와 같은 시계열 데이터(Time Series Da..

[ML/DL 스터디] Time Series Data - Markov Chain, Hidden Markov Model, Kalman Filter

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsTime Series DataMarkov Chain (Markov Process)Hidden Markov Model (HMM)Kalman Filter Markov Process (Markov Chain)이전까지 학습한 대부분의 Classifier(모델)들은, data의 s..

[ML/DL 스터디] <GAN - 3> Generative Adversarial Networks - 3

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsGAN - Loss Function (MinMax Problem)Non-Saturating GAN LossConditional GAN Non-Saturating GAN LossGenerator의 objective function인 $\underset{G}{min} \ E_..

[ML/DL 스터디] <GAN - 2> Generative Adversarial Networks - 2

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsGAN - IdeaGAN - Intuition, MechanismGAN - Loss Function Generative Adversarial Networks (GAN) - Idea앞 장에서까지는, $p_{model}$과 $p_{data}$를 구하여, 그 사이의 loss를 ..

[ML/DL 스터디] <GAN - 1> Generative Adversarial Networks - 1

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsDiscriminative Model, Generative ModelProbability DistributionDeterministic Transformation by Network Discriminative Model / Generative Model우리가 앞에서 Sup..

[ML/DL 스터디] Fully Convolutional Networks (FCN)

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsCAEFully Convolutional Networks (FCN)SegmentationSkip Connection Fully Convolutional Networks (FCN) - Motivation여기까지는 Computer Vision을 위한 Deep Learning을..

[ML/DL 스터디] Convolutional Autoencoder (CAE)

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsConvolutional Autoencoder (CAE)Transposed Convolution Convolutional AutoencoderMotivation: 이미지는 어떻게 Autoencoder에 적용시킬 것인가?Autoencoder의 목적이란 → Input을 Out..