AI

[논문 리뷰] ViT, Vision Transformer (An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)

[딥러닝 논문 리뷰 시리즈]노션에서 작성한 글을 옮겼으며, 아래 노션에서 더 깔끔하게 읽으실 수 있습니다.>>노션 링크 ViT (Vision Transformer) | Notion레퍼런스skillful-freighter-f4a.notion.site Abstract & Introduction2017년 Transformer의 발표 이후, NLP 분야에서는 지금까지 Transformer 구조가 표준으로 사용되고 있다.대부분은, Large Dataset으로 pre-train한 이후, task에 맞는 dataset으로 fine-tuning하는 방식으로 이용하고 있다.Transformer 이후 계산적 효율 및 확장성으로 인해, 모델의 크기(# of param)가 굉장히 커짐.현재(2021)까지 Computer Vi..

[ML/DL 스터디] Long Short Term Memory (LSTM)

* 이 시리즈의 마지막 글입니다. *Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsLong Short Term Memory (LSTM) Long Short Term Memory (LSTM)RNN에서, 많은 stage를 거칠 수록 결국 gradient가 vanish되거나 explode되는 경향은 발생한다.또한 long-..

[ML/DL 스터디] Recurrent Neural Networks (RNN)

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsRNNRecurrenceFinite Response Model / Infinite Response ModelState-Space ModelRNN Training (Backpropagation) RNN - Recurrence위와 같은 시계열 데이터(Time Series Da..

[ML/DL 스터디] Time Series Data - Markov Chain, Hidden Markov Model, Kalman Filter

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsTime Series DataMarkov Chain (Markov Process)Hidden Markov Model (HMM)Kalman Filter Markov Process (Markov Chain)이전까지 학습한 대부분의 Classifier(모델)들은, data의 s..

[nltk] nltk tokenizer 사용 중 nltk LookupError 해결 (nltk.tokenize.word_tokenize)

문제 상황from pycocoevalcap.cider.cider import Ciderimport matplotlib.pyplot as pltimport numpy as npimport nltkimport reimport osimport torchfrom nltk.tokenize import word_tokenize# NLTK 데이터 다운로드nltk.download('punkt')# 캡션 전처리 함수def preprocess_caption(caption): # 소문자 변환 caption = caption.lower() # 특수문자 제거 caption = re.sub(r'[^\w\s]', '', caption) # 토크나이즈 tokens = word_tokenize(capt..

[ML/DL 스터디] <GAN - 3> Generative Adversarial Networks - 3

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsGAN - Loss Function (MinMax Problem)Non-Saturating GAN LossConditional GAN Non-Saturating GAN LossGenerator의 objective function인 $\underset{G}{min} \ E_..

[ML/DL 스터디] <GAN - 2> Generative Adversarial Networks - 2

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsGAN - IdeaGAN - Intuition, MechanismGAN - Loss Function Generative Adversarial Networks (GAN) - Idea앞 장에서까지는, $p_{model}$과 $p_{data}$를 구하여, 그 사이의 loss를 ..

[ML/DL 스터디] <GAN - 1> Generative Adversarial Networks - 1

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsDiscriminative Model, Generative ModelProbability DistributionDeterministic Transformation by Network Discriminative Model / Generative Model우리가 앞에서 Sup..