분류 전체보기

[논문 리뷰] ViT, Vision Transformer (An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale)

[딥러닝 논문 리뷰 시리즈]노션에서 작성한 글을 옮겼으며, 아래 노션에서 더 깔끔하게 읽으실 수 있습니다.>>노션 링크 ViT (Vision Transformer) | Notion레퍼런스skillful-freighter-f4a.notion.site Abstract & Introduction2017년 Transformer의 발표 이후, NLP 분야에서는 지금까지 Transformer 구조가 표준으로 사용되고 있다.대부분은, Large Dataset으로 pre-train한 이후, task에 맞는 dataset으로 fine-tuning하는 방식으로 이용하고 있다.Transformer 이후 계산적 효율 및 확장성으로 인해, 모델의 크기(# of param)가 굉장히 커짐.현재(2021)까지 Computer Vi..

[ML/DL 스터디] Long Short Term Memory (LSTM)

* 이 시리즈의 마지막 글입니다. *Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsLong Short Term Memory (LSTM) Long Short Term Memory (LSTM)RNN에서, 많은 stage를 거칠 수록 결국 gradient가 vanish되거나 explode되는 경향은 발생한다.또한 long-..

[ML/DL 스터디] Recurrent Neural Networks (RNN)

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsRNNRecurrenceFinite Response Model / Infinite Response ModelState-Space ModelRNN Training (Backpropagation) RNN - Recurrence위와 같은 시계열 데이터(Time Series Da..

[ETRI 인턴 합격 후기 및 자소서] 2025 ETRI(한국전자통신연구원, 에트리) 동계연구연수생 지원 및 합격 후기, 자소서 개요

지원 계기2023년 Apple Developer Academy@POSTECH에서의 생활을 마치고, 2024년부터는 다시 학교에 3학년으로 복학하게 되었다.학교를 다니며 세상 돌아가는 것도 보고, 강의도 듣다 보니 iOS 개발자로 과연 내가 잘 취업할 수 있을까.. 하는 생각이 들기도 했으며,요즘 너무 AI, 딥러닝이 각광받다 보니, 관련하여 빠삭하게 공부해보고 싶다는 생각도 있었다.그렇게 1학기에 들은 머신러닝 강의에 이어, 2024년 여름방학에는 학교의 한 교수님을 찾아가 학부연구생 생활을 하고 싶다 말씀드렸고,받아들여 주셔서 지금까지 기초적인 머신러닝/딥러닝 공부나, 기본적인 논문 리뷰 및 미니 프로젝트를 해오고 있었다. 그러면서 대학원에 진학해야겠노라 하는 생각도 확정짓게 되었고, 먼저 포스텍 대학..

[ML/DL 스터디] Time Series Data - Markov Chain, Hidden Markov Model, Kalman Filter

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsTime Series DataMarkov Chain (Markov Process)Hidden Markov Model (HMM)Kalman Filter Markov Process (Markov Chain)이전까지 학습한 대부분의 Classifier(모델)들은, data의 s..

[nltk] nltk tokenizer 사용 중 nltk LookupError 해결 (nltk.tokenize.word_tokenize)

문제 상황from pycocoevalcap.cider.cider import Ciderimport matplotlib.pyplot as pltimport numpy as npimport nltkimport reimport osimport torchfrom nltk.tokenize import word_tokenize# NLTK 데이터 다운로드nltk.download('punkt')# 캡션 전처리 함수def preprocess_caption(caption): # 소문자 변환 caption = caption.lower() # 특수문자 제거 caption = re.sub(r'[^\w\s]', '', caption) # 토크나이즈 tokens = word_tokenize(capt..

[ML/DL 스터디] <GAN - 3> Generative Adversarial Networks - 3

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsGAN - Loss Function (MinMax Problem)Non-Saturating GAN LossConditional GAN Non-Saturating GAN LossGenerator의 objective function인 $\underset{G}{min} \ E_..

[ML/DL 스터디] <GAN - 2> Generative Adversarial Networks - 2

Referencehttps://iai.postech.ac.kr/teaching/machine-learninghttps://iai.postech.ac.kr/teaching/deep-learning위 링크의 강의 내용에 기반하여 중요하거나 이해가 어려웠던 부분들을 정리하여 작성하였고,모든 강의 슬라이드의 인용은 저작권자의 허가를 받았습니다.또한, 모든 내용은 아래 Notion에서 더 편하게 확인하실 수 있습니다.>>노션 링크 KeywordsGAN - IdeaGAN - Intuition, MechanismGAN - Loss Function Generative Adversarial Networks (GAN) - Idea앞 장에서까지는, $p_{model}$과 $p_{data}$를 구하여, 그 사이의 loss를 ..