AI/실습 및 프로젝트

[nltk] nltk tokenizer 사용 중 nltk LookupError 해결 (nltk.tokenize.word_tokenize)

문제 상황from pycocoevalcap.cider.cider import Ciderimport matplotlib.pyplot as pltimport numpy as npimport nltkimport reimport osimport torchfrom nltk.tokenize import word_tokenize# NLTK 데이터 다운로드nltk.download('punkt')# 캡션 전처리 함수def preprocess_caption(caption): # 소문자 변환 caption = caption.lower() # 특수문자 제거 caption = re.sub(r'[^\w\s]', '', caption) # 토크나이즈 tokens = word_tokenize(capt..