무슨 생각을 해 그냥 하는거지

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 주재걸 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 NLP 이번 주차 강의는 목요일까지 다 듣고 정리를 마쳤다. 오늘은 시각화 강의를 봤는데, 이에 대한 정리는 따로 포스트를 작성 중이다😁 2. 과제 수행 과정 / 결과물 정리 [필수과제4 번역 모델 전처리] Preprocess 하나의 문장을 여러 단어로 분리 → 각각의 단어를 index로 변환 (word2index dictionary, 같은 단어는 같은 index를 갖게 됨) dictionary에 해당 단어가 없는 경우 unknown token을 넣어줘야 한다. Bucketing 모델 학습 ..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 주재걸 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Beam Search] 자연어 생성 모델(e.g. Seq2Seq)의 test time에서 더 좋은 품질의 생성 결과를 얻을 수 있는 기법이 바로 beam search다. 왜 beam search가 나오게 되었는지, 극과 극인 greedy decoding과 exhaustive search에 대해 살펴보며 알아보자! Greedy decoding 이전 포스트에서 다뤘던 기본적인 decoding 방법 전체적인 문장의 확률값을 보는 게 아니라, 근시안적으로 현재 timestep에서 가장 좋아보이는 ..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 주재걸 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Seq2Seq] Sequence-to-Sequence는 RNN problem settings 중 many-to-many에 해당한다. Seq2Seq 모델은 encoder와 decoder로 이루어져 있다. encoder에서 입력 문장을 읽고, 그에 대한 출력을 decoder로 만들어낸다. encoder의 마지막 timestep의 hidden state vector가 decoder의 RNN의 h_0의 역할을 한다. 하지만 이때 bottleneck 문제가 발생한다. 하나의 hidden state에..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 주재걸 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [RNN] RNN의 특징은 매 timestep마다 같은 weight를 사용한다는 것. 이때 output vector y_t는 problem setting이 어떤 것이냐에 따라 매 timestep마다 계산해야 할 수도 있고, 마지막에만 계산해야 할 수도 있다. y_t는 binary classification인 경우, output dimension이 1. multi-class classification인 경우 class 개수만큼의 dimension을 갖는다. (vector로 봐서 dimensio..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 주재걸 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [NLP] Natural Language Processing 주요 conference: ACL, EMNLP, NAACL 보통 단어 == token tokenization == 문장을 단어로 쪼개는 것 stemming == 단어의 어근 추출 (어미 변화에도 같은 의미를 가지기 때문. e.g. study, studied, studying ...) word / phrase level의 task Named entity recognition(NER): 단일 단어, 또는 여러 단어로 이루어진 고유명사를..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성철 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Ensemble] Model Averaging (Voting) Hard Voting : 각각의 모델들의 prediction label (class값) 중 가장 많은 class를 최종 result로 선정 Soft Voting : 각각의 모델들의 prediction 값을 모두 더해 그 중 최댓값을 최종 result로 선정 Stratified K-Fold Cross Validation : Train/Validation dataset을 나눌 때 class의 분포까지 고려하는 것 sklearn에서 ..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 김태진 강사님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Model with Pytorch] Keras vs Pytorch 완제품(high-level, 리모컨)과 개발 단계의 회로(low-level, ?)의 차이라고 볼 수 있다. Keras는 모델 안에 optimizer, loss, metric을 정의하고 컴파일한다. fit으로 학습 → 내부적으로 어떻게 구현되어있는지 눈에 보이지 않는다. 완제품처럼 어떤 용도인지 직관적이어서 쉽게 사용할 수 있지만 수정이 쉽지 않다. Pytorch는 어떤 용도인지 파악이 힘들지만, 자유롭게 수정할 수 있다. n..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 김태진 강사님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [3강 Dataset] Pre-processing bounding box resize change brightness & contrast Generalization bias & variance split train/validation dataset data agumentation Data pre-processing은 모델의 학습 능력과 효율을 끌어올리기 위한 처리 Data generalization은 train 결과와 inference 결과의 차이를 줄이기 위한 처리 (위 그림에서 맨 왼쪽이..