[학습정리] 2021-10-22

[새롭게 알게 된 것]

❔ 지난번에 들었던 의문과 찾아낸 답

• datacollator에 model이 들어가는 것과 안들어가는 것의 차이는 뭘까?
  • Transformers에서 제공하는 DataCollator에는 여러 종류가 있는데, 흔히 사용하는 `DataCollatorWithPadding`을 포함한 다른 DataCollator에는 model 인자가 없다. `DataCollatorForSeq2Seq`은 말그대로 decoder 모델이 있어서 model이라는 인자를 추가하면, pretrained 모델이 `prepare_decoder_input_ids_from_labels`를 가지고 있는 경우에 `decoder_input_ids`를 만든다고 한다. `decoder_input_ids`로 label_smoothing할 때 loss를 두 번 계산하는 것을 방지한다고 함!
• multitask learning
  • 내가 잘못 찾은 게 아니라면,,, stanford의 유명한 cs224n에서 했던 decaNLP 관련 특강 내용인 것 같다.
  • decaNLP는 자연어처리에서 많이 쓰이는 10가지의 task를 QA task로 해석해서 하나의 general한 모델로 해결하려는 benchmark이다. (프로젝트라고 해야 하나...?🤔)
  • MQAN 모델을 우리 프로젝트에 사용하기엔 SQuAD 스코어가 높지 않기도 하고.. 한국어 pretrained 모델이 없어서 사용하긴 힘들 것 같다.

❕ GitHub repository에 다른 사람이 새로운 branch를 생성했을 때, 그 branch를 받아오려면 로컬에서 한 번은 pull을 받아야 한다. 보통 push 하기 전에만 습관적으로 pull 해서 새로 브랜치를 받아올 때도 필요한지 몰랐다..^^ 자꾸 없는 브랜치라고 해서 당황했다... 새로운 브랜치를 받을 때도 잊지말고 pull을 하자!

 

 

[오늘 만난 에러들]

• RuntimeError: CUDA error: CUBLAS_STATUS_ALLOC_FAILED when calling `cublasCreate(handle)`
  • 해결책: embedding layer 차원의 최대치를 넘어서 발생하는 문제. tokenize 할 때 truncation=True를 하면 해결된다.
  • 해결된 줄 알았는데 여전히 발생중.. Trainer API를 사용하지 않고 확인해보니 token_type_ids를 embedding 하는 과정에서 에러가 발생하는 것 같다. 문장이 하나니까 token_type_ids가 모두 0이여야 할 것 같은데 자꾸 padding된 부분이 3이 되어서 그런걸까?
• dataset.map(tokenize_func, batched=True)를 쓸 때는.. dataset이 Datasetdict여야 한다. Dataset을 넣으니까 keyerror가 발생했다.

 

 

[더 공부할 것]

❕ 레벤슈타인 거리

❕ 자모단위 tokenizer

 

 

[이번주 회고]

• 팀원분들께 언제 어떤 에러가 났고 그걸 어떻게 해결을 했는지 명확하게 전달할 수 있도록 에러 메세지를 기록하고 어떻게 해결했는지 적어놓는 습관을 들여야겠다.
• 대회기간은 정말 대회에 몰두하는 시간 / 쉬는 시간을 명확하게 잡아야 할 것 같다. 공부, 휴식 둘 다 잡고 있지 못하고 있다는 걸 느끼고 있다. 마스터클래스에서 '나'에 대해 일단 잘 아는 것이 중요하다고 하셨는데 나는 나에 대해 정말 하나도 모르는 것 같다. 침대에 누워서 몸은 쉬는데 그게 정말 나한테 휴식인가? 내가 어떤 것을 할 때 즐겁고 에너지를 충전해서 다른 활동들을 할 수 있는지 답을 찾았으면 좋겠다.