[학습정리] 2021-10-20

학습정리보다는 메모장

 

[새롭게 알게 된 것]

1. generation-based reader 모델 inference 코드 짜는 중에 label이 없다는 에러가 계속 발생했다.

T5는 teacher forcing으로 학습하기 때문에 학습 과정에서는 당연히 label을 필요로 함.

하지만 inference시에는 label이 없기 때문에 자동으로 label=None으로 만들어준다. 직접 변경해줄 필요X

그런데 에러가 자꾸 발생...

왜 그런가 했더니 DataCollatorForSeq2Seq의 인자로 model을 넣어줘서 그랬다. label=None이어도 주어진 model이 prepare_decoder_input_ids 였나 이 attribute를 갖고 있으면 label을 찾아서 에러가 발생한 거였다.

 

2. evaluation 과정에서 내 코드와 상관없이 에러가 발생했다.

찾아보니까 transformers 이슈에 있었다.

https://github.com/huggingface/transformers/issues/12962

`Trainer.evaluate()` crashes when using only tensorboardX · Issue #12962 · huggingface/transformers

올해 8월에 고쳐진 문제여서 아직 반영이 안된듯하다!

소스코드 열어서 직접 코드 한 줄 추가해주면 해결된다. 여기 참조

 

 

[더 공부해볼 것]

datacollator에 model이 들어가는 것과 안들어가는 것의 차이는 뭘까?

multitask learning