[학습정리] 2021-08-18

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※

해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성철 교수님의 강의를 바탕으로 작성되었습니다.

 

1. 강의 복습 내용

[AutoGrad & Optimizer]

nn.Parameter

nn.Parameter (PyTorch Documentation)

• Tensor의 상속 객체이다.
• requires_grad=True ( default) 로 지정하면 모델의 학습 대상이 된다.
• layer에서 weight 값이 주로 지정

 

.backward()

• layer에 있는 parameter들의 미분 수행
• loss(주로 model prediction과 ground_truth 차이)에 대해 미분 수행
• 미분 수행한 값으로 parameter 업데이트

 

[Datasets & Dataloaders]

Data feeding Diagram

Dataset 클래스

한 데이터셋에 대한 처리를 정의하는 클래스

• __init__ 에서는 처음에 데이터를 어떻게 받아오는지(생성방법)을 지정
• __len__ 에서는 데이터의 총 길이를 반환
• __getitem__에서는 index 값이 주어졌을 때 데이터를 어떻게 반환할지 지정한다. (e.g. __init__에서 만든 데이터에 인덱싱)

 

DataLoader 클래스

데이터의 batch를 만들어주는 클래스 (데이터의 변환도 곁들인...)

파라미터는 너무 많아서 가져오지 않았다. PyTorch documentation 참조!

 

---

2. 과제 수행 과정 / 결과물 정리

[필수과제 Custom Model 제작]

get_submodule 함수를 사용하는데 PyTorch 공식 문서에 모델의 구조가 나오지 않아 애먹었다.

여기 예제에 모델 구조가 잘 나와있어서 참고했다. 알고보니 공식 문서에 source를 보면 나와있었다. 삽질 끝판왕..ㅎㅎ

 

---

3. 피어세션 정리

• 다른 캠퍼님의 오늘자 강의 요약 발표 (감사합니다!)
• 다른 캠퍼님의 gather 설명 (직접 그림을 그려주셔서 더 이해가 잘 됐다. 감사합니다!)
• 알고리즘 스터디를 위해 백준 2606번 바이러스 문제를 미리 풀어오고 리뷰

---

4. 학습 회고

• 부스트캠프도 점점 난이도가 높아지고.. 원래 하던 연구도 막바지라 바빠졌다. 무엇 하나 제대로 잡지 못하는 기분..ㅠㅠ 부스트캠프 팀원분들과 기존 연구팀 모두에게 죄송하다. 실력이 없으면 정말 여기저기 미안해지는 것 같다. 얼른 실력을 키워서 뭐든 뚝딱뚝딱할 수 있는 사람이 되어야지.
• 코테 문제(?)를 풀어보니 정말 알고리즘 공부가 하나도 안되어있다는 게 느껴진다. 과제 해결을 위해 피어세션 알고리즘 스터디를 잠깐 보류했으니 다시 재개하기 전에 필기했던 거 보면서 좀 더 공부해야겠다.
• 할 수 있다 ! 🧨