[학습정리] 2021-08-06

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※

 

 

1. 강의 복습 내용

[RNN]

선택과제 2를 수행하다보니 RNN에 대한 이해가 부족한 것 같아서 영상을 다시 보고, 관련 자료들을 찾아보며 공부해봤다. 아래 그림은 스탠포드 대학교의 CS224N 강의자료에서 가져왔다! 유튜브에 강의가 올라와있고 강의자료도 공개가 되어있다 :)

RNN은 input의 길이가 일정하지 않아도 되고, 모든 layer가 같은 weight를 공유한다는 장점이 있다.

Weight는 잠재변수 h에 곱해지는 weight Wh, input x에 곱해지는 Wx, output에 곱해지는 W가 있다. 위 그림에서는 각각 Wh, We, U에 해당하는 weight들이다.

 

[MLE]

MLE는 최대가능도 추정법(Maximum Likelihood Estimation)이다.

원래 우리가 알고 있던 확률밀도함수(probability density function)는 random variable x를 모르고, 확률밀도함수의 parameter인 theta를 알고 있는 것인데, 최대가능도 추정법은 반대로 생각하면 된다. 아래는 혼자 생각한 내용..

확률밀도함수가 정규분포라면, 확률밀도함수의 모수는 mu(평균)와 sigma(분산)이 된다. (정규분포는 평균과 분산만 알면 모든 수를 알 수 있기 때문)

 

---

2. 과제 수행 과정 / 결과물 정리

선택과제 2가 RNN 관련인데...

아직 RNN에 대한 이해가 부족해서 해결을 못했다....

그래도 유튜브에서 RNN의 BPTT(Back Propagation Through Time)을 잘 설명해주시는 분의 강의를 찾았다.

보다보니 학습시간이 끝나서..ㅠㅠ 주말에 좀 더 공부해보고 선택과제를 완료해봐야겠다.

 

아래는 위 유튜브 강의를 노트에 정리한 내용인데, 주말에 공부하면서 아이패드에 깔끔하게 옮겨 적어야겠다.

---

3. 피어세션 정리

• 선택과제 3에 대해 정리해서 발표를 했다. MLE를 공부하면서 내가 이해하는데 도움이 되었던 생각을 피어분들께 공유했다. 좋게 봐주셔서 다들 감사합니다ㅎㅎ
• 선택과제 2를 모두(!) 완료하지 못했다. 서로 도움이 될 만한 내용들을 공유했는데 이를 바탕으로 공부해서 주말에는 꼭 완료해봐야겠다.
• 피어세션을 좀 더 알차게 쓰기 위해 정규 피어세션 시간 전에 슬랙에 질문을 공유하기로 했다! (다른 피어세션팀들의 방법이 굉장히 좋아보여서 따라하기로 했다 하하)

---

 

4. 학습 회고

한 주가 아주 빠르게 지나갔다...ㅠㅠ 그래도 이번주는 파이썬 기본 + AI Math 기초라 그래도 버틸만 했던 것 같은데 다음주가 두려워진다..ㅎㅎ

매일매일 학습 정리를 작성할 수 있도록 더 노력해야겠다.

+ 오피스아워 때 코드를 공유해주신 캠퍼분들이 계셨는데 정말 대단하게 느껴졌다. 나도 다음엔 내 코드를 공유하는 시간을 가져보고 싶다!