무슨 생각을 해 그냥 하는거지

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성철 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Multi-GPU 학습] 기본 개념 - Node Node는 system 혹은 컴퓨터라고 생각하면 된다. 만약 한 개의 컴퓨터에 있는 여러 개의 GPU를 사용한다면 Single Node Multi GPU라고 한다. Multi-GPU에 학습을 분산하는 방법 1. Model Parallel (모델 나누기) AlexNet을 생각하면 된다. 예전에는 GPU memory가 정말 작아서 여러 GPU를 사용한 것이지만 요즘에는 모델이 너무 커져서 multi-GPU의 필요성이 더욱 커지고 있다. 위의 그림..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성철 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [PyTorch 모델 불러오기] torch.save( ) → 모델 파라미터 or 모델 파라미터+모델 구조 저장 ### 모델 파라미터를 저장 ### torch.save(model.state_dict(), './your_model_path/model.pt') # state_dict: model parameter 표시 ### 모델 파라미터와 모델(architecture)을 함께 저장 ### torch.save(model, './your_model_path/model.pt') torch.load( ..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성철 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [AutoGrad & Optimizer] nn.Parameter Tensor의 상속 객체이다. requires_grad=True ( default) 로 지정하면 모델의 학습 대상이 된다. layer에서 weight 값이 주로 지정 .backward() layer에 있는 parameter들의 미분 수행 loss(주로 model prediction과 ground_truth 차이)에 대해 미분 수행 미분 수행한 값으로 parameter 업데이트 [Datasets & Dataloaders] Data..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성철 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Pytorch] PyTorch vs TensorFlow (원래 아래가 가장 큰 차이였지만 tensorflow 업데이트 이후 둘 다 가능하다고 한다.) pytorch는 Dynamic Computational Graph (또는 Define by Run) tensorflow는 Define and Run Pytorch == Numpy + AutoGrad + Function Tensor numpy의 ndarray와 동일. 쓰는 함수도 비슷하다. view: tensor의 shape을 변환. squee..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성준 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Generative Models Part 1] Generative Model이란 뭘까? 단순히 무언가를 생성하는 것(sampling)뿐만 아니라 입력에 대한 확률값을 얻을 수 있는(density estimation) 모델을 generative model이라고 한다. p_{model}(x)를 정의하고 estimation한다면 explicit model이라고 한다. 정의하지 않고 sampling한다면 implicit model이라고 한다. 이미지 픽셀을 결정하는 데는 사실 엄청난 수의 파라미터..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 최성준 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Optimization] Cross validation 독립적인 데이터에 대해 얼마나 모델이 일반화(generalization) 될 지 평가하는 방법 보통 5-fold cross validation을 사용한다. (일반화해서 k-fold cross validation) 위 그림처럼 test data는 손대지 않고, train 데이터를 파티션하여 k개의 fold를 만든다. 하나의 fold를 validation dataset으로 지정하고, 나머지 k-1개의 fold로 모델을 학습시킨다. 학습한 ..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 해당 포스트는 네이버 커넥트 재단의 부스트캠프 마스터님이신 안수빈 강사님, 최성준 교수님의 강의를 바탕으로 작성되었습니다. 1. 강의 복습 내용 [Deep Learning Basics] 학부 강의를 통해 이미 알고 있는 내용들이 많아서 skip! Multi-layer perceptron은 정말.. 직접 문제를 풀어보면 확실하게 이해가 되는 것 같다. 각 task마다 어떤 loss function을 사용할까? Regression : Mean Squared Error Classification : Cross Entropy Probabilistic task : Maximum Likelihood Estimation 하지만 경..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 1. 강의 복습 내용 [RNN] 선택과제 2를 수행하다보니 RNN에 대한 이해가 부족한 것 같아서 영상을 다시 보고, 관련 자료들을 찾아보며 공부해봤다. 아래 그림은 스탠포드 대학교의 CS224N 강의자료에서 가져왔다! 유튜브에 강의가 올라와있고 강의자료도 공개가 되어있다 :) RNN은 input의 길이가 일정하지 않아도 되고, 모든 layer가 같은 weight를 공유한다는 장점이 있다. Weight는 잠재변수 h에 곱해지는 weight Wh, input x에 곱해지는 Wx, output에 곱해지는 W가 있다. 위 그림에서는 각각 Wh, We, U에 해당하는 weight들이다. [MLE] MLE는 최대가능도 추정법(..