무슨 생각을 해 그냥 하는거지

※ 이해한 내용에 대한 정리와 생각을 개인 공부 목적으로 작성합니다. ※ Kernel? 머신러닝에서는 주로 Kernel Trick을 의미할 때 사용됨. non-linear 문제를 linear classifier를 이용하여 해결하게 만들 때, 이 과정을 더 편하고 빠르게 만들어주는 역할을 함. 수학적으로는 원점을 중심으로 대칭이면서 적분값이 1인 non-negative real valued function임. 대표적인 커널 함수로는 Gaussian, Laplacian, Epanechnikov, Uniform kernel 등이 있다 (아래 그림 참조) Density Estimation? 일부의 데이터가 주어졌을 때 (관측값) 이 데이터들의 분포로부터 원래 변수의 분포를 추정하는 것. Kernel Densit..

보호되어 있는 글입니다.

기초적인 얘기지만 혹시나 나중에 까먹을까봐 + 나처럼 답답해 하고 있는 분이 계실까봐 기록한다. 분명 forward 때 인풋을 두 개 줬는데 자꾸 에러가 발생했다. *** TypeError: forward() takes 2 positional arguments but 3 were given 다른 부분은 이상이 없어보였는데, 찾아보니 nn.Sequential이 문제였다. nn.Sequential로 선언한 레이어는 forward 때 인풋을 하나만 넣어줄 수 있다. (나는 Encoder Layer를 nn.Sequential 안에 여러 개 넣어놨는데 Encoder layer의 forward가 2개의 인자를 받아야 했다.) 예를 들어.. 어떤 모델 클래스 __init__ 함수에서 이렇게 선언했다면 self.enc..

공식 문서: https://www.tensorflow.org/api_docs/python/tf/linalg/band_part tf.linalg.band_part | TensorFlow Core v2.8.0 Copy a tensor setting everything outside a central band in each innermost matrix to zero. www.tensorflow.org tensorflow.linalg.band_part(input, num_lower, num_upper, name=None) input: A Tensor. Rank k tensor num_lower: A Tensor. 보존할 subdiagonals의 수. 음수면 모든 lower triangle을 보존함 num_up..

※ 논문 리뷰X. 혼자 읽고 정리하는 포스트입니다 ※ 서론 기존 sketch recognition 연구들은 벡터 이미지를 binary 이미지로 변환해서 CNN 모델에 사용하였음. 벡터 이미지는 sequential한 정보가 있기 때문에 이런 방법은 좋지 않음. (그래서 RNN 계열 모델들이 나오고 있음) 기존에 있던 SketchRNN의 경우 RNN과 CNN이 각각 다른 branch (병렬적으로 사용됨) 두 모델을 병렬적으로 사용할 경우 모델 학습에 서로 영향을 거의 주지 않음 본 논문에서는 RNN과 CNN을 end-to-end로 학습함. input vector sketch를 neural network에서 pixel 이미지로 변환한다는 것이 포인트 RNN + NLR(Neural Line Rasterizati..

※ 정보전달이 목적인 포스트가 아니라 개인 학습 기록 및 정리가 목적인 포스트입니다 ※ 만났던 오류들 Error loading preloads: Could not find renderer VS code에서 jupyter, python, jupyter notebook renderers 라는 extension들이 설치되어있고, ipykernel을 install한 상태인데도 안된다면 VS code 창을 다시 닫고 다시 열어주면 해결된다. 검색해봤을 때 나오는 해결방법들을 다 해봤을 때 안되면 항상 재시작을 해보자(사실 재시작하라는 것도 검색해서 나옴ㅎ) ImportError: IProgress not found. Please update jupyter and ipywidgets. See https://ipyw..

[새로 알게 된 것] 💻 HuggingFace의 Datasets 라이브러리에는 Dataset과 Dataset을 합치는 concatenate_datasets라는 함수가 있다. 이 함수를 사용하려면 Dataset 안의 features(column name과 data type ... )가 완전히 동일해야 한다. dataset이라는 Dataset을 만들었으면 dataset.features dataset이 어떤 features를 갖고 있는지 확인할 수 있다. 💻 features가 동일하려면 features의 순서도 영향을 끼치는 것 같은데, 순서만 다르다면 datasets 라이브러리의 cast라는 함수를 이용해 맞춰줄 수 있다. (순서만 다르다면이 정확한 표현인지는 잘 모르겠다. column name이 같을 때 ..

[새롭게 알게 된 것] ❔ 지난번에 들었던 의문과 찾아낸 답 datacollator에 model이 들어가는 것과 안들어가는 것의 차이는 뭘까? Transformers에서 제공하는 DataCollator에는 여러 종류가 있는데, 흔히 사용하는 `DataCollatorWithPadding`을 포함한 다른 DataCollator에는 model 인자가 없다. `DataCollatorForSeq2Seq`은 말그대로 decoder 모델이 있어서 model이라는 인자를 추가하면, pretrained 모델이 `prepare_decoder_input_ids_from_labels`를 가지고 있는 경우에 `decoder_input_ids`를 만든다고 한다. `decoder_input_ids`로 label_smoothing할..