무슨 생각을 해 그냥 하는거지

대충 알고 있었지만 교육도 들은 김에 확실히 뿌리 뽑으려고 (?) 쓰는 정리 글 (with ChatGPT ㅋㅋㅋ) 1) 일단은, 강화학습을 LLM 관점에서 생각해보자.상태(state): 지금까지의 대화 문맥행동(action): 다음 토큰, 혹은 한 문장/한 응답 생성보상(reward): 이 답변이 얼마나 좋았는지에 대한 점수정책(policy): 어떤 상황에서 어떤 답을 낼지 결정하는 모델일반적인 지도학습(SFT)은 “정답 예시를 보고 그대로 따라 하라”에 가깝지만,강화학습은 “직접 해보고, 잘한 건 보상 주고, 못한 건 덜 하게 만들어라”에 가깝다. LLM alignment에서는 이 보상을 사람이 직접 숫자로 매기기보다,보통 두 답변을 보여주고 어느 쪽이 더 좋은지 고르게 한 선호 데이터를 쓴다.Ins..

1258. 행렬찾기에서 조금 더 나아간 문제. 전략1. 행렬찾기와 동일하게 행렬들의 크기 정보를 저장2. 행렬곱을 할 수 있도록 크기들을 정렬3. 행렬 원소 간의 곱셈수가 최소인 경우를 찾기 (DP 활용 - 아래 코드의 calculate_mat 함수) T = int(input())def calculate_mat(left, right): if left == right: return 0 if DP[left][right] != -1: return DP[left][right] temp_result = float('inf') for i in range(left, right): temp_result1 = calculate_mat(left, i) ..

부모 자식을 defaultdict로 저장해서 수행했을 때는 시간초과가 났다.그런데 그냥 단순히 리스트로 하니까 해결되었다. 풀이1: defaultdict로 했을 경우 시간 초과BFS는 큐에 서치할 노드를 담아서 진행됨부모 노드를 key로, 자식을 value로 갖는 dict인 parent_child와자식을 key로, 부모노드를 value로 갖는 dict인 child_parent를 저장.그리고 각 노드의 depth (LCA (Least Common Ancestor)를 수행하기 위함)을 저장함. 아래는 시간초과 코드from collections import defaultdict, deque# import sys# sys.stdin = open("sample_input.txt", "r")T = int(input..

※ 이해한 내용에 대한 정리와 생각을 개인 공부 목적으로 작성합니다. ※ Kernel? 머신러닝에서는 주로 Kernel Trick을 의미할 때 사용됨. non-linear 문제를 linear classifier를 이용하여 해결하게 만들 때, 이 과정을 더 편하고 빠르게 만들어주는 역할을 함. 수학적으로는 원점을 중심으로 대칭이면서 적분값이 1인 non-negative real valued function임. 대표적인 커널 함수로는 Gaussian, Laplacian, Epanechnikov, Uniform kernel 등이 있다 (아래 그림 참조) Density Estimation? 일부의 데이터가 주어졌을 때 (관측값) 이 데이터들의 분포로부터 원래 변수의 분포를 추정하는 것. Kernel Densit..

보호되어 있는 글입니다.

기초적인 얘기지만 혹시나 나중에 까먹을까봐 + 나처럼 답답해 하고 있는 분이 계실까봐 기록한다. 분명 forward 때 인풋을 두 개 줬는데 자꾸 에러가 발생했다. *** TypeError: forward() takes 2 positional arguments but 3 were given 다른 부분은 이상이 없어보였는데, 찾아보니 nn.Sequential이 문제였다. nn.Sequential로 선언한 레이어는 forward 때 인풋을 하나만 넣어줄 수 있다. (나는 Encoder Layer를 nn.Sequential 안에 여러 개 넣어놨는데 Encoder layer의 forward가 2개의 인자를 받아야 했다.) 예를 들어.. 어떤 모델 클래스 __init__ 함수에서 이렇게 선언했다면 self.enc..

공식 문서: https://www.tensorflow.org/api_docs/python/tf/linalg/band_part tf.linalg.band_part | TensorFlow Core v2.8.0 Copy a tensor setting everything outside a central band in each innermost matrix to zero. www.tensorflow.org tensorflow.linalg.band_part(input, num_lower, num_upper, name=None) input: A Tensor. Rank k tensor num_lower: A Tensor. 보존할 subdiagonals의 수. 음수면 모든 lower triangle을 보존함 num_up..

※ 논문 리뷰X. 혼자 읽고 정리하는 포스트입니다 ※ 서론 기존 sketch recognition 연구들은 벡터 이미지를 binary 이미지로 변환해서 CNN 모델에 사용하였음. 벡터 이미지는 sequential한 정보가 있기 때문에 이런 방법은 좋지 않음. (그래서 RNN 계열 모델들이 나오고 있음) 기존에 있던 SketchRNN의 경우 RNN과 CNN이 각각 다른 branch (병렬적으로 사용됨) 두 모델을 병렬적으로 사용할 경우 모델 학습에 서로 영향을 거의 주지 않음 본 논문에서는 RNN과 CNN을 end-to-end로 학습함. input vector sketch를 neural network에서 pixel 이미지로 변환한다는 것이 포인트 RNN + NLR(Neural Line Rasterizati..