분류 전체보기71 [논문리뷰] Linguistic Regularities in Continuous Space Word Representations word2vec를 제안한 저자 Toms Mikolov가 임베딩 벡터가 갖는 언어적 규칙성에 대하여 분석한 논문 Linguistic Regularities in Continuous Space Word Representations를 읽고 리뷰하였습니다. 이번 논문에서는 특별히 새로운 기법이 제안되었다기보다는 저자를 비롯한 여러 연구자들이 기존에 생성한 Static embedding vector를 통해 발견한 임베딩 벡터의 언어적 특징을 깊게 연구한 내용입니다. 내용이 어렵지 않고 논문의 길이도 길지 않아 오랜만에 정말 편하게 읽은 것 같습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈.. 2023. 10. 20. Hierarchical Softmax 자세히 알아보기 word2vec은 단어의 의미를 잘 표현하는 임베딩을 생성하는 알고리즘이며, CBOW와 Skip-gram이라는 두 가지 학습 알고리즘을 통해 생성됩니다. word2vec은 단어를 표현하는 데 있어 뛰어난 성능으로 주목을 받았지만, 밀도 높은 벡터를 확률 분포로 표현하는 과정에서 호율성을 개선해야 한다는 근본적인 과제가 남아있었습니다. 기존에는 소프트맥스 함수가 역할을 담당했지만 데이터의 규모나 어휘 집합의 크기가 급증하면서 효율적인 대안이 요구되었습니다. 그래서 등장한 것이 바로 hierarchical softmax(HS)입니다. 따라서 word2vec 논문에는 Hierarchical Softmax라는 개념이 소개되어 있습니다. 소프트맥스 함수에 대해서는 알고 있지만 Hierarchical이 무엇을 의미.. 2023. 10. 20. [논문리뷰] Distributed Representations of Words and Phrases and their Compositionality 이전에 리뷰한 논문 Efficient Estimation of Word Representations in Vector Space의 후속 논문인 Distributed Representations of Words and Phrases and their Compositionality를 읽고 리뷰해보았습니다. 이 논문은 이전에 리뷰한 논문에서 Skip-gram 모델에 집중하여 이 성능과 연산 효율성을 크게 개선하는 방법을 담고 있습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Over.. 2023. 10. 19. 딥러닝의 역사 알아보기 ChatGPT의 등장 이래 대규모 언어 모델에 대한 연구가 가속화되고, 관련 뉴스가 연일 전해지며 인공지능은 전 세계적인 트렌드가 되었습니다. 그러면서 자연스럽게 AI, 머신러닝, 딥러닝에 대한 관심도 증가하고 있습니다. 그런데 그들이 각각 무엇을 의미하는지에 대해서는 정확히 알지 못하는 경우가 대부분입니다. 결론적으로 머신러닝은 인공지능 모델을 학습하는 방법론이며, 딥러닝은 그 하위 분야입니다. 또한 딥러닝이 최근 갑작스럽게 등장하고, 빠르게 발전하는 분야라는 오해도 매우 흔합니다. 사실 딥러닝에서 사용되는 대부분의 개념은 역사가 생각보다 깊습니다. 이런 내용들에 대해서 조금 더 구체적으로 알아보기 위해서 관련 내용을 정리해보았습니다. 이 게시글은 이언 굿펠로우(Ian Goodfellow), 요슈아 벤.. 2023. 10. 18. 이전 1 ··· 5 6 7 8 9 10 11 ··· 18 다음
