Paper Review31 [논문리뷰] Attention Is All You Need 자연어 처리 분야에서 가장 유명한 논문을 하나 고르라면 많은 사람들이 Attention Is All You Need를 선택할 것입니다. 이제는 자연어 처리를 넘어서 컴퓨터 비전를 비롯한 여러 분야에서도 매우 중요하게 여겨지는 트랜스포머 아키텍처를 제안한 혁명적인 논문입니다. Attention Is All You Need는 매우 중요한 논문인 만큼, 배경지식으로 사용된 여러 개념에 대한 설명을 추가하여 전체 내용을 이해하는 데 부족함이 없도록 노력하였습니다. 그럼에도 너무 길이가 길어질까봐 중간에 생략한 내용이 많은데, 더 공부하다가 필요한 내용이 누락되었다고 생각하면 추가할 예정입니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표.. 2023. 10. 24. [논문리뷰] Linguistic Regularities in Continuous Space Word Representations word2vec를 제안한 저자 Toms Mikolov가 임베딩 벡터가 갖는 언어적 규칙성에 대하여 분석한 논문 Linguistic Regularities in Continuous Space Word Representations를 읽고 리뷰하였습니다. 이번 논문에서는 특별히 새로운 기법이 제안되었다기보다는 저자를 비롯한 여러 연구자들이 기존에 생성한 Static embedding vector를 통해 발견한 임베딩 벡터의 언어적 특징을 깊게 연구한 내용입니다. 내용이 어렵지 않고 논문의 길이도 길지 않아 오랜만에 정말 편하게 읽은 것 같습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈.. 2023. 10. 20. [논문리뷰] Distributed Representations of Words and Phrases and their Compositionality 이전에 리뷰한 논문 Efficient Estimation of Word Representations in Vector Space의 후속 논문인 Distributed Representations of Words and Phrases and their Compositionality를 읽고 리뷰해보았습니다. 이 논문은 이전에 리뷰한 논문에서 Skip-gram 모델에 집중하여 이 성능과 연산 효율성을 크게 개선하는 방법을 담고 있습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Over.. 2023. 10. 19. [논문리뷰] Efficient Estimation of Word Representations in Vector Space word2vec을 처음 제안한 논문인 Efficient Estimation of Word Representations in Vector Space를 읽고 리뷰하였습니다. 논문에서는 사실 word2vec이라는 표현이 어디에서도 사용되지 않는데, 나중에 알고 보니까 저자인 Mikolov와 그의 구글 팀원들이 배포한 소프트웨어 패키지의 이름이라고 합니다. 이 패키지는 논문에서 구현한 알고리즘을 담고 있기 때문에, 이 툴이 인기를 얻으면서 word2vec이라는 이름이 널리 퍼지게 되었습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대.. 2023. 10. 17. 이전 1 2 3 4 5 6 7 8 다음
