Paper Review31 [논문리뷰] A Neural Probabilistic Language Model [2] 신경망에 기반한 언어 모델링이라는 새로운 패러다임을 제시한, NLP에서 정말 중요하고 획기적인 논문인 A Neural Probabilistic Language Model을 리뷰해보았습니다. 이 글은 논문의 전반부를 다룬 이전 글에서 이어집니다. 여기서는 실험 결과와 결론까지의 Section을 다룹니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 4. Experimental Results 비교 실험은 영어 텍스트와 책에서 가져온 약 180만 개의 단어로 된 Brown 말뭉치로 수행되었습니.. 2023. 10. 14. [논문리뷰] A Neural Probabilistic Language Model [1] 신경망에 기반한 언어 모델링이라는 새로운 패러다임을 제시한, NLP에서 정말 중요하고 획기적인 논문인 A Neural Probabilistic Language Model을 리뷰해보았습니다. 저자도 딥러닝의 4대 석학이라 불리는 요슈아 벤지오 교수님입니다. 이 논문은 단순히 출력 시퀀스에서 다음 단어를 예측하는 것을 넘어서 단어의 본질적인 의미를 포착하는 밀집 벡터 표현인 단어 임베딩의 시대를 열었다고 봐도 될 것 같습니다. 단어를 단순히 기호로 보는 것이 아닌 연속적인 공간에 매핑하는 임베딩은 NLP에서 단어와 그들의 관계에 대해 생각하는 방식에 혁명을 일으켰습니다. 이번 논문은 제안된 방법론 외에도 병렬화나 관련 이론에 대한 내용을 많이 포함하고 있어 두 부분으로 나누어 정리하였습니다. 여기서는 논문의.. 2023. 10. 13. [논문리뷰] emoji2vec: Learning Emoji Representations from their Description 최근 임베딩 관련한 논문을 계속해서 읽다가, paperswithcode에서 재미있는 논문을 발견하여 쉬어가는 느낌으로 읽고 정리해보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Overview 이모티콘(emoji)은 1997에 처음 도입된 표준적으로 사용하는 작은 그림 문자의 집합입니다. 이모티콘은 지난 10년 동안 소셜 미디어에서 사용량이 급증했습니다. 옥스포드 사전은 2015년을 이모티콘의 해로 지정했으며, 한 해 동안 이모티콘 사용량이 800% 이상 증가하였다고 했습니.. 2023. 10. 12. [논문리뷰] Linguistic Knowledge and Transferability of Contextual Representations Contextualized Embedding에 대해 정말 폭넓은 연구를 수행한 논문인 Linguistic Knowledge and Transferability of Contextual Representations를 리뷰해보았습니다. 앞서 리뷰했던 contextualized representations 관련한 논문과 비슷한 부분이 많지만, 해당 논문들에서 수행한 연구를 결과를 통합하며, 추가적인 실험도 수행하였습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. Overview 사전 학습된.. 2023. 10. 9. 이전 1 2 3 4 5 6 7 8 다음
