분류 전체보기69 [논문리뷰] Transformers: State-of-the-Art Natural Language Processing 엄밀히 말해서는 논문이라고 하기에는 부적절할 수 있지만 그래도 2020년 EMNLP에서 발표되고 Best Demonstration Paper를 수상한 논문 Transformers: State-of-the-Art Natural Language Processing에 대해 리뷰해보았습니다. 논문에서는 HuggingFace의 Transformers 라이브러리와 이를 바탕으로 이루어진 커뮤니티에 대하여 소개합니다. 이번 포스팅은 이전 논문 리뷰와는 다르게 추가적인 내용이나 개인적인 생각은 가급적 제외하고, 원문의 의미가 잘 전달될 수 있도록 번역에 집중하였습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. .. 2023. 10. 9. [논문리뷰] Deep contextualized word representations 기존의 단어 임베딩은 문맥을 고려하지 않고 같은 단어에는 하나의 벡터를 할당했습니다. 단어는 등장하는 맥락에 따라 미묘하게 의미가 달라질 수 있습니다. 때로는 같은 단어가 여러 의미를 갖는 경우 문장 전체의 의도가 달라질 수도 있습니다. 이런 문제점을 해결하기 위해 문맥을 고려한 단어 벡터 기술은 반드시 필요합니다. 이 논문에서는 이 개념을 최초로 도입하였습니다. 사실 문맥을 고려한 벡터는 지난 번에 리뷰한 CoVe에서 먼저 등장한 개념이긴 하지만, ELMo에서 그 기능과 의미가 좀 더 일반화되었기 때문에, 보통 최초라고 여겨지는 것 같습니다. 그럼 구체적으로 ELMo가 무엇인지 Deep contextualized word representations 논문을 리뷰하며 정리해보겠습니다. 번역을 통해 오히려.. 2023. 10. 8. 딥러닝 논문의 수식을 LaTex로 작성하기 LaTex는 출판물을 위한 문서를 작성할 때 사용하는 시스템입니다. 공식 문서에서는 document preparation system for high-quality typesetting이라고 소개되어 있습니다. 참고로 LaTex의 발음은 공식적으로 ‘Lah-tech’ 또는 ‘Lay-tech’라고 합니다. 우리말로는 라텍 또는 레이텍이 될 것입니다. 일반적으로 논문이 LaTex로 작성되는데, 여기서는 LaTex에서 수식을 작성하는 방법에 대해서 구체적으로 알아보겠습니다. 마크다운 문서에서 수식을 작성할 때도 LaTex의 문법을 따르고, 티스토리와 같이 웹 페이지에서 수식을 작성할 수 있게 해주는 MathJax도 Latex과 같은 방식을 사용합니다. 본문에서는 정말 기본적인 수식 작성 방법은 알고 있다는 가.. 2023. 10. 6. [논문리뷰] All-but-the-Top: Simple and Effective Postprocessing for Word Representations 이전에 리뷰했던 논문 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings에는 정적 임베딩을 사용하는 경우 벡터가 등방성을 가질 경우 성능이 더욱 좋다는 내용이 있었습니다. 이것이 어떤 의미를 갖는지 궁금해서 해당 내용을 다룬 논문인 All-but-the-Top: Simple and Effective Postprocessing for Word Representations를 읽어보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가.. 2023. 10. 4. 이전 1 ··· 8 9 10 11 12 13 14 ··· 18 다음
