Paper Review31 [논문리뷰] Transformers: State-of-the-Art Natural Language Processing 엄밀히 말해서는 논문이라고 하기에는 부적절할 수 있지만 그래도 2020년 EMNLP에서 발표되고 Best Demonstration Paper를 수상한 논문 Transformers: State-of-the-Art Natural Language Processing에 대해 리뷰해보았습니다. 논문에서는 HuggingFace의 Transformers 라이브러리와 이를 바탕으로 이루어진 커뮤니티에 대하여 소개합니다. 이번 포스팅은 이전 논문 리뷰와는 다르게 추가적인 내용이나 개인적인 생각은 가급적 제외하고, 원문의 의미가 잘 전달될 수 있도록 번역에 집중하였습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. .. 2023. 10. 9. [논문리뷰] Deep contextualized word representations 기존의 단어 임베딩은 문맥을 고려하지 않고 같은 단어에는 하나의 벡터를 할당했습니다. 단어는 등장하는 맥락에 따라 미묘하게 의미가 달라질 수 있습니다. 때로는 같은 단어가 여러 의미를 갖는 경우 문장 전체의 의도가 달라질 수도 있습니다. 이런 문제점을 해결하기 위해 문맥을 고려한 단어 벡터 기술은 반드시 필요합니다. 이 논문에서는 이 개념을 최초로 도입하였습니다. 사실 문맥을 고려한 벡터는 지난 번에 리뷰한 CoVe에서 먼저 등장한 개념이긴 하지만, ELMo에서 그 기능과 의미가 좀 더 일반화되었기 때문에, 보통 최초라고 여겨지는 것 같습니다. 그럼 구체적으로 ELMo가 무엇인지 Deep contextualized word representations 논문을 리뷰하며 정리해보겠습니다. 번역을 통해 오히려.. 2023. 10. 8. [논문리뷰] All-but-the-Top: Simple and Effective Postprocessing for Word Representations 이전에 리뷰했던 논문 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings에는 정적 임베딩을 사용하는 경우 벡터가 등방성을 가질 경우 성능이 더욱 좋다는 내용이 있었습니다. 이것이 어떤 의미를 갖는지 궁금해서 해당 내용을 다룬 논문인 All-but-the-Top: Simple and Effective Postprocessing for Word Representations를 읽어보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가.. 2023. 10. 4. [논문리뷰] A Unified Approach to Interpreting Model Predictions 입력의 각 특성이 모델의 예측에 영향을 미치는 정도를 의미하는 feature importance를 계산하는 여러 가지 방법에 대해서 깊게 탐구하고, 이를 바탕으로 새로운 방식인 SHAP를 제안하는 논문인 A Unified Approach to Interpreting Model Predictions를 리뷰해보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Overview 예측 모델의 출력을 올바르게 해석하는 것은 모델의 예측 정확도를 높이는 것 만큼이나 매우 중요합니다. 이는 .. 2023. 10. 2. 이전 1 ··· 3 4 5 6 7 8 다음
