Paper Review31 [논문 리뷰] Learned in Translation: Contextualized Word Vectors Contextualized Word Vectors에 대한 개념을 처음으로 도입한 논문, Learned in Translation: Contextualized Word Vectors를 리뷰해보았습니다. 원래 contextualized representations의 시초는 ELMo라고 알고 있었는데, 앞서 몇 개의 논문을 읽다가 CoVe라는 존재에 대해서 알게 되었습니다. ELMo 만큼은 아니지만 그래도 임베딩 관련 논문에서 종종 등장하는 개념인 것 같아서 지나칠 수 없어서 조금 더 깊이 알아보았습니다. 이번 논문은 특히 수식이 많아서 쉽지는 않았지만, 그래도 앞서 리뷰한 두 논문만큼 자연어 처리나 언어학의 뿌리 깊은 곳의 배경지식까지 요구하는 것은 아니었기에 조금 더 편하게 읽은 것 같습니다. 번역을 통해.. 2023. 9. 28. [논문 리뷰] What do you learn from context? Probing for sentence structure in contextualized word representations 이전에 리뷰한 논문, How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings의 레퍼런스 중 하나인 What do you learn from context? Probing for sentence structure in contextualized word representations를 리뷰해 보았습니다. 이전 논문에서 워낙 요구하는 배경지식이 많았고, 백지 상태로는 이해하기 어려운 개념들이 많아서 추가로 읽어보았는데, 오히려 새로운 궁금증만 잔뜩 안고 가는 느낌이었습니다. 아직 많은 논문을 읽어본 것은 아니지만 Embedding에 관한 논문은 특히 모델 아키텍.. 2023. 9. 25. [논문 리뷰] How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings Static Embedding과 비교하여 Contextualized representations가 어떤 특징을 갖는지에 대해 분석한 논문인 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings를 리뷰해보았습니다. 이번 논문은 이해하기가 특히 어렵고, 한글로 옮기기 어려운 개념들이 많았던 것 같습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습.. 2023. 9. 24. [논문 리뷰] PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization 추상적 요약(Abstractive Summary) 모델을 다룬 PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization에 대한 논문을 읽고 리뷰해보았습니다. 오개념이 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 개요 텍스트 요약은 입력 문서에 대한 정확하고 간결한 요약문을 생성하는 것을 목표로 합니다. 단순히 입력 문서의 일부를 복사하는 것에 그치는 추출적 요약(extractive summarization)과는 다르게, 추상적 요약(abstractive summarization)은 요약문에 새로운 단어를 생성하기도 합니다. 좋은 추상적 요약문은 핵심 정보를 잘 담고, .. 2023. 9. 22. 이전 1 ··· 4 5 6 7 8 다음
