분류 전체보기71 왜 자연어 처리는 컴퓨터 비전보다 늦게 발전하였을까? 2022년 11월 30일 인공지능 역사에 한 획을 긋는 대사건이 벌어집니다. 나아가 인류의 역사에 큰 변동을 불러일으켰다고 해도 과언이 아닐지도 모릅니다. 아마 예상했을 수도 있지만 이 날은 ChatGPT의 공식 출시일입니다. ChatGPT는 OpenAI에서 개발한 인공지능 챗봇입니다. ChatGPT는 Google이 2017년 발표한 논문 Attention is all you need에서 제안한 트랜스포머 아키텍처를 기반으로 한 GPT(Generative Pre-Trained Transformer) 모델을 입력된 프롬프트에 대해 사람과 같은 채팅 형식의 텍스트를 생성하도록 미세조정한 것입니다. ChatGPT는 출시한지 5일만에 100만명의 사용자를 달성하여 큰 화제가 되었습니다. 세계적인 인기를 끌고 있.. 2023. 10. 10. [논문리뷰] Linguistic Knowledge and Transferability of Contextual Representations Contextualized Embedding에 대해 정말 폭넓은 연구를 수행한 논문인 Linguistic Knowledge and Transferability of Contextual Representations를 리뷰해보았습니다. 앞서 리뷰했던 contextualized representations 관련한 논문과 비슷한 부분이 많지만, 해당 논문들에서 수행한 연구를 결과를 통합하며, 추가적인 실험도 수행하였습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. Overview 사전 학습된.. 2023. 10. 9. [논문리뷰] Transformers: State-of-the-Art Natural Language Processing 엄밀히 말해서는 논문이라고 하기에는 부적절할 수 있지만 그래도 2020년 EMNLP에서 발표되고 Best Demonstration Paper를 수상한 논문 Transformers: State-of-the-Art Natural Language Processing에 대해 리뷰해보았습니다. 논문에서는 HuggingFace의 Transformers 라이브러리와 이를 바탕으로 이루어진 커뮤니티에 대하여 소개합니다. 이번 포스팅은 이전 논문 리뷰와는 다르게 추가적인 내용이나 개인적인 생각은 가급적 제외하고, 원문의 의미가 잘 전달될 수 있도록 번역에 집중하였습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. .. 2023. 10. 9. [논문리뷰] Deep contextualized word representations 기존의 단어 임베딩은 문맥을 고려하지 않고 같은 단어에는 하나의 벡터를 할당했습니다. 단어는 등장하는 맥락에 따라 미묘하게 의미가 달라질 수 있습니다. 때로는 같은 단어가 여러 의미를 갖는 경우 문장 전체의 의도가 달라질 수도 있습니다. 이런 문제점을 해결하기 위해 문맥을 고려한 단어 벡터 기술은 반드시 필요합니다. 이 논문에서는 이 개념을 최초로 도입하였습니다. 사실 문맥을 고려한 벡터는 지난 번에 리뷰한 CoVe에서 먼저 등장한 개념이긴 하지만, ELMo에서 그 기능과 의미가 좀 더 일반화되었기 때문에, 보통 최초라고 여겨지는 것 같습니다. 그럼 구체적으로 ELMo가 무엇인지 Deep contextualized word representations 논문을 리뷰하며 정리해보겠습니다. 번역을 통해 오히려.. 2023. 10. 8. 이전 1 ··· 8 9 10 11 12 13 14 ··· 18 다음
