전체 글69 [논문리뷰] emoji2vec: Learning Emoji Representations from their Description 최근 임베딩 관련한 논문을 계속해서 읽다가, paperswithcode에서 재미있는 논문을 발견하여 쉬어가는 느낌으로 읽고 정리해보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Overview 이모티콘(emoji)은 1997에 처음 도입된 표준적으로 사용하는 작은 그림 문자의 집합입니다. 이모티콘은 지난 10년 동안 소셜 미디어에서 사용량이 급증했습니다. 옥스포드 사전은 2015년을 이모티콘의 해로 지정했으며, 한 해 동안 이모티콘 사용량이 800% 이상 증가하였다고 했습니.. 2023. 10. 12. 다양한 성능 평가 지표와 F1 점수 다양한 성능 평가 지표 머신러닝 모델의 대표적인 예측 성능 평가 지표는 정확도, 재현율, 정밀도와 이를 기반으로 한 F1 점수가 있습니다. 이 뿐만 아니라 태스크와 도메인에 따라 수많은 평가지표가 존재하고, 하나의 태스크에 대해 다양한 평가 지표를 적용하기도 합니다. 해결하려는 문제에 따라서 모델을 평가하는 방법도 달라지기 때문입니다. 그렇다면 앞서 언급한 네 가지 평가 지표는 각각 어떤 역할을 할 지 알아보겠습니다. 머신러닝 모델의 예측 성능을 평가하는 지표는 정말 다양합니다. 실제로 위키피디아의 머신러닝 평가 지표(Machine learning evaluation metrics) 표를 보면 대충 봐도 수십 개의 지표가 나열되어 있습니다. 이 지표들도 전체에 비하면 극히 일부일 뿐입니다. 이처럼 다양한.. 2023. 10. 12. 왜 자연어 처리는 컴퓨터 비전보다 늦게 발전하였을까? 2022년 11월 30일 인공지능 역사에 한 획을 긋는 대사건이 벌어집니다. 나아가 인류의 역사에 큰 변동을 불러일으켰다고 해도 과언이 아닐지도 모릅니다. 아마 예상했을 수도 있지만 이 날은 ChatGPT의 공식 출시일입니다. ChatGPT는 OpenAI에서 개발한 인공지능 챗봇입니다. ChatGPT는 Google이 2017년 발표한 논문 Attention is all you need에서 제안한 트랜스포머 아키텍처를 기반으로 한 GPT(Generative Pre-Trained Transformer) 모델을 입력된 프롬프트에 대해 사람과 같은 채팅 형식의 텍스트를 생성하도록 미세조정한 것입니다. ChatGPT는 출시한지 5일만에 100만명의 사용자를 달성하여 큰 화제가 되었습니다. 세계적인 인기를 끌고 있.. 2023. 10. 10. [논문리뷰] Linguistic Knowledge and Transferability of Contextual Representations Contextualized Embedding에 대해 정말 폭넓은 연구를 수행한 논문인 Linguistic Knowledge and Transferability of Contextual Representations를 리뷰해보았습니다. 앞서 리뷰했던 contextualized representations 관련한 논문과 비슷한 부분이 많지만, 해당 논문들에서 수행한 연구를 결과를 통합하며, 추가적인 실험도 수행하였습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. Overview 사전 학습된.. 2023. 10. 9. [논문리뷰] Transformers: State-of-the-Art Natural Language Processing 엄밀히 말해서는 논문이라고 하기에는 부적절할 수 있지만 그래도 2020년 EMNLP에서 발표되고 Best Demonstration Paper를 수상한 논문 Transformers: State-of-the-Art Natural Language Processing에 대해 리뷰해보았습니다. 논문에서는 HuggingFace의 Transformers 라이브러리와 이를 바탕으로 이루어진 커뮤니티에 대하여 소개합니다. 이번 포스팅은 이전 논문 리뷰와는 다르게 추가적인 내용이나 개인적인 생각은 가급적 제외하고, 원문의 의미가 잘 전달될 수 있도록 번역에 집중하였습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. .. 2023. 10. 9. [논문리뷰] Deep contextualized word representations 기존의 단어 임베딩은 문맥을 고려하지 않고 같은 단어에는 하나의 벡터를 할당했습니다. 단어는 등장하는 맥락에 따라 미묘하게 의미가 달라질 수 있습니다. 때로는 같은 단어가 여러 의미를 갖는 경우 문장 전체의 의도가 달라질 수도 있습니다. 이런 문제점을 해결하기 위해 문맥을 고려한 단어 벡터 기술은 반드시 필요합니다. 이 논문에서는 이 개념을 최초로 도입하였습니다. 사실 문맥을 고려한 벡터는 지난 번에 리뷰한 CoVe에서 먼저 등장한 개념이긴 하지만, ELMo에서 그 기능과 의미가 좀 더 일반화되었기 때문에, 보통 최초라고 여겨지는 것 같습니다. 그럼 구체적으로 ELMo가 무엇인지 Deep contextualized word representations 논문을 리뷰하며 정리해보겠습니다. 번역을 통해 오히려.. 2023. 10. 8. 이전 1 ··· 4 5 6 7 8 9 10 ··· 12 다음
