분류 전체보기71 [논문리뷰] A Neural Probabilistic Language Model [2] 신경망에 기반한 언어 모델링이라는 새로운 패러다임을 제시한, NLP에서 정말 중요하고 획기적인 논문인 A Neural Probabilistic Language Model을 리뷰해보았습니다. 이 글은 논문의 전반부를 다룬 이전 글에서 이어집니다. 여기서는 실험 결과와 결론까지의 Section을 다룹니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 4. Experimental Results 비교 실험은 영어 텍스트와 책에서 가져온 약 180만 개의 단어로 된 Brown 말뭉치로 수행되었습니.. 2023. 10. 14. [논문리뷰] A Neural Probabilistic Language Model [1] 신경망에 기반한 언어 모델링이라는 새로운 패러다임을 제시한, NLP에서 정말 중요하고 획기적인 논문인 A Neural Probabilistic Language Model을 리뷰해보았습니다. 저자도 딥러닝의 4대 석학이라 불리는 요슈아 벤지오 교수님입니다. 이 논문은 단순히 출력 시퀀스에서 다음 단어를 예측하는 것을 넘어서 단어의 본질적인 의미를 포착하는 밀집 벡터 표현인 단어 임베딩의 시대를 열었다고 봐도 될 것 같습니다. 단어를 단순히 기호로 보는 것이 아닌 연속적인 공간에 매핑하는 임베딩은 NLP에서 단어와 그들의 관계에 대해 생각하는 방식에 혁명을 일으켰습니다. 이번 논문은 제안된 방법론 외에도 병렬화나 관련 이론에 대한 내용을 많이 포함하고 있어 두 부분으로 나누어 정리하였습니다. 여기서는 논문의.. 2023. 10. 13. [논문리뷰] emoji2vec: Learning Emoji Representations from their Description 최근 임베딩 관련한 논문을 계속해서 읽다가, paperswithcode에서 재미있는 논문을 발견하여 쉬어가는 느낌으로 읽고 정리해보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Overview 이모티콘(emoji)은 1997에 처음 도입된 표준적으로 사용하는 작은 그림 문자의 집합입니다. 이모티콘은 지난 10년 동안 소셜 미디어에서 사용량이 급증했습니다. 옥스포드 사전은 2015년을 이모티콘의 해로 지정했으며, 한 해 동안 이모티콘 사용량이 800% 이상 증가하였다고 했습니.. 2023. 10. 12. 다양한 성능 평가 지표와 F1 점수 다양한 성능 평가 지표 머신러닝 모델의 대표적인 예측 성능 평가 지표는 정확도, 재현율, 정밀도와 이를 기반으로 한 F1 점수가 있습니다. 이 뿐만 아니라 태스크와 도메인에 따라 수많은 평가지표가 존재하고, 하나의 태스크에 대해 다양한 평가 지표를 적용하기도 합니다. 해결하려는 문제에 따라서 모델을 평가하는 방법도 달라지기 때문입니다. 그렇다면 앞서 언급한 네 가지 평가 지표는 각각 어떤 역할을 할 지 알아보겠습니다. 머신러닝 모델의 예측 성능을 평가하는 지표는 정말 다양합니다. 실제로 위키피디아의 머신러닝 평가 지표(Machine learning evaluation metrics) 표를 보면 대충 봐도 수십 개의 지표가 나열되어 있습니다. 이 지표들도 전체에 비하면 극히 일부일 뿐입니다. 이처럼 다양한.. 2023. 10. 12. 이전 1 ··· 7 8 9 10 11 12 13 ··· 18 다음
