본문 바로가기

분류 전체보기69

[논문리뷰] Distributed Representations of Words and Phrases and their Compositionality 이전에 리뷰한 논문 Efficient Estimation of Word Representations in Vector Space의 후속 논문인 Distributed Representations of Words and Phrases and their Compositionality를 읽고 리뷰해보았습니다. 이 논문은 이전에 리뷰한 논문에서 Skip-gram 모델에 집중하여 이 성능과 연산 효율성을 크게 개선하는 방법을 담고 있습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Over.. 2023. 10. 19.
딥러닝의 역사 알아보기 ChatGPT의 등장 이래 대규모 언어 모델에 대한 연구가 가속화되고, 관련 뉴스가 연일 전해지며 인공지능은 전 세계적인 트렌드가 되었습니다. 그러면서 자연스럽게 AI, 머신러닝, 딥러닝에 대한 관심도 증가하고 있습니다. 그런데 그들이 각각 무엇을 의미하는지에 대해서는 정확히 알지 못하는 경우가 대부분입니다. 결론적으로 머신러닝은 인공지능 모델을 학습하는 방법론이며, 딥러닝은 그 하위 분야입니다. 또한 딥러닝이 최근 갑작스럽게 등장하고, 빠르게 발전하는 분야라는 오해도 매우 흔합니다. 사실 딥러닝에서 사용되는 대부분의 개념은 역사가 생각보다 깊습니다. 이런 내용들에 대해서 조금 더 구체적으로 알아보기 위해서 관련 내용을 정리해보았습니다. 이 게시글은 이언 굿펠로우(Ian Goodfellow), 요슈아 벤.. 2023. 10. 18.
인간 vs. AI 정규표현식 문제 풀이 대결 AI와 자연어처리에 깊은 관심을 갖고 있는 만큼 관련 도서를 읽는 것을 매우 좋아합니다. 오랜 시간 동안 독서에 시간을 투자한다고 말하기엔 부족하지만, 책을 통해 새로운 지식을 얻는 것은 언제나 즐겁고 유익한 일입니다. 그런데 우연한 기회에 제이펍 인스타그램 게시글을 통해 '인간 vs. AI 정규표현식 문제 풀이 대결' 이라는 책을 보게 되었고, 서평단을 모집한다는 소식에 곧장 지원했습니다. 며칠 뒤 정말 감사하게도 서평단에 선발되었고 주어진 기간 동안 책을 읽은 후 리뷰하게 되었습니다. 사실 정규표현식의 기능 자체는 정말 강력하지만, 흔히 사용되는 문법이냐고 묻는다면 자신있게 답하기가 어렵습니다. 제가 경험이 부족하기 때문일 수도 있지만, 일반적인 개발 과정에서 자주 사용되는지는 모르겠습니다. 정규표현.. 2023. 10. 17.
[논문리뷰] Efficient Estimation of Word Representations in Vector Space word2vec을 처음 제안한 논문인 Efficient Estimation of Word Representations in Vector Space를 읽고 리뷰하였습니다. 논문에서는 사실 word2vec이라는 표현이 어디에서도 사용되지 않는데, 나중에 알고 보니까 저자인 Mikolov와 그의 구글 팀원들이 배포한 소프트웨어 패키지의 이름이라고 합니다. 이 패키지는 논문에서 구현한 알고리즘을 담고 있기 때문에, 이 툴이 인기를 얻으면서 word2vec이라는 이름이 널리 퍼지게 되었습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대.. 2023. 10. 17.