전체 글69 딥러닝 논문의 수식을 LaTex로 작성하기 LaTex는 출판물을 위한 문서를 작성할 때 사용하는 시스템입니다. 공식 문서에서는 document preparation system for high-quality typesetting이라고 소개되어 있습니다. 참고로 LaTex의 발음은 공식적으로 ‘Lah-tech’ 또는 ‘Lay-tech’라고 합니다. 우리말로는 라텍 또는 레이텍이 될 것입니다. 일반적으로 논문이 LaTex로 작성되는데, 여기서는 LaTex에서 수식을 작성하는 방법에 대해서 구체적으로 알아보겠습니다. 마크다운 문서에서 수식을 작성할 때도 LaTex의 문법을 따르고, 티스토리와 같이 웹 페이지에서 수식을 작성할 수 있게 해주는 MathJax도 Latex과 같은 방식을 사용합니다. 본문에서는 정말 기본적인 수식 작성 방법은 알고 있다는 가.. 2023. 10. 6. [논문리뷰] All-but-the-Top: Simple and Effective Postprocessing for Word Representations 이전에 리뷰했던 논문 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings에는 정적 임베딩을 사용하는 경우 벡터가 등방성을 가질 경우 성능이 더욱 좋다는 내용이 있었습니다. 이것이 어떤 의미를 갖는지 궁금해서 해당 내용을 다룬 논문인 All-but-the-Top: Simple and Effective Postprocessing for Word Representations를 읽어보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가.. 2023. 10. 4. [논문리뷰] A Unified Approach to Interpreting Model Predictions 입력의 각 특성이 모델의 예측에 영향을 미치는 정도를 의미하는 feature importance를 계산하는 여러 가지 방법에 대해서 깊게 탐구하고, 이를 바탕으로 새로운 방식인 SHAP를 제안하는 논문인 A Unified Approach to Interpreting Model Predictions를 리뷰해보았습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 1. Overview 예측 모델의 출력을 올바르게 해석하는 것은 모델의 예측 정확도를 높이는 것 만큼이나 매우 중요합니다. 이는 .. 2023. 10. 2. [논문 리뷰] Learned in Translation: Contextualized Word Vectors Contextualized Word Vectors에 대한 개념을 처음으로 도입한 논문, Learned in Translation: Contextualized Word Vectors를 리뷰해보았습니다. 원래 contextualized representations의 시초는 ELMo라고 알고 있었는데, 앞서 몇 개의 논문을 읽다가 CoVe라는 존재에 대해서 알게 되었습니다. ELMo 만큼은 아니지만 그래도 임베딩 관련 논문에서 종종 등장하는 개념인 것 같아서 지나칠 수 없어서 조금 더 깊이 알아보았습니다. 이번 논문은 특히 수식이 많아서 쉽지는 않았지만, 그래도 앞서 리뷰한 두 논문만큼 자연어 처리나 언어학의 뿌리 깊은 곳의 배경지식까지 요구하는 것은 아니었기에 조금 더 편하게 읽은 것 같습니다. 번역을 통해.. 2023. 9. 28. 파이썬의 코딩 컨벤션과 PEP8 가이드 개발자에게 강조되는 역량 중 하나는 협업입니다. 프로젝트를 진행할 때 일반적으로 여러 인원이 각자의 역할을 부여받고 각 프로그램의 컴포넌트를 독립적으로(또는 함께) 개발하게 됩니다. 결국은 팀원들이 각자 구현한 코드를 모아서 검토하고 합치는 과정이 필요한데, 사람마다 코드를 짜는 스타일이 다르면 이 과정에서 여러 문제를 겪게 됩니다. 이런 문제를 방지하기 위한 다양한 방법이 있는데 그 중에서 코딩 컨벤션에 대해서 정리해보았습니다. 코딩 컨벤션이란? 코딩 컨벤션(coding conventions)는 특정한 프로그래밍 언어를 사용할 때 일반적으로 권고되는 코드 스타일에 대한 가이드라인을 의미합니다. 컨벤션은 파일 구조, 여백, 주석, 선언문, 공백, 명명 규칙 등을 포함합니다. 가독성과 유지보수를 위해서 가.. 2023. 9. 27. [논문 리뷰] What do you learn from context? Probing for sentence structure in contextualized word representations 이전에 리뷰한 논문, How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings의 레퍼런스 중 하나인 What do you learn from context? Probing for sentence structure in contextualized word representations를 리뷰해 보았습니다. 이전 논문에서 워낙 요구하는 배경지식이 많았고, 백지 상태로는 이해하기 어려운 개념들이 많아서 추가로 읽어보았는데, 오히려 새로운 궁금증만 잔뜩 안고 가는 느낌이었습니다. 아직 많은 논문을 읽어본 것은 아니지만 Embedding에 관한 논문은 특히 모델 아키텍.. 2023. 9. 25. 이전 1 ··· 5 6 7 8 9 10 11 12 다음
