전체 글71 파이썬의 코딩 컨벤션과 PEP8 가이드 개발자에게 강조되는 역량 중 하나는 협업입니다. 프로젝트를 진행할 때 일반적으로 여러 인원이 각자의 역할을 부여받고 각 프로그램의 컴포넌트를 독립적으로(또는 함께) 개발하게 됩니다. 결국은 팀원들이 각자 구현한 코드를 모아서 검토하고 합치는 과정이 필요한데, 사람마다 코드를 짜는 스타일이 다르면 이 과정에서 여러 문제를 겪게 됩니다. 이런 문제를 방지하기 위한 다양한 방법이 있는데 그 중에서 코딩 컨벤션에 대해서 정리해보았습니다. 코딩 컨벤션이란? 코딩 컨벤션(coding conventions)는 특정한 프로그래밍 언어를 사용할 때 일반적으로 권고되는 코드 스타일에 대한 가이드라인을 의미합니다. 컨벤션은 파일 구조, 여백, 주석, 선언문, 공백, 명명 규칙 등을 포함합니다. 가독성과 유지보수를 위해서 가.. 2023. 9. 27. [논문 리뷰] What do you learn from context? Probing for sentence structure in contextualized word representations 이전에 리뷰한 논문, How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings의 레퍼런스 중 하나인 What do you learn from context? Probing for sentence structure in contextualized word representations를 리뷰해 보았습니다. 이전 논문에서 워낙 요구하는 배경지식이 많았고, 백지 상태로는 이해하기 어려운 개념들이 많아서 추가로 읽어보았는데, 오히려 새로운 궁금증만 잔뜩 안고 가는 느낌이었습니다. 아직 많은 논문을 읽어본 것은 아니지만 Embedding에 관한 논문은 특히 모델 아키텍.. 2023. 9. 25. 왜 그렇게 많은 인공지능 시스템들이 머펫의 이름을 갖게 되었을까? BERT는 그 유명한 논문 Attention is All You Need에서 제안한 트랜스포머(Transformers)의 인코더를 기반으로 한 언어 모델입니다. GPT-3.5와 같이 초거대 규모의 언어모델 등장 이전에는 분류 태스크를 포함한 다양한 NLP 문제는 BERT를 기반으로 한 모델로 풀었습니다. 여전히 특정 태스크에 한정해서 우수한 성능을 내거나, 빠르고 효율적으로 문제를 풀 수 있는 모델은 BERT를 기반으로 합니다. 그런데 BERT는 세서미 스트리트의 캐릭터에서 이름을 따왔다고 합니다. 세서미 스트리트를 알긴 하지만 모든 캐릭터의 이름을 잘 알 정도는 아니었어서, 처음에 BERT의 이름을 보곤 별 생각이 없었는데, 이름의 유래가 이렇다는 것을 알고 나니 흥미로웠습니다. BERT 출시 이후 세.. 2023. 9. 24. [논문 리뷰] How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings Static Embedding과 비교하여 Contextualized representations가 어떤 특징을 갖는지에 대해 분석한 논문인 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings를 리뷰해보았습니다. 이번 논문은 이해하기가 특히 어렵고, 한글로 옮기기 어려운 개념들이 많았던 것 같습니다. 번역을 통해 오히려 이해가 어려워지거나, 원문의 표현을 사용하는 게 원래 의미를 온전히 잘 전달할 것이라고 생각하는 표현은 원문의 표기를 따랐습니다. 오개념이나 오탈자가 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습.. 2023. 9. 24. [논문 리뷰] PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization 추상적 요약(Abstractive Summary) 모델을 다룬 PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization에 대한 논문을 읽고 리뷰해보았습니다. 오개념이 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 개요 텍스트 요약은 입력 문서에 대한 정확하고 간결한 요약문을 생성하는 것을 목표로 합니다. 단순히 입력 문서의 일부를 복사하는 것에 그치는 추출적 요약(extractive summarization)과는 다르게, 추상적 요약(abstractive summarization)은 요약문에 새로운 단어를 생성하기도 합니다. 좋은 추상적 요약문은 핵심 정보를 잘 담고, .. 2023. 9. 22. [논문 리뷰] Neural Machine Translation by Jointly Learning to Align and Translate Attention mechanism의 시초라고 할 수 있는 논문, Neural Machine Translation by Jointly Learning to Align and Translate를 읽은 후 리뷰해보았습니다. 해석이 잘못 되었거나, 오개념이 있다면 댓글로 지적해주세요. 설명이 부족한 부분에 대해서도 말씀해주시면 본문을 수정하겠습니다. 개요 기계 번역 분야에서 신경망 기계 번역(Neural Machine Translation, NMT)는 당시 새롭게 제안된 접근법이었습니다. 통계 기계 번역(Statistical Machine Translation, SMT)와는 다르게 NMT는 번역 성능을 극대화할 수 있는 공동으로 훈련될 수 있는 시스템을 구축하는 것을 목표로 합니다. SMT 시스템은 Langu.. 2023. 9. 20. 이전 1 ··· 6 7 8 9 10 11 12 다음
