BERT는 그 유명한 논문 Attention is All You Need에서 제안한 트랜스포머(Transformers)의 인코더를 기반으로 한 언어 모델입니다. GPT-3.5와 같이 초거대 규모의 언어모델 등장 이전에는 분류 태스크를 포함한 다양한 NLP 문제는 BERT를 기반으로 한 모델로 풀었습니다. 여전히 특정 태스크에 한정해서 우수한 성능을 내거나, 빠르고 효율적으로 문제를 풀 수 있는 모델은 BERT를 기반으로 합니다. 그런데 BERT는 세서미 스트리트의 캐릭터에서 이름을 따왔다고 합니다. 세서미 스트리트를 알긴 하지만 모든 캐릭터의 이름을 잘 알 정도는 아니었어서, 처음에 BERT의 이름을 보곤 별 생각이 없었는데, 이름의 유래가 이렇다는 것을 알고 나니 흥미로웠습니다. BERT 출시 이후 세서미 스트리트 캐릭터의 이름으로 언어 모델의 이름을 짓는 게 트렌드가 되다시피 했는데, 이러한 트렌드에 대해 다룬 재미있는 기사가 있어서 번역해보았습니다. 기사에서는 이런 캐릭터들을 머펫(Mupptet)이라고 통칭하는데, 이는 인형극에서 사용하는 캐릭터들을 의미한다고 합니다. 본문에는 약간의 의역과 중간에 제가 임의로 추가한 내용이 일부 존재합니다. 원문은 The Verge라는 테크 뉴스 웹사이트에서 가져왔습니다.
최근 AI 분야의 가장 큰 트렌드 중 하나는 상황에 맞는 문자를 유동적으로 생성할 수 있는 머신러닝 모델을 개발하는 것입니다. 이러한 프로그램은 컴퓨터의 언어 구문 분석과 생성 능력을 잠재적으로 크게 향상시키는, 이른바 게임 체인저입니다.
이 트렌드에 감춰져 주목받지 못한 또 다른 트렌드가 있는데, 바로 이러한 많은 프로그램의 이름이 머펫의 이름을 땄다는 점입니다. 현재까지 이 새로운 유형의 언어 모델에는 ELMo, BERT, Grover, Big BIRD, Rosita, 그리고 최소 두 개의 ERNIEs (ERNIE 2.0을 포함한다면 세개)와 KERMIT이 포함되어 있습니다. 구글, 페이스북, 그리고 앨런 인공지능 연구소(Allen Institute for AI)를 포함한 거대 기술 기업 뿐만 아니라 중국의 거대한 검색 엔진을 운영하는 바이두, 베이징의 칭화대학교에 이르기까지 인공지능 모델을 제공하는 등 전 세계적으로 열풍이 불고 있습니다. 이러한 시스템은 “머펫웨어(Muppetware)”라고 불릴 정도로 명명 규칙이 잘 정립되어 있습니다. 그런데 누가 이 유행을 주도하였을까요?
다른 연구자들이 머펫의 이름을 따서 AI 모델의 이름을 지은 것을 보고 이를 따라했다는 농담에 가까운 단순한 답변도 있습니다. 하지만 이 농담은 AI 연구자들이 서로의 연구에 경의를 표하고 이를 바탕으로 발전하는 연구 분야의 특징을 잘 보여주기도 합니다.
이 트렌드는 앨런 인공지능 연구소에서 고안하여 2017년 10월에 온라인에 처음 발표한 모델인 ELMo에서 시작되었습니다. 새로운 지평을 여는 연구가 흔히 그렇듯이, 연구팀은 모델의 간결한 약어를 마련하고 싶었습니다. 이 논문의 주저자인 Matt Peters는 Slack에서 아이디어를 브레인스토밍했다고 말했습니다.
Peters는 “우리는 약어로 사용할 수 있는 단어를 여러 개 가지고 있었습니다.”라고 말했습니다. “언어 모델(Language Model), 컨텍스튜얼(Contextual), 임베딩(Embedding) 등.” 덧붙여 “Joel Grus라는 엔지니어가 언어 모델의 임베딩(Embedding from Language Models)을 의미하는 ELMo를 생각해 냈는데, 그 이름을 듣자마자 마음에 들었습니다.”라고 말했습니다. Peters는 “기발(whimsical)하고 기억에 남을 만한 이름이라 마음에 들었다”면서, “당시 큰 아들이 세 살 정도였는데, 아들에게 논문을 헌정하는 의미도 있었습니다.”라고 하였습니다.
2018년 Google의 AI 팀이 만든 언어 모델인 BERT가 아니었다면 ELMo로 시작한 유행은 일회성이 되어버렸을지도 모릅니다. BERT는 매우 강력하고 영향력이 있는 것으로 입증되었고, 언어 생성에 대한 여러 가지 새로운 아이디어를 AI의 주류로 끌어올렸습니다.
BERT는 공식적으로 트랜스포머의 양방향 인코더 표현(Bidirectional Encoder Representations)을 의미합니다. 구글은 이 이름의 기원에 대해서 묻는 The Verge의 요청을 여러 번 거절했지만, 앨런 인공지능 연구소의 연구원들처럼 머펫을 염두에 두고 명명했다고 널리 추정되고 있습니다. 이 주제에 대한 구글의 공식 블로그 포스트에는 다음과 같은 표현이 쓰여 있었습니다. “BERT는 ELMo를 포함한 사전 학습 컨텍스트 표현(pre-trained contextual representations)에 대한 최근 작업을 기반으로 합니다”
BERT는 여러 테스트에서 최고(state-of-the-art)의 결과를 얻었고, 최근 Google이 검색 엔진에 포함시킬 정도로 큰 성공을 거두었습니다. 이 모델이 출시되자 Muppetware의 문이 활짝 열렸고, 곧이어 ERNIE(Enhanced Representation through Knowledge Integration), KERMIT(Kontextuell Encoder Representations Made by Insertion Transformations), Big BIRD(Big Bidirectional Insertion Representations for Documents)등 마구잡이로 약어를 사용하여 명명한 많은 뛰어난 알고리즘이 등장했습니다.
이러한 트렌드는 단순한 장난이기만 한 것은 아닙니다. 앨런 연구소의 CEO인 Oren Etzioni가 설명한 것처럼 AI 세계에서 이러한 트렌드는 “지적 부채”를 심각하게 인식하는 방식이기도 합니다. 그는 “ELMo는 우스갯소리로 그렇게 명명되었지만, BERT는 ELMo의 인사이트에 직접적으로 기반을 두고, Grover는 BERT 등을 활용합니다.”라고 말하며, “ELMo의 공로를 강조하는 것은 매우 중요합니다 … Snuffaluffagus도 뒤처질 순 없습니다!”라고 하였습니다. (참고로 Snuffleupagus, 줄여서 Snuffy는 이름이 경박하다는 이유로 사용이 거절되었습니다.)
KERMIT과 Big BIRD를 만드는 데 기여한 버클리에서 박사 과정을 밟고 있는 Mitchell Stern은 이름 짓기는 보통 재미를 위한 것이지만, “브랜딩 측면”도 있다고 말합니다. Stern은 The Verge와의 메일 인터뷰를 통해 “이러한 트렌드가 얼마나 널리 퍼졌는지를 고려하면, 이 분야에서 일하는 사람들이 Sesame Street와 관련된 이름을 갖는 새 논문을 자연스럽게 알아볼 것”이라고 하였습니다. OpenAI의 GPT와 같이, 새로운 기술을 사용하는 모든 AI 언어 모델이 머펫의 이름을 따와서 명명되는 것은 아니지만, Muppetware 모델을 본다면 어떤 접근 방식을 사용하는지 알 수 있습니다.
이 모든 것은 AI 분야에서 아이디어를 창출하고 개선하기 위해 개방성과 협업에 어떻게 의존하는지를 이해하는 데 도움 이 됩니다. AI는 고독한 과학자가 밤 늦게까지 연구실에 틀어박혀 프로세서에 전력을 공급하고 반짝이는 명령줄에다가 “아직 살아있어요!”라고 외치는 분야가 아닙니다. (물론 이런 일이 실제로 일어나기는 하겠지만, 가장 생산적인 접근 방식은 아닙니다!) 그 대신 연구자 그룹이 서로의 작업과 아이디어를 바탕으로 반복적이고 협렵적인 방식으로 발전하는 경향이 있습니다.
Muppetware 농담은 곧 사라질 수도 있겠지만, 그때까지만이라고 해도 이러한 유행은 바람직한 관례입니다.
결국 협업과 존중은 세서미 스트리트의 캐릭터들이 자랑스러워할 만한 특성입니다.
'Features' 카테고리의 다른 글
| Gemini의 시대로 여러분을 초대합니다. (2) | 2023.12.07 |
|---|---|
| GPT-5에 대한 다양한 소식 (0) | 2023.10.16 |
| 왜 자연어 처리는 컴퓨터 비전보다 늦게 발전하였을까? (1) | 2023.10.10 |
댓글