구글은 람다2(LaMDA2)를 내놓았고, 메타는 OPT-175B를 출시했다. 오픈AI의 DALL-E2는 이미 한차례 바람을 몰고 갔다. 네이버는 하이퍼클로바의 고도화를 진행 중이다. 카카오도 KoGPT를 다듬어가고 있다. 빅테크 기업치고 대규모 언어모델을 개발하지 않는 곳은 거의 없을 정도다.

언어모델의 규모를 상징하는 파라미터수는 매해 기하급수적으로 늘어났다. GPT-3와 OPT-175B가 1750억개였고, 하이퍼클로바는 2040억개였다. 딥마인드의 고퍼는 2800억개 수준이다. MS와 엔비디아는 5000억개 파라미터를 지닌 초대형 언어모델을 곧 발표할 계획이다. 조 단위 파라미터 수를 넘어서는 건 이제 시간문제다. ‘새 무어의 법칙’(huggingface.co/blog/large-language-models)이라는 얘기가 그냥 나오는 게 아니다.

이제 언어모델은 규모 과시의 영역을 넘어 서비스화되는 단계에 들어섰다. 구글 닥스에 곧 적용할 문서요약문 자동생성 기능은 구글 내 언어모델의 도움이 컸다. 하이퍼클로바는 네이버앱 음성 검색의 정확도를 높이는 데 한몫 톡톡히 하고 있다. 텍스트만 입력하면 그림을 그려주는 DALL-E2는 용도가 넓어 무엇부터 시작해야 할지 갈피를 못 잡을 정도다. ‘생산수단’으로 변모해가는 언어모델의 위력은 더 이상 상상이 아닌 현실로 입증되고 있다.

언어모델의 진화는 필연적으로 기술 산업을 ‘컴퓨팅 부자’와 ‘컴퓨팅 빈자’로 계층화한다. 조 단위로 뻗어가고 있는 파라미터수의 증가가 이를 유도하고 강화한다. 확보 가능한 데이터의 양만큼이나 컴퓨팅 파워, 즉 하드웨어의 연산 역량이 중요해지면서 기업 간 양극화의 정도는 더욱 극단화한다.

반대 방향으론 대규모 언어모델이 오픈소스와 결별하고 클라우드 시스템과 결합하며 상품화하는 과정이 진행 중이다. 오픈소스를 표방하던 GPT-3가 폐쇄형으로 전환되면서 더 이상 소스코드에 대한 보편적인 접근이 불가능해졌다. 클라우드와 결합한 대규모 언어모델에 가격표가 붙기 시작하면서 컴퓨팅 빈자들의 고민은 깊어지고 있다. 언어모델 연구자들도 컴퓨팅 부자 기업에 취업하거나 시혜를 받지 않는 이상, 새롭고 혁신적인 연구성과를 낼 수조차 없는 상황이 오고 있다. 오픈소스 데이터로 학습한 언어모델이 다시 울타리 안으로 들어가면서 가진 자와 빈자의 격차를 급격히 키우는 형국이다.

조만간 콘텐츠 창작자를 위한 플랫폼에 언어모델이 필수 기술로 자리 잡을 전망이다. 창작 시간을 효율화하고 핵심 콘텐츠의 생산을 보조해주는 기술이기에 그 유혹을 물리치기란 쉽지 않다. 그날이 오면 컴퓨팅 빈자는 어쩔 수 없이 컴퓨팅 부자의 클라우드 플랫폼에 높은 비용을 지불하고 언어모델을 사용해야만 한다. 독과점 가격도 피하기 어려워진다. 소수 기술 기업에 의한 생산수단 독과점, 다시 말해 ‘AI 자본주의’ 시대가 이렇게 스멀스멀 우리 안으로 침투하고 있다.

<이성규 미디어스피어 대표>