구글 7세대 TPU 아이언우드. 구글 클라우드 제공
인공지능(AI) 덕에 그래픽처리장치(GPU)가 뜨기 시작하자, 인공 신경망에 아예 특화된 ‘뉴럴’ 프로세싱 유닛(NPU)이 관심을 받고 있다. 이름난 빅테크 중 NPU 안 만드는 데가 없는데, 구글은 TPU라 이름 지은 NPU를 2015년부터 내부적으로 쓰기 시작했다. 여기서 T란 AI를 가능하게 한 수학적 원리, 다차원 배열 ‘텐서’를 뜻하지만, 구글이 만든 AI 개발 소프트웨어 텐서플로를 연상케 한다. 다들 기술 내재화에 열심이다.
NPU란 곧 GPU 탈출 작전이었다. GPU 조달하느라 엔비디아에 세금처럼 내는 돈이 아까운 건 큰 회사일수록 더 했다. 구글의 최신 7세대 TPU는 대규모 추론을 효율적 에너지로 제공하는 데 탁월했다. AI가 반도체에 기대하는 건 두 가지가 있다. 하나는 학습, 즉 대량 데이터를 압축하는 일, 그러니까 레코드 기능이다. 또 하나는 추론, 그렇게 압축된 모델에서 원하는 답을 풀어내는 일, 말하자면 플레이 기능이다.
학습은 엔비디아가 딥러닝의 역사를 함께한 주역인 만큼 독보적이다. 하지만 추론은 챗봇의 가짓수와 그 사용자만큼 전 세계 규모로 폭증하니 엔비디아만으로는 감당 안 되는 상황으로 접어든 지 오래다.
메타가 자신들 데이터센터에 구글의 TPU 도입을 검토했다는 뉴스가 흘러나왔다. 메타도 이미 자신들의 NPU를 몇 년째 개발하고 또 쓰고 있는 상황인데 그쪽도 수요를 공급이 따라가지 못하는 듯하다.
지금까지 빅테크제 NPU는 대부분 자신의 데이터센터에 꽂아서 썼다. 전용 장비와 전용 기판과 전용 소프트웨어가 필요하기에 GPU처럼 편하게 납품할 수 있는 물건이 아니었다. 메타도 그간 그런 식으로 구글의 TPU를 빌려 썼지만, 2027년부터는 아예 사다가 꽂는 걸 검토하고 있다는 풍문이다.
엔비디아 중심의 AI 반도체 시장에 새로운 경쟁 구도가 형성된다는 뜻이다. 엔비디아는 이례적으로 구글의 성과를 소셜미디어에서 축하하면서 자신들이 한 세대나 앞서 있다며 누가 묻지도 않은 자랑을 했다. 이런, 엔비디아는 의식하고 있었다.
지난 3년간의 AI 발전은 물량 공세가 결과를 낳는, 전형적인 장치산업의 모습을 보여왔다. 데이터 확보와 설비투자의 지구전이었고, 엔비디아는 수혜주였다.
그래서 언제부턴가 GPU를 확보하는 일이 마치 군량미를 쟁여두는 일처럼 돼버렸고, 전략적 우선순위와 국가 경쟁력 지표처럼 여겨졌다. 그러니 이제 NPU만 있다면 엔비디아에 목매지 않아도 되는지 궁금해질 차례다.
역시 NPU에 열심인 아마존은 지난주 학습에 뛰어난 NPU 트레이니움의 세 번째 버전을 내놓았다. 전작보다 성능도 효율도 4배나 좋아졌다는 것. 그러나 동시에 엔비디아와의 전략적 협력을 확대한다는 보도자료도 함께 나왔다. NPU와 GPU를 함께 물려 대규모로 확장할 수 있다는 건데, 실은 엔비디아에 익숙한 클라우드 고객들이 엔비디아 방식대로 쓸 수 있게 하기 위함이다. NPU는 만들었지만 엔비디아의 당의를 입혀 임대하겠다는 뜻이니, 여전히 학습 분야에서 엔비디아의 벽은 높아 보인다.
엔비디아의 벽에 틈이 생기는 길은 두 가지가 있다. 하나는 물량 공세식 학습으로는 큰 혁신이 없음을 깨닫고 현재의 ‘묻지 마 확보’ 풍조를 의심하는 일이고, 또 하나는 신규 학습보다는 이미 완성된 모델을 돌리는 수요가 엔비디아의 공급을 넘어 급팽창하는 일이다. 둘 다 조짐은 보인다.