제미나이가 생성한 일러스트
생성형 AI 시대가 열린 이후, IT 업계는 이른바 ‘망치를 든 사람 증후군’에 깊게 빠져 있다. 망치를 들면 모든 문제가 못으로 보인다는 격언처럼, 대형언어모델(LLM)이라는 매혹적인 마법 지팡이를 손에 쥔 개발자들은 세상의 모든 사소한 문제까지 AI로 해결하려 든다. 정규 표현식 몇 줄이면 끝날 텍스트 추출 작업, 가벼운 조건문이나 의사결정 트리로 충분한 작업에 수천억개의 매개변수를 가진 최신 LLM의 API를 호출한다. 파리를 잡기 위해 엑스칼리버를 휘두르는 격이다. 이를 ‘AI 오버엔지니어링(Over-engineering)’이라 부른다.
시스템이 복잡해질수록 우리가 치러야 하는 ‘복잡성의 세금’은 기하급수적으로 늘어난다. 가장 먼저 청구되는 고지서는 바로 경제적·환경적 비용이다. 단순한 텍스트 분류 작업에 고급 AI 모델을 사용하는 것은 매번 엄청난 토큰 비용을 발생시킨다. 기업들은 AI 도입을 통해 생산성을 극대화하려 하지만, 정작 AI 청구서를 받아 들고는 경악을 금치 못한다. 게다가 거대 모델들이 단순 연산을 수행하기 위해 소비하는 전력량과 탄소배출량은 이미 지속 가능한 수준을 넘어서고 있다.
성능과 사용자 경험 측면에서도 오버엔지니어링은 치명적인 독이 된다. 복잡하게 얽힌 AI 파이프라인은 필연적으로 ‘지연 시간(Latency)’을 발생시킨다. 전통적인 데이터베이스 질의로 10밀리초면 끝날 응답을, 외부 AI 모델이 처리하느라 몇초씩 기다려야 한다면 사용자는 그 서비스를 외면할 것이다. 더 심각한 것은 신뢰성의 저하다. 거대 모델과 복잡한 프레임워크는 통제 불가능한 변수를 낳는다. 환각 현상을 잡겠다고 또 다른 AI 모델을 검증용으로 덧붙이는 식의 미봉책은 시스템을 거대한 카드의 집으로 만들어버린다. 부품이 많아질수록 고장 날 확률도 높아지는 법이다.
다행스러운 점은 최근 업계 최전선에서부터 이러한 과잉에 대한 자성의 목소리와 함께 실용주의적 회귀가 일어나고 있다는 것이다. 소형언어모델(SLM)의 부상이 그 증거다. 마이크로소프트의 파이(Phi) 시리즈나 메타의 라마(Llama) 소형 버전들은 “모든 문제에 초거대 AI가 필요하지 않다”는 시장의 깨달음을 대변한다. 특정 도메인에 특화된 작고 가벼운 모델, 혹은 목적에 맞게 세밀하게 조율된 전통적인 기계학습 알고리즘이 오히려 거대 모델보다 훨씬 빠르고 정확하며 저렴하다는 사실이 증명되고 있다. 기업들은 이제 맹목적인 AI 도입이 아니라 문제의 본질에 가장 적합한 도구를 찾는 ‘AI 최적화’로 시선을 돌리고 있다.
생텍쥐페리는 “완벽함이란 더 보탤 것이 없을 때가 아니라 더 빼낼 것이 없을 때 완성된다”고 말했다. 진정한 공학의 미학은 무한한 자원 투입을 통한 성능의 극대화에 있지 않다. 제한된 자원 속에서 최적의 균형을 찾아내고, 목적에 완벽히 부합하는 가장 우아하고 단순한 구조를 설계하는 것에 있다. 우리는 이제 파리를 잡기 위해 꺼내들었던 엑스칼리버를 내려놓고, 다시 파리채를 쥘 수 있는 용기와 지혜를 가져야 한다. AI가 진정으로 우리 삶에 스며들기 위해서는, 지능의 확장 못지않게 지능의 다이어트가 필요한 게 아닐까.