[IT칼럼]흑백 영상물에 감정을 입히다

육아에서 교훈이 하나 있다면, 아이의 사랑스러운 순간은 가급적 동영상으로 남기라는 것이다. 멈춰 있는 사진은 좀처럼 말해주지 않는 감동이 지난날의 움직임과 소리 안에는 들어 있다. 눈으로 들어오는 삶과 세상이 원래는 움직이고 있어서인지 순간 포착된 사진은 주지 못하는 다른 감정을 동영상은 가져다준다.

일러스트 김상민 기자

감동에는 해상도가 있다. 최근 그걸 사뭇 깨닫게 되었는데 바로 인공지능에 의해 4K 해상도 60FPS(초당 프레임 수)로 리마스터링·업스케일(화질 개선 및 향상 작업)되고 있는 각종 흑백 영상들이 유튜브에 퍼지게 되면서다. 겪어 보지 못한 과거를 4K·60FPS로 응시하다 보면 이전에 봤던 뻑뻑한 흑백 영상물은 주지 못했던 심적 동요를 준다. 신기한 일이다.

먼저 해상도를 높이는 업스케일은 신형 TV에도 탑재되고 있는 대표적 기술이다. 만약 화면에 고대 유물의 영상이 나오고 있다면, 수많은 건조물 등 삼라만상을 고화질과 저화질의 쌍으로 이미 학습한 AI 칩이 저화질을 고화질로 손봐주는 식이다. 물론 그렇게 확대되어 구체성을 지닌 정보는 칩의 기억이지 영상의 진실은 아니지만 아무래도 좋다.

이보다 약간 더 어려운 일은 채색을 하는 일이다. 디올디파이(DeOldify)라는 기술이 대표적인데, 세상 사물들이 대강 어떤 색을 지니고 있는지를 학습한 뒤 이를 토대로 흑백의 세상이 원래 어떤 색이었을지 추론한다. AI에 의해 화사한 붉은 정장을 입게 된 1906년 흑백 필름 속 그는 강렬한 인상을 남긴다. 사실은 푸른 옷을 입고 있었을지 몰라도 상관없다. 누구도 기억하고 있지 않기 때문이다.

그러나 무엇보다 가장 마음을 움직이게 하는 것은 역시 60FPS의 감동이다. 이 역시 듬성듬성한 프레임 사이를 인공지능이 추론하여 채워준다. DAIN(Depth-Aware video frame INterpolation)이라는 기술이 대표적인데, 초당 16프레임에 불과한 고전 영상의 각 프레임도 그 사이사이의 프레임이 어떨지 추론해 내 생성한 후 틈마다 촘촘하게 끼워 넣는다. 0.01초 앞뒤의 과거나 미래를 기계가 상상하게 하는 것 같은 느낌이지만 불가능하지는 않다. 새로운 프레임 생성에 필요한 정보는 앞뒤 프레임에 다 들어 있어서다. 0.01초와 0.05초 사이에 벌어질 수 있는 일은 뻔하기 때문이다. 하지만 그 뻔한 정보조차 정말로 눈앞에 부드럽게 펼쳐지면 생동감과 현장감은 남다르다.

정지된 순간과 순간 사이에 일어난 일을 추론하여 그려주는 이 일. 미래에는 삽입될 프레임을 추론하는 능력이 더 발달해 간격이 훨씬 더 벌어져도 채워줄 것이다. 사실 시작과 끝을 안다면 그사이에 벌어지는 풍경은 대개 그간 벌어졌던 사회적 경험과 물리적 법칙에서 벗어나지 않아서다.

인간은 한장의 사진을 손에 들고도 그 사진을 찍었던 풍경을 주마등처럼 머리에 흘리곤 한다. 동영상은 존재하지 않지만 기억이 프레임을 삽입해 주는 덕이다.

IT칼럼 구독

이제 남은 영역은 기계에 한장의 사진을 쥐여주면서 동영상을 만들어 달라는 것일 터다. 기계는 물론 그 사진의 주인이 아니기에 그 사진의 풍경은 기억하고 있지 못하겠지만, 마치 업스케일처럼 그러한 사진이 있을 법한 풍경은 일반적 세상의 학습을 통해 기억하고 있을 터다. 그리고 언젠가는 결국 한장의 사진을 살아 움직이게 할 것이고, 이성은 그것이 진실이 아님을 알더라도 감정은 흔들리고 말 터다.

<김국현 IT 칼럼니스트·에디토이 대표>