[특집]“한국 빅데이터, 미국에 비해 4~5년 뒤져 있다”

<빅데이터 승리의 과학> 저자 고한석씨

지난 2012년 한국 대선. 또 하나의 승자는 전통적인 FGI(포커스 그룹 인터뷰)와 여론조사였다. 1987년 이후 선거 결과 예측에 있어서 전통적인 접근법인 여론조사의 유용성을 확인한 선거라고 할 수 있다. 앞으로도 이 경향은 지속될까.

오바마 대선 추적 통해 비법 재현

미국 오바마 캠프의 빅데이터 선거과정을 분석한 책 <빅데이터 승리의 과학>. | 이지스퍼블리싱 제공

미국 대통령선거에서 오바마 캠프의 활동은 많이 화제를 뿌렸다. 이른바 빅데이터 선거다. 오바마 캠프가 채택한 기법인 ‘마이크로타기팅’이나 선거운동 원용 애플리케이션 ‘대시보드’ 등은 그동안 간간이 국내 언론 보도를 통해 알려지기도 했다. 하지만 이를 오바마 캠프에 결합한 기술자들이 어떤 식으로 빅데이터 선거를 했는지 그 구체적 내용은 알려지지 않았다. 고한석씨가 이번에 낸 책 <빅데이터 승리의 과학>은 치밀한 추적을 통해 그 과정과 비법을 재현해냈다. 고씨의 책에 따르면 오바마 캠프가 여론조사를 하지 않은 건 아니었다. 총 8개의 외부 조사업체로 이뤄진 여론조사팀이 있었다. 빅데이터 분석방식과 여론조사팀의 내부경쟁은 치열했다. 그 결과는 빅데이터팀의 완승이었다.

빅데이터팀의 조사방식은 사회과학적으로 확립된 전통적 여론조사의 상식을 뒤엎는 것이다. 즉 ‘체계적으로 무작위로 추출된 표본조사가 무모하게 시도된 전수조사보다 결과가 정확하다’는 상식이다. 빅데이터팀은 한 사람 한 사람씩 그가 투표에 어떻게 참여할지에 대한 수백개의 변수들을 다양한 데이터베이스의 통합과 자원봉사자들의 보고를 종합해 투표율을 계산했다. 빅데이터팀은 결과의 해석뿐 아니라 전략에서도 상이했다. 빅데이터팀은 옵티마이저라는 독자적으로 개발한 소프트웨어를 통해 종전 TV 시청률 데이터보다 세밀한 분류를 만들어냈고, 다시 마이크로 타기팅과 결합해 롬니 캠프처럼 값비싼 전통적 TV 정치광고를 대폭 줄이고, 지지층의 특성에 맞는 미디어홍보를 했다.

책을 낸 고한석씨는 오바마 빅데이터 선거의 의의를 이렇게 말했다. “일반적으로 데이터 분석을 세 단계로 나눈다면 첫 번째가 묘사적 분석(descripted analysis) 즉, ‘무슨 일이 일어났나’에 대한 분석이고, 둘째가 예측분석, 즉 ‘이런 일이 일어났다면 앞으로 어떤 일이 일어날까’에 대한 전망을 내놓는 분석이다. 오바마 캠프 이전에 기업들도 여기까지는 해냈다. 오바마 캠프가 한 단계 더 나아간 것은 처방, 즉 사전조치분석이다. 문제가 발생하기 전에 예측분석을 하고, ‘그렇다면 우리가 이런 행동을 취한다면 어떤 결과가 나올까’에 대한 예측을 해낸 것이다.”

한국과 미국의 빅데이터 기술이나 활용에서의 격차는 어느 정도 될까. 고씨는 정치영역에서는 15년, 사회적으로는 4~5년 정도 뒤처진 것으로 점쳤다. “한국의 상황을 보면 재미있는 것이 미국에서 빅데이터 논의가 시작되던 초기의 상황과 상당히 비슷하다. 한국에서 유권자 데이터를 갖고 있는 것은 보통 국회의원들이나 지역 당협 위원장들인데, 보통 1만명에서 2만명 정도의 DB를 가지고 있지만 내놓으려 하지 않는다.”

미국 민주당 전국위원회가 초기에 겪은 딜레마다. 당시 미국 민주당은 데이터를 내놓으면 더 정확하게 보완해서 돌려주겠다고 제안해 결국 전국적인 데이터 통합을 이뤄냈다. “이 책을 통해 가장 강조하고 싶은 것은 데이터 리더십이다. 빅데이터냐 아니냐보다 더 중요한 것은 데이터를 이용해서 가치있는 발굴을 해냈느냐는 것이다. 기술적인 문제는 후차적인 것이다.” 굳이 정당이 아니라도 한국에서 빅데이터 활성화를 꿈꾸는 사람이라면 한 번쯤 참고해볼 만한 지적이다.

<정용인 기자 inqbus@kyunghyang.com>