[IT 칼럼]빅 데이터가 아니라 굿 데이터가 필요

통계학에서 가장 먼저 배우게 되는 개념 중 하나가 통계적 유의미함이다. 논문이나 보고서에 회귀분석 표가 있고, 해당 표에 별표가 붙어 있는 수치가 있다면 그것들이 통계적으로 유의미한 수치다. 그러나 유의미하다는 것과 통계적으로 유의미하다는 것은 차이가 있다. 예를 들어, 사회과학에서 통용되는 통계적으로 유의미함의 기준은 p값이 0.05 이하인 경우다. 위의 표에서 별표가 한 개 붙어 있는 것들이다. 이걸 달리 표현하면, 같은 실험을 반복하면 20번에 한 번만 우연이고, 나머지는 우연이 아니란 뜻이다. 이와 같은 관점에서 버클리 대학의 저명한 통계학자로 2008년 작고한 데이비드 프리드만은 통계적 유의미함이란 일반인들 사이에서 과대평가된 용어라고 한탄한 적이 있다. 통계적으로 유의미하다는 것은 그저 그 수치가 우연일 확률이 낮다는 것이지, 그 이상의 의미를 갖지 않기 때문이다.

이번 세기에는 빅 데이터라는 말이 과대평가되고 있는 것처럼 보인다. 갖고 있는 데이터가 더 커진다면, 더 많은 통찰과 지혜를 얻을 수 있다는 목소리가 커지고 있다. 그러나 이런 주장을 받아들이는 건 조심스럽게 해야 한다. 데이터가 크다고 해서, 반드시 더 많은 것들을 이해할 수 있는 건 아니기 때문이다.

예를 들어, 현재 갖고 있는 데이터보다 100배 더 많은 데이터를 갖게 된다고 생각해보자. 내가 갖고 있는 데이터들이 서로 독립적이라고 가정하면, 내가 갖고 있는 데이터의 표준편차는 10분의 1로 줄어들 것이다. 표준편차는 평균을 중심으로 데이터들이 흩어져 있는 정도를 표현한 수치이므로, 더 정확한 통계적 측정이 가능해졌다고 말할 수 있다. 하지만 이런 이상적인 경우는 현실에서 만나기 어렵다. 데이터들이 서로 독립적이라는 가정은 이 데이터들이 서로 섬처럼 떨어져 있어야 가능하다. 그러나 사회적으로 만들어지는 데이터들은 대부분 서로 연결되어 있다. 따라서 데이터가 커지면서 신호만 증가하는 것이 아니라, 소음도 증가한다. 이걸 연구 설계로서 혹은 통계 모델로서 어떻게 처리할 수 있을지에 대한 고민 없이, 데이터 크기만 커진다고 해서 신뢰도가 더 높아질 거라고 생각하는 건 오산이다.

페이스북이 갖고 있는 전 세계 8억 인구의 사회적 관계망에 대한 데이터는 정말 매력적이다. 여태껏 누구도 그렇게 세밀한 자료를 확보한 적이 없다. 그러나 그 정도 데이터를 갖고 있더라도 어떤 현상에 대해 제대로 깊이 이해하는 건 쉬운 일이 아니다. 데이터 분석에서는 데이터 크기만이 문제가 아니기 때문이다.

어떤 지역에 특정 범죄-예를 들어 유아 유괴사건-가 왜 일어나는지를 빅 데이터를 가지고 분석한다고 생각해보자. 장소 변수에서 봤을 때, 유원지나 학교 주변과 유괴사건 발생 사이에는 통계적으로 유의미한 관계가 존재한다. 그러나 통계적으로 유의미한 관계는 이들 사이에 뭔가가 있다는 것 이상을 이야기해주지 않는다. 그리고 사실 직관적으로도 유원지나 학교 주변에 문제가 있다기보다는 이런 곳들에 유아가 출현할 빈도수가 훨씬 높다는 것이 더 중요하다는 걸 이해할 수 있다. 여기서는 장소 변수는 조건에 불과했지 원인은 아니었다. 그걸 개념적으로 정리하는 게 핵심이었고, 상관관계와 인과관계의 차이를 구분하는 게 필요했다.

IT 칼럼 구독

페이스북이 지난해 윤리적 위험을 감수하면서 특정 포스트에 대한 사람들의 심리적 반응을 엿보기 위해 실험을 감행한 것도 8억을 ‘관찰한’ 데이터만을 가지고, 인과관계에 대해서 추론하는 것에 많은 어려움이 있기 때문이다. 데이터가 큰 것이 중요한 게 아니라, 자기가 풀고 싶은 문제인지를 먼저 정확하게 아는 게 중요하다. 그리고 그 문제를 해결할 수 있는 데이터인 굿 데이터가 정말 우리에게 필요한 데이터다.

<김재연 (대학사용법 저자)>