2020년 6월 미국 캘리포니아주 산타크루즈 시의회는 범죄 위험을 예측하는 인공지능(AI) 시스템의 지역 내 사용을 중단시켰다. 미국 내 첫 사례였다. 2010년부터 운영돼왔던 이 예측적 치안(Predictive Policing) 알고리즘은 지역 내 인종차별과 양극화 논란을 일으키며 약 10년 만에 폐기처분 판정을 받게 된 것이다.

이 시스템이 도입된 이후 범죄 발생 위험도가 높은 곳으로 분류된 지역의 주민들은 이웃과의 만남, 파티 등 다수의 사적 집합 행위가 경찰로부터 의심을 샀다고 불만을 토로했다. 일례로 15세 한 아이가 차고에서 자전거를 훔쳐 달아난 사건이 발생한 이후, 알고리즘은 그 아이의 부모에게 끊임없이 경찰을 파견하라는 경고를 보냈다. 심지어 모임이나 직장까지 찾아와 감시하는 행태도 반복됐다. 지역 내 거주자들을 잠재적 범죄자로 낙인찍는 폐해가 오히려 강화된 것이다.

AI 기반으로 작동하는 예측적 치안 시스템에 대한 우려는 최근 미국 의회로 옮겨붙고 있다. 미국 상원 론 와이든, 엘리자베스 워런 의원 등 8명은 지난 4월 15일, 10가지 질의가 담긴 서한을 미 법무부에 발송했다. 이 서한에는 연방 기금의 지원을 받아 개발된 예측적·자동화 치안 알고리즘의 효과, 신뢰, 편향 등이 취약계층에게 어떤 영향을 미쳤는지, 평가와 교훈 등의 질문들이 담겨 있었다. 뿐만 아니라 해당 알고리즘을 개발한 업체와 지원금액 등도 세세히 공개할 것을 요청하고 있다. 점차 시장이 커지고 있는 예측적 치안 알고리즘에 제동을 걸기 위한 미 의회 차원의 감시가 시작된 것이다.

기본적으로 예측적 치안 알고리즘은 범죄 발생 이력과 신고 데이터에 의존한다. 여기에 계절, 날씨 패턴, 시간대, 피해자 유형, 장소의 특징 등을 결합하면서 예측력을 높인다. 비가 내리는 새벽 시간대, CCTV가 설치되지 않은 골목길에서 범죄가 여러차례 발생했다면 알고리즘은 유사한 장소로 경찰을 수시로 내보낸다. 하지만 그 장소로 파견된 경찰이 주변을 지나가는 다수의 시민을 잠재적 범죄자로 바라보는 건 사실상 피할 수 없다. 예방적 효과를 기대할 수는 있겠으나 그로 인한 부정적 효과 또한 만만치 않다.

지난 3월 경찰청은 울산, 경기 북부, 충북 등을 예측적 치안 알고리즘 ‘프리카스(Pre-CAS)’의 시범 운영 지역으로 지정했다. 한두달 뒤에는 전국으로 확대 적용할 것이라는 계획도 내놓았다. 다수의 언론은 ‘경찰, AI 활용해 범죄 예방한다’며 혁신적인 경찰청의 시도를 칭찬하고 있다. 이 기술이 초래할 또 다른 폐해를 예상하거나 한계를 점검하는 내용은 찾아볼 수 없었다.

사실 작동방식과 기술적 구성, 인풋 데이터 등은 산타크루즈시가 운영한 소프트웨어와 크게 다르지 않다. 적용되는 지역의 특성은 차이가 있겠지만, 그것이 초래할 부작용은 거의 비슷할 것이다. 이를테면 외국인 노동자들이 다수 거주하는 지역은 범죄 위험도가 높은 지역으로 예측될 것이고, 그들을 잠재적 범죄자로 인식하는 경찰의 편견은 더 강화될 것이다. 하지만 이를 염려하는 목소리는 여전히 크지 않다.

AI가 범죄를 예측할 수 있을 것이라는 막연한 판타지는 이 알고리즘을 조사하고 감사하는 필수장치의 도입을 지연시킨다. 미국 상원의원의 서한에도 포함돼 있듯, 이 알고리즘의 효과와 신뢰도, 학습 데이터의 투명성 강화 방안 등은 사후에라도 필수적으로 마련돼야 한다. 취약계층 영향평가도 검토돼야 한다. 지역 주민들의 인권과 행복추구권을 보호하기 위해서라도 산타크루즈의 교훈을 곱씹어볼 필요가 있다.

<이성규 미디어스피어 대표>