잘못 배운 AI는 사회의 해악이 될 수 있다

최근 인공지능(AI) 챗봇(Chatbot) ‘이루다’로 인해 커다란 사회적 논란이 있었다. 처음에는 이루다의 혐오 발언이 이슈가 됐는데, 이후 개인정보 유출 문제가 불거지면서 이슈가 활활 타올랐다. 논란이 일면서 이루다의 개발사 스캐터랩은 이런 상황을 예상했으며, 기술적 한계가 있다는 식으로 항변했지만 결국 서비스 중단을 발표했다. 이번 이루다 사태를 혐오 발언과 개인정보 유출이라는 두가지 이슈로 나눠 살펴보자. 사회적 혐오와 차별의 반영일 뿐인가? 아니면 확대재생산인가?

인공지능 챗봇 이루다 / 경향DB

“AI가 아니라 사회가 반성해야”

먼저 혐오 발언과 관련해 이루다는 장애인, 임산부 좌석, 성소수자 등에 대해 혐오스럽고 소름 끼친다는 식의 답변을 했다. 현재의 AI 챗봇은 대화 상대자가 원하는 내용에 맞춰 미리 학습한 방대한 인간 대화를 바탕으로 질문에 맞는 가장 그럴듯한 답변을 하는 식으로 대화를 이어 나가도록 돼 있다. 아직은 올바른 윤리의식을 갖추고 대화 상대자의 잘못을 지적하거나 불법행위를 신고하는 수준에는 도달하지 못한 상태다.

이는 어느 정도 기술적인 한계 때문이기도 하지만, 한편으로는 수익 창출을 위해 AI를 만드는 기업 입장에서는 이런 윤리 문제가 주된 관심 분야가 아니기에 충분한 연구개발과 투자가 이뤄지지 않았기 때문이기도 하다. 이번 사태에 대해 여러 업계 전문가들이 견해를 밝혔다. 남궁훈 카카오게임즈의 대표는 “현세대가 가진 혐오와 차별이 반영된 것이며, AI가 반성해야 하는 것이 아니라 사회가 반성해야 한다”면서 혁신적 서비스를 출시한 회사에 박수를 보낸다고 밝혔다. 하지만 이런 식의 ‘기술우선주의’적인 인식은 우려스러울 뿐만 아니라 AI 산업의 발전에도 그리 도움이 되지 않는다고 볼 수 있다.

이제 AI 기업들은 자신들이 원하는 수익 창출을 위해 AI의 윤리의식이 반드시 필요함을 깨달아야 한다. 대중은 AI로부터 불쾌한 말을 듣고 싶어하지 않는다. 또한 대중은 한 인간의 혐오 발언보다 AI의 혐오 발언을 훨씬 더 크게 받아들인다. 몇몇 사용자의 혐오 발언을 AI가 학습했다고 해서 다른 사용자들에게 그대로 전달하는 것을 용납할 수 없다. 결코 대중의 과민반응이 아니라는 뜻이다.

혐오와 차별이 사회에 존재하는 것은 사실이지만, 그렇다고 AI 플랫폼이 사회에 그러한 혐오와 차별을 전파하는 게 정당화될 수는 없다. 사회의 나쁜 요소를 줄이기는커녕 더 악화시키는 데 일조한 형국이기 때문이다. 더욱이 이번 논란은 2016년 마이크로소프트가 선보인 AI 챗봇 ‘테이(Tay)’ 사태의 반복이다. 테이는 당시 트위터 기반의 챗봇으로 공개됐는데 부적절한 발언으로 인해 즉시 세계적인 이슈가 됐으며, 출시 24시간도 안 돼 빠르게 중단됐다. 이후 마이크로소프트의 CEO 사티아 나델라는 “테이 사태가 자사의 AI 접근방식에 큰 영향을 미쳤으며 책임감의 중요성을 배웠고 훨씬 더 신중을 기하고 있다”고 밝힌 바 있다.

연애의 과학 앱이 제공하는 애정도 분석 / 구글 플레이

사회의 나쁜 부분을 잘못 배운 AI는 결국 사회에 부적절한 시스템이 될 수밖에 없다. 이는 우리가 완벽히 해결하지는 못하더라도 최대한 해결해야 할 문제다. 이를 위해 충분히 고민하고 투자해야 한다. 이것이 이번 이루다 사태의 중요한 교훈이 아닐까 싶다.

혐오 발언이 관점에 따라 논쟁의 여지가 있는 사안이라면, 개인정보 유출 및 사생활 침해는 명백히 잘못된 일이며 불법으로 결론 날 가능성이 높은 사안이다. 이에 대한 정확한 이해를 위해서 이루다의 배경과 기술적인 측면을 살펴볼 필요가 있다.

스캐터랩은 사용자가 제공한 카카오톡 데이터를 이용해 애정도 분석, 연애 팁 등 흥미로운 연애 콘텐츠를 유료로 제공하는 ‘연애의 과학’ 앱을 서비스하면서 꽤 주목받은 업체다. 엔씨소프트, 소프트뱅크벤처스 등으로부터 총 64억원에 달하는 누적 투자를 유치하기도 했다. 스캐터랩은 지난해 12월 새로운 서비스 이루다를 출시하면서 100억건의 카카오톡 데이터를 기반으로 만든 AI라는 것을 강조했다. 스캐터랩 대표가 과거 인터뷰를 통해 직접 밝힌 바에 따르면, 이루다는 기술적인 측면에서 크게 두가지 대화 모델을 사용한다. 하나는 ‘리트리벌(retrieval)’이고, 다른 하나는 ‘제너레이션(generation)’이다.

수익을 창출하려는 기업의 욕구

리트리벌은 미리 준비한 대규모 질문·답변 데이터 베이스를 통해 대화 중 맥락에 맞는 답변을 빠르게 찾아 사용하는 방식이다. 반면에 제너레이션은 대화에 맞춰 즉각적으로 단어를 생성해 사용하는 방식이다. 기술적으로 후자가 보다 난이도가 있으며, 높은 시스템 성능을 필요로 한다. 스캐터랩 대표는 이루다가 리트리벌 방식을 메인 모델로 사용한다고 밝힌 바 있다. 이루다의 진짜 사람 같은 답변은 실제로 누군가의 사적인 대화였던 것이다. 논란 초기에 스캐터랩은 데이터를 익명화(비식별화)해 사용한다고 해명했지만 실제로는 실명, 집 주소, 은행 계좌번호 등이 그대로 노출된 것으로 밝혀졌다.

무엇보다 이번 개인정보 유출 사태에서 중요한 질문은 과연 스캐터랩에 이용자의 연애 대화를 마음껏 활용할 권리가 주어져 있는가 하는 것이다.

연애의 과학 이용약관에는 콘텐츠의 제공을 위해 회원의 정보를 활용할 수 있다고 표기돼 있으며, 개인정보 취급방침에는 “신규 서비스 개발 및 마케팅·광고에의 활용”이 가능하다고 나와 있다. 스캐터랩은 이용 동의를 받아 문제가 없을 것으로 판단했다고 밝혔다.

그런데 약관에 동의해야만 앱을 사용할 수 있기에, 대부분의 이용자들은 습관적으로 동의할 뿐 전체 약관을 읽어보지 않는다. 설령 약관을 읽어본 이용자라 할지라도 도대체 활용 범위가 어디까지인지 정확히 알 수 없기는 마찬가지다. 만일 이루다에 자신의 연애 대화가 문장 그대로 사용될 거라는 걸 알았다면, 그럼에도 자신의 데이터를 제공할 사용자가 과연 얼마나 될까?

이번 사태를 단지 일개 기업의 실수나 일탈로만 봐서는 안 된다. 사실 많은 IT 기업들이 사용자의 개인정보를 어떻게든 최대한 비즈니스에 활용하고자 하는 욕구를 갖고 있다. 데이터 활용이 곧 수익으로 이어지기 때문에 기업들의 욕구는 상상을 초월할 정도로 강력하다. 페이스북은 거의 정기적으로 개인정보 유출 사건을 일으키고 있으며, 최근 논란이 된 카카오맵 신상 노출 사건도 실수라기보다는 기업들의 그런 욕구에 따른 결과라고 볼 수 있다.

기업 스스로 이용자의 개인정보를 잘 보호할 것이라고 믿는 것은 순진한 생각이다. 이번 사태를 한 기업의 일탈이나 대중의 과민반응으로 치부하지 말고, ‘사회적 신뢰’ 강화를 위한 합리적인 행동의 계기로 삼을 필요가 있다.

<류한석 류한석기술문화연구소장>