인공지능(AI)이 모든 것을 바꾼다는 세상이다. 미국 의사면허 시험도 통과했다는 챗GPT가 큰 역할을 했다. 보건의료 분야에서도 인공지능이 많은 것을 대체할 것이라 한다. 정말 의료는 어떻게 달라질까. 최근 ‘뉴잉글랜드의학저널(NEJM)’에 특별보고서가 게재됐다. 챗GPT가 진료 보조에 상당한 효용이 있지만, 오류도 있어 사용자가 어디까지 신뢰하고 검증에 시간을 들여야 할지는 의문으로 남았다는 내용이다. 스탠퍼드대학 인간-중심 인공지능(HAI) 그룹의 연구에 따르면 최신 버전의 챗GPT도 올바른 임상적 답을 하는 경우는 41%에 불과했고, 동일한 질문에 대한 대답의 편차가 컸다. 아직은 더 충분한 검증이 필요하다는 이야기다.

이런 결과는 어쩌면 당연하다. 챗GPT를 써본 사람이라면 이 AI가 그럴듯한 거짓말에 능하다는 걸 안다. 환각(hallucination)이라 불리는 이런 오류는 언어모델 AI의 근본적 한계로 지적된다. 최근 인공지능 개발을 6개월간 멈춰야 한다는 주장이 화제가 됐다. 이들도 인공지능의 똑똑함만큼이나 부정확성과 통제 불능을 우려한다. 이런 점 때문에 이탈리아는 지난 4월부터 챗GPT 접근을 차단했다. 유럽연합은 AI 규제를 강화하는 법안을 만들 예정이다.

한국은 이런 우려와 신중한 흐름과는 궤를 달리하고 있다. 윤석열 정부는 ‘AI 3대 강국’으로 도약하겠다며 천문학적인 투자를 하겠다고 나섰다. 안전이나 사회적 문제에 대한 고려는 뒷전이다. 우선 시장에 내놓고 규제는 나중에 하자고 한다. 정부가 최근 제정을 촉구하는 ‘인공지능법’의 핵심이자, 잇달아 발표하는 ‘바이오헬스 혁신’ 정책들의 골자다. 일단 허용하고 보자는 인공지능, 과연 괜찮을까?

IBM ‘왓슨’ 진단 정확도 기대 이하 의료 인공지능 중 가장 유명했던 IBM ‘왓슨’부터 한번 살펴보자. 왓슨은 2011년 유명 퀴즈 쇼에서 인간 챔피언을 이기며 화려하게 등장, 의료에 진출했다. IBM은 왓슨을 ‘암 치료의 혁명’이라고 홍보했다. 제대로 검증한 바는 없었다. 결과는 심각했다. 왓슨은 세계 암환자들에게 안전하지 않은 잘못된 치료를 권장했다. 진단 정확도는 폐암의 경우 17.8%에 그쳤다. IBM은 이런 문제를 알면서도 홍보와 마케팅에 열을 올렸다. 많은 병원도 왓슨이 환자에게 도움이 되지 않는다는 걸 알고도 경쟁적으로 도입했다. 인공지능에 대한 환상을 이용해 환자를 유치하고 높은 치료비를 청구할 수 있기 때문이었다. 의사들이 “왓슨은 쓰레기”라고 경영진에 항의해도 소용없었다. 한국 병원들도 마찬가지였다. 길병원, 부산대, 건양대, 대구가톨릭대 병원 등이 왓슨을 도입해 ‘인공지능 암센터’를 운영한다며 환자를 끌어들였다.

물론 의료인들도 오진하고 실수한다. 문제는 사람과 달리 인공지능에 오류가 있으면 단기간에 수천수만의 사람들을 위험에 빠뜨릴 수 있다는 점이다. 코로나19 시기 영국 정부는 감염자와 접촉한 사람에 자가격리를 안내하는 앱을 도입했는데, 정확하지 않았다. 앱 사용자는 정부 지침을 따르는 것보다 5배나 더 오래 감염자 곁에 머물렀다. 1900만명이 앱을 사용해 극히 적은 이들만 격리됐고, 나머지는 감염에 노출됐다. 세계보건기구가 검증되지 않은 인공지능이 수많은 사람의 목숨을 앗아가는 ‘은밀한 살인자(unnoticed killer)’가 될 수 있다고 우려한 이유 중 하나다. 영국은 최근 국가 의료비용을 절감한다며 ‘바빌론’이라는 AI 챗봇도 도입했다. 인공지능으로 꼭 치료가 필요한 환자만 선별한다고 했다. 하지만 이 챗봇은 부정확해 도움이 필요한 많은 환자의 치료를 지연시켰다. 바빌론은 성별 편향 문제도 있었다. 흉통과 메스꺼움을 호소하는 59세 여성에게는 우울증과 공황발작을, 같은 증상을 호소하는 같은 프로필의 남성에게는 심각한 심장질환 가능성을 제시하며 구급차 호출을 권했다. 미국의 알고리즘은 인종적 편견을 드러냈다. 2019년 ‘사이언스’지에 따르면 미국 AI는 흑인보다 백인 환자에게 더 많은 의료자원을 쓰게 했다. 이로 인해 흑인 환자의 절반 이상이 적절한 치료를 받지 못했다. 인간이 의도적으로 그렇게 설계하지 않아도 인공지능이 차별로 가득한 사회의 데이터로 학습하기 때문이다.

인공지능이 기업 이윤을 위해 비윤리적으로 활용될 수도 있다. 미국 민간보험사인 시큐리티 헬스 플랜(Security Health Plan)은 최근 어깨 골절로 입원한 85세 노인의 의료비 지불을 17일 만에 중단해버렸다. 인공지능이 16.6일이면 퇴원할 수 있다고 예측했다는 이유다. 그러나 환자는 여전히 심한 통증을 호소하는 거동 불능상태였다. 이런 식으로 보험사들은 3개월 내 사망할 수 있는 환자의 보험금 지급을 거절해 최대 2~3년이 걸리는 이의신청 절차를 밟게 한다.

영리기업만이 아니다. 2006년 미국 인디애나주는 복지 수급자격 판정 시스템을 IBM에 맡겨 자동화했다. 그 알고리즘은 3년 동안 100만명의 메디케이드(저소득층 공적 의료보장제도), 푸드스탬프(저소득층 식비지원제도), 현금수당을 거부했다. 인공지능이 민주적 통제에서 벗어나면 긴축을 꾀하는 정부가 의료제도와 복지 전체를 공격하는 데 활용할 수 있음을 보여준 사례다.

오류와 편견, 악의적 설계가 없는 인공지능이라도 문제는 생긴다. 2형 당뇨나 HIV 감염 가능성을 예측하고 관리하는 인공지능은 어떨까. 이런 기술은 오용되면 취약한 집단에 낙인을 찍고 행동을 통제하거나 범죄화할 수 있다. 예컨대 이런 질병 예측이 취업에 활용되거나 고용주나 보험사의 통제를 받는다면? 미래의 우려가 아니다. 실제 이미 많은 미국 기업이 혈압, 혈당, 허리둘레 같은 자체 건강 기준을 충족하지 못하는 노동자들에게 불이익을 주고 있다.

쇼샤나 주보프(Shoshana Zuboff) 교수는 저서 <감시 자본주의 시대>에서 거대 IT 기업들이 사용자들의 데이터를 축적해 상업적으로 활용할 뿐 아니라 역으로 사용자의 행동을 유도하거나 통제한다고 지적한 바 있다. 규제되지 않은 인공지능 기업들도 그럴 가능성이 높다. 특히 의료정보는 더욱 민감하다. “개인의 의료기록이 한 번 유출되면 잃어버린 신용카드를 재발급받듯이 해결할 수는 없는 일이다.”(세계보건기구 인공지능 윤리 가이드라인)

‘디지털 예외주의’라는 신화 하버드대학 의생명정보학과 초대 의장 아이작 코헤인(Isaac Kohane) 박사는 “검증되지 않은 인공지능을 허용하는 건 신약을 테스트하지 않고 환자에게 투여하는 것과 같다”고 말한다. 그런데 인공지능은 의약품보다 더 위험하다. AI는 개인에게 생의학적 문제를 일으키는 데 그치지 않는다. 불평등과 차별을 확대하고 기업과 지배층의 권력을 강화하며 사람들의 민주적 권리를 침해하기 쉽다. 인공지능의 알고리즘은 공개되지 않고 불투명해 ‘블랙박스’라고 불린다. 그 표적이 된 사람들은 어떻게 자신의 삶을 파괴하는 결정이 내려졌는지 과정과 기준조차 알기 어렵다. 기술의 통제권을 그들의 손에만 맡겨둬선 결코 안 되는 이유다.

유럽연합이 준비 중인 인공지능 법안은 상당 영역에 AI 적용을 금지하고, 안전과 기본권을 침해할 수 있는 ‘고위험 AI’는 철저한 사전·사후 검증을 요구한다. 반면 한국의 인공지능법은 의료 인공지능조차 ‘고위험’이라고 분류만 할 뿐 실질적으로 아무런 규제를 가하지 않는다. 이런 위험천만한 법이 최근 국회 상임위 법안심사를 통과했다. 정부·여당만 주도적으로 나선 게 아니었다. 국회 다수당인 야당도 산업적 기대와 흥분에만 부풀어 있다.

규제 완화는 오래된 망령이다. 역대 대통령들은 규제를 전봇대, 손톱 밑 가시, 암덩어리, 쳐부술 원수라고 부르면서 국민의 생명과 안전, 민주적 권리를 보호하는 공적 제도를 공격해왔다. 최근엔 여기에 ‘디지털 예외주의’라는 그럴듯한 외피가 하나 덧대졌다. 새로운 기술의 발전이 빠르고 복잡해 기존 규제가 효과가 없거나 불필요하다는 논리다. 최근에 정부는 이런 수사를 동원, 첨단 의료산업을 육성한다며 인공지능과 함께 디지털·웨어러블, 로봇, 진단검사 등에 대한 ‘신의료기술평가’ 절차도 무너뜨리고 있다. 우선 허용하고 사후 규제하겠다는 거다. 이미 살폈듯 신기술은 오히려 더 철저하게 검증하지 않으면 재앙적 결과를 낳기 쉽다.

‘우선 허용, 사후 규제’는 사실상 한 나라의 정책이라고 볼 수 없다. 기업 맘대로 돈벌이하게 방치하다 국민의 건강과 안전이 피해를 입은 뒤 규제한다는 사후약방문이 대체 무슨 소용이겠는가. 그럼에도 이런 황당한 정책들이 점차 확대되는 건 선출된 권력이 오직 기업 이윤을 위해 복무하기 때문이다. 인공지능과 같은 기술이 디스토피아를 낳을지 모른다는 우려가 커지고 있다. 미래를 어둡게 하는 진짜 문제는 기술 그 자체라기보다 착취와 통제의 도구로 그것을 사용하려는 기업과 정부한테 있다. 그들이 혁신의 장애물로 낙인찍어 없애려는 ‘규제’야말로 우리의 안전과 미래를 지키기 위한 최후의 보루다.

<전진한 보건의료단체연합 정책국장>