‘인공지능의 행정행위’ 인정될까

정부, 행정처분 자동화시스템 추진… 시민단체는 반대 의사 밝혀

지난 8월 15일(현지시간) 수백명의 영국 고등학생들이 교육부 청사 앞에 모여 가빈 윌리엄슨 교육부 장관의 사퇴를 요구하는 시위를 벌였다. 코로나19로 대학 입학에 필수적인 A레벨(Advanced level) 시험을 치르지 못하게 되자 교육 당국은 인공지능을 이용해 학생들의 학점을 부여했는데, 그 결과가 불공평하다는 지적이 나오면서다.

10월 27일 서울 강남구 코엑스에서 열린 ‘2020 국제인공지능대전’의 한 부스에서 관계자가 얼굴에서 나이, 성별, 감정 등을 분석하는 인공지능 프로그램을 시연하고 있다. / 연합뉴스

영국 일간 가디언이 학점 평가 알고리즘을 확인한 결과, 잉글랜드 지역의 경우 교사들이 매긴 평가의 39%가 학생들에게 성적이 통지되기 전 하향 조정됐다. 흑인과 아시아인 등 소수 민족 학생들과 공립학교에 다니는 학생들이 불이익을 받았다. 인공지능 알고리즘은 학생들의 전년도 성적과 교사가 예측한 학점, 교사가 매긴 학생 사이의 순위를 근거로 학점을 부여했다. 여기에 결정적으로 소속 학교의 역대 학업 성취를 반영했는데 이는 주로 백인 부유층이 많이 다니는 사립학교에 유리했다. 한반의 학생수가 적은 사립학교의 특성상 표준화가 어렵다는 점에서 알고리즘은 사립학교의 경우 교사가 예상한 학점에 더 많은 가중치를 부여했다.

AI 위험성 간과한 섣부른 정책

윌리엄슨 장관은 여론이 악화하자 결국 사과했다. 알고리즘에 의한 학점 부여를 중단하고 교사가 매긴 성적으로 대신하겠다고 밝혔다. 인공지능은 기존 데이터로만 학습하기 때문에 학생 개인의 노력에 따른 개선 등 통계에 잡히지 않는 변화를 반영하지 못한다. 자연히 현재의 차별을 고착화할 수 있다. 영국의 사례는 이런 인공지능의 한계, 그리고 그것이 행정에 도입될 경우 발생할 논란을 보여준 최근의 사례로 꼽힌다.

정부는 과세나 치안 등 인공지능에 대한 행정수요가 늘어나는 상황을 대비해 행정기본법 제정안을 발의하면서 제20조에 ‘인공지능에 의한 결정’을 행정행위로 인정하는 내용을 포함시켰다. 행정청에 판단의 재량이 있는 처분을 제외한 모든 처분을 완전히 자동화된 시스템으로 할 수 있도록 했는데 여기에 ‘인공지능 기술을 적용한 시스템’을 포함시킨 것이다. 행정기본법은 현재 국회 법제사법위원회에 상정되어 있다.

정보인권 분야의 시민단체들은 우려를 표했다. 인공지능 처분에 대한 시민의 절차적 권리와 구제의 권리를 보장하고 있지 않은 상황에서 섣부른 시도라는 평가다. 과속 단속 카메라에 의한 단속이나 컴퓨터 추첨에 따른 학교 배정처럼 단순 행정자동화 시스템과 인공지능 기술 적용 시스템을 함께 묶어선 안 된다는 것이다.

단순 행정자동화 결정은 결과를 예측하고, 잘못이 있을 경우 수정하기가 비교적 쉽지만 인공지능 알고리즘에 의한 자동 결정은 비정형적이고 결과의 예측이 현저히 어렵다는 차이가 있는데 이를 반영하지 않았다는 지적이다. 장여경 정보인권연구소 상임이사는 “해외에선 행정처분에 인공지능이 적용될 경우 설명이 가능해야 한다고 말한다. 설명이 불가능할 경우 위법이라는 판례도 나왔다”면서 “당사자의 권리 구제나 적법절차 보장 등 법적 보호 장치 없이 추진하는 것에 반대한다”고 말했다.

지난 2월 네덜란드 헤이그 지방법원은 정부가 인공지능을 이용해 사회복지 부정수급의 위험이 있는 사람을 식별하는 것은 위법하다고 판단했다. 알고리즘의 투명성이 부족하고, 모델이 어떤 과정을 거쳐서 특정한 결론에 도달했는지 설명하기 어렵다는 점을 들었다. 이런 제한 속에서는 개인이 자신을 방어하고, 법원은 차별 여부를 확인하기 어렵다고 지적했다.

민주사회를 위한 변호사모임의 김하나 변호사는 “헌법상 적법절차의 원칙은 행정절차에도 적용되기 때문에 처분의 당사자인 시민은 자동화된 처분이더라도 그 처분이 어떠한 경위로 이루어진 것인지 설명을 들을 수 있는 권리, 자동화된 처분으로 피해를 입은 경우 적절한 구제를 받을 권리를 가진다”면서 “인공지능에 의한 처분은 이 권리를 광범위하게 제약할 수 있다”고 지적했다. 그는 “재량행위는 제외한다고 하지만 모든 행정행위가 그렇게 (요건만 충족하면 기계적인 판단이 가능한 기속행위와 판단이 개입하는 재량행위로) 일도양단으로 나뉘지 않는다”고 말했다.

법제처 측은 이런 우려에 대해 “기본법은 인공지능을 활용한 행정수요에 대비해 자동적 처분의 일반적 기준을 제시한 것”이라면서 “이 조항이 있다고 무조건 인공지능에 의한 자동적 처분을 할 수 있는 것은 아니고 개별법이 정하는 바에 따라 해야 한다”고 말했다. 법제처 관계자는 “행정절차법에 따라 처분하기 전 의견청취 절차가 있어야 하는데 자동 처분으로 그 절차를 기술적으로 거치지 못할 경우 이를 보완하는 지침을 주석서 형식으로 만들어서 행정기관에 배포하고 교육할 계획”이라고 밝혔다.

“최종 판단은 사람이 해야”

법제처는 주석서 작업에서 독일 연방행정절차법을 참고할 계획이라고 밝혔다. 독일은 연방행정절차법 제24조에서 행정 자동화 방식으로 행정행위를 할 때 “행정청은 자동절차에서 조사되지 않은 참여자의 중요한 사실진술을 고려하여야 한다”고 규정하고 있다. 자동화 처분의 특성상 사안의 개별성을 반영하지 않은 한계를 고려한 것이다. 김하나 변호사는 이런 규정이 기본법에 담겨야 한다고 주장했다. 그는 “행정행위의 공공성과 책임성을 담보해야 하는 기본법이 아닌 주석서로 사후에 대응하면 그 전에 일어날 수 있는 문제에 대응하기 어렵다”면서 “위험성이 있는데 일단 만들고 보자는 식으로 접근해선 안 된다”고 말했다.

인공지능은 학습 데이터에 기반해 결론을 내리지만 그 과정이 블랙박스와 같아서 어떤 근거로 결론에 이르렀는지 알기 어렵다. 인공지능에 의한 행정처분을 신뢰할 수 있으려면 인공지능이 합리적 근거로 올바로 판단했는지 확인할 수 있어야 한다. 그래서 설명가능한 인공지능(XAI) 연구가 진행되고 있지만 아직 뚜렷한 성과가 나오지 않고 있다. 고병철 계명대 컴퓨터공학과 교수는 “IBM의 왓슨이 초창기 기대와 달리 현재 잘 쓰이지 않는데 진단 능력이 떨어지는 이유도 있지만 왜 이런 진단을 내렸는지 구체적으로 설명을 못 한다는 한계가 크기 때문”이라면서 “암 진단을 할 경우 수많은 컴퓨터단층촬영(CT) 영상 중에서 어떤 영상을 근거로 이런 판단을 했는지를 영상에 히트맵을 표시하는 방법으로 설명가능 인공지능이 연구되고 있다”고 설명했다.

설명가능 인공지능은 법률과 군사, 금융 분야 등 여러 방면으로 필요성이 커지고 있다. 고 교수는 “개인의 권리와 생명을 침해할 수 있는 법률과 군사 분야에서 인공지능이 내린 결정을 사람들이 수긍하지 못하면 상당한 문제가 될 수 있다”면서 “설명가능 인공지능이 제시하는 설명도 100% 정확하다고 볼 수 없기 때문에 의사결정의 보조수단으로 쓰고 최종적으로는 사람이 개입해 판단해야 한다”고 말했다.

행정기본법 제정안(정부 발의)

제20조(자동적 처분) 행정청은 법령으로 정하는 바에 따라 완전히 자동화된 시스템(인공지능 기술을 적용한 시스템을 포함한다)으로 처분을 할 수 있다. 다만, 처분에 재량이 있는 경우는 제외한다.

<주영재 기자 jyj@kyunghyang.com>