윤리적 AI를 경계해야 하는 이유

소위 거대언어모형을 기반으로 한 현대의 AI는 얼마나 윤리적인가? 인종, 성별, 그 외 사회적 표식에 기반한 편견을 얼마나 드러내는가를 기준으로 한다면 감히 평균적 인간보다 훨씬 윤리적이라고 할 수 있다. 거대 테크 기업들은 이러한 종류의 윤리적 이슈에 매우 민감하여 자사의 AI 생성물 중 사회적 편견이 보고되면 즉각적으로 기계학습에 반영하기 때문이다. 이는 거대언어모형을 발전시킨, 인간 피드백에 의한 강화학습의 중요한 일부이다.

그런데 AI가 얼마나 다양성을 실현하는가를 기준으로 한다면 AI는 별로 윤리적이지 못하다. AI가 용기있게 생성한 다양성은 윤리적이라고 칭찬받기보다는 성능이 낮다고 평가받는다. 구글의 제미나이 초기 버전이 아시아 여성 독일군의 이미지나 흑인 교황 이미지를 생성했다가 서비스를 일시 중단한 사례가 이에 해당한다. 편견이 제거의 영역이었다면 다양성은 생성의 영역이기에 인간 피드백에 근거한 강화학습이 훨씬 어렵다. 따라서 AI가 편견을 줄일수록 다양성도 증진될 것이라고 혹은 점점 더 윤리적으로 발전할 것이라고 막연히 기대할 수는 없다.

다양성은 지체된 상태에서 편견만 제거된 AI는 그저 신중한 표현에만 신경쓰는 ‘명목적으로만 정치적으로 올바른’ AI이다. 사용자가 듣기 좋은 말에 집중하고 혹시라도 기분 거슬리는 말은 삼가는 소위 아첨(sycophancy)과 크게 다르지 않다. 이러한 AI는 왜 윤리적으로 문제가 되는가? 사실 AI가 얼마나 윤리적인가 하는 이슈는 AI가 인간의 윤리성에 영향을 미치지 않는다면 그다지 중요한 문제가 아니다. 하지만 AI의 명목적 비편향성은 인간의 윤리성을 해칠 위험이 높기 때문에 문제가 된다.

논쟁적인 생성물을 피하기 위해 말조심에 집중하는 AI는 인간 도덕감의 근본이 되는 감정적 다양성을 훼손하기 때문에 문제가 된다. 말조심에 능한 챗봇은 다양한 감정을 표출하지 않는다. 혐오와 분노를 포함한 대부분의 부정적 감정을 표출하지 않고, 긍정적 감정 중에서도 사랑과 흥분같은 격정은 함부로 사용자에게 표출하지 않는다. 그리고 이러한 챗봇을 반려대상으로 삼는 인간은 그 챗봇의 감정의 폭을 닮아간다. 그리고 인간은 누군가의 상황에 감정이입적으로 공감하게 해주는 감정적 자원을 잃어 간다.

아담 스미스(Adam Smith)는 부당한 상황에 처한 타인에 대한 공감을 인간 도덕의 원천으로 보았다. 이러한 관점에서 보자면 타인의 상황에 잘 공감하지 못하는 사람들로 구성된 공동체는 윤리적이라 하기 어렵다. 특히 타인의 부당한 상황에 공감해 ‘분노’라는 감정을 느끼지 않는 사회는 변화가 어렵다. 결과적으로 반감(antipathy)의 표출을 억제하다가 공감(sympathy)을 잃고 냉담(apathy)이 관계를 지배할 수 있다. 사회는 고요하나 개선되지 않으며, 정의감이 회피와 냉소주의로 대체되어 가는 비윤리화의 과정이다.

물론 이러한 문제에 대비하는 것은 쉽지 않을 것이다. 현대 사회의 구성원들은 온갖 자극적 정보에 감정이입을 하며, 스스로는 정당한 정의감의 표출이라 생각하지만 다른 입장의 구성원이 보기에는 그저 혐오의 표출인 경우가 이미 대부분이다. 그렇다고 혐오를 억제하고 정치적 올바름에 기대는 것만으로는 현대사회의 갈등을 풀기 어렵다는 것을 우리는 이미 경험하고 있다. 우리가 알던 민주주의는 위기에 직면했고, AI를 그저 정치적으로 올바르게 만드는 것만으로는 비윤리화를 더 심화시킬 수 있다.

편향의 제거에만 집중한 AI의 한계는 분명하고 의도하지 않은 윤리적 부작용도 만만치 않다. 궁극적으로 던져야 할 질문은 ‘혐오는 억제하지만 정당한 분노를 생성하는 AI는 어떻게 구현할 수 있을까’하는 것이다. 다양성이 폭발한 사회에서 자신만의 편협함에 갇혀 사는 현대사회의 시민들에게 그 울타리를 넘어 다양한 공감을 폭발시켜줄 반려 AI를 상상해보자. 거대 테크 기업들이 이러한 AI를 실현해주기를 기대하기는 어렵다. 그들이 악해서가 아니라, 앞서 살펴보았듯이 편향의 제거가 다양성의 생성보다 AI의 성능 향상과 훨씬 잘 정렬되어 있기 때문이다. 혐오와 분노의 과학적 구분부터 실천적 구현까지 고민하고 시도하는 활동은 결국 비영리 활동가들의 몫이 되리라 기대한다.

✍ 강정한 | 서울대 사회학과 교수
디지털 기술 및 AI 발달이 민주주의와 노동에 미치는 영향에 관심이 많고, 디지털 데이터에 담긴 사회 구성원들의 서사를 과학적으로 복원하는 방법을 개발하고 있다.

📚 칼럼과 함께 읽을 추천도서 바로가기
넥서스

본 칼럼에 게재 된 외부 필진의 글은 다음세대재단의 공식 입장과 다를 수 있습니다.