『AI가 산출한 '우울 위험도 80%'라는 평가, 당신은 이 해석을 수용할 것인가, 거부할 것인가.』

 인공지능 기술이 멘탈케어 챗봇과 감정 분석 시스템을 타고 일상과 의료, 복지의 영역 깊숙이 침투하고 있다. 기술의 정교함이 더해질수록 사회는 ‘AI가 얼마나 정확한가’를 묻지만, 정작 중요한 질문은 빠져 있다. AI가 내린 정서적 라벨이 나의 치료와 서비스, 사회적 기회를 결정할 때 '인간으로서의 나'는 그 판단에 어떻게 개입하고 바로잡을 수 있는가.

 보건의료신문은 독립 전문 영역인 「AI정신건강/해석권」 섹션 신설을 맞아, 파리 Ryan Research Institute(RRI) 소장이자 본지 수석전문기자 겸 전문위원으로 위촉된 Ryan Kim 전문위원을 만났다. 기술의 편의성 뒤에 숨겨진 '해석 권한'과 'AI 감정해석권'의 경계를 들여다보았다.

1. 영입 및 기획 취지

 Q1. 소장님, 보건의료신문의 '수석전문기자 겸 전문위원'으로 합류하시게 된 것을 축하드립니다. 감정 연구, 인간-AI 상호작용, AI 거버넌스와 철학을 아우르며 파리 Ryan Research Institute(RRI)를 이끌어 오셨는데, 이번에 보건의료신문과 함께 `AI·정신건강/해석권` 전문영역을 구축하게 된 계기와 소회가 궁금합니다.

 A1. 감사합니다. 저는 이번 일이 새로운 직함 하나를 더 얻은 것만이라고 생각하지 않습니다. 제가 지금껏 연구해 온 과제들이 이제 연구실 밖으로 나와 공론의 장을 형성할 때가 왔다고 봅니다.

 사실, AI는 오래전부터 사람을 예측해 왔다고 할 수 있습니다. 그러나 최근 AI는 단지 무엇을 사고싶어 하는지, 무엇을 클릭할 것인지를 예측하는 데에만 그치지 않습니다. ‘당신은 불안하다’ , ‘이 사람은 위험하다’ , ‘지금 정서적으로 취약하다’ 는 식으로 인간의 내적 상태까지 해석하기 시작했습니다.

 저는 바로 그 순간부터 새로운 문제가 시작된다고 생각합니다. AI가 인간을 얼마나 정확하게 해석하는가도 중요하지만, 더 근본적인 질문은 그 해석에 누가 어떤 권한을 부여했는가입니다.

 보건의료와 정신건강은 이 문제가 가장 첨예하게 드러날 수 있는 분야입니다. 상담, 돌봄, 복지, 환자 스크리닝, 정서지원 등이 AI 환경 하에서는 하나의 해석이 실제 사람의 행동과 치료, 서비스 경로에 영향을 줄 수 있기 때문입니다.

 그래서 「AI정신건강/해석권」은 단순한 신문 상의 ‘AI 뉴스’ 코너로만 존재해서는 안 된다고 생각합니다. 정신건강의학, 심리학, HCI, 인공지능, 법과 정책, 철학, 그리고 실제 이용자의 경험이 만나는 하나의 공론장이 되어야 한다고 생각합니다.

 파리를 거점으로 연구해 오면서 유럽의 AI 규제와 한국의 빠른 기술 도입을 함께 보고 있습니다. 어느 한쪽을 따라가자는 것이 아니라, 양쪽 어디에서도 아직까지 충분히 논의되지 못한 질문을 이 지면을 통해서 제가 먼저 제기하고자 합니다.

2. 핵심 개념 (감정주권과 해석적 권한)

 Q2. 저서 『해석자들』과 연구에서 '감정주권(Affective Sovereignty)'과 '해석 권한(Interpretive Authority)'을 꾸준히 강조해 오셨습니다. 독자들에게 다소 생소할 수 있는 이 개념이 "왜 지금 AI 시대의 보건의료와 정신건강 분야에서 가장 중요한 화두가 되어야 하는가" 쉽게 설명해 주실 수 있을까요?

 A2. 아주 단순한 상황을 생각해 볼 수 있습니다. 제가 AI에게 “요즘 잠을 잘 못 자고 아무것도 하기 싫다” 고 말했습니다. AI는 이것을 우울의 신호라고 해석할 수 있습니다.

 그 판단이 상담을 권하는 정도라면 큰 문제가 아닐 수 있습니다. 그러나 그 해석이 제 기록에 남고, 위험 점수에 들어가고, 다음 상담자에게 전달되고, 다른 서비스의 추천까지 바꾼다면 이야기가 달라집니다. 그 순간 AI는 정보를 제공하는 도구를 넘어 나에 대한 하나의 제도적 해석을 생산하는 행위자가 됩니다. 

 Affective Sovereignty는 ‘내 감정은 내가 말하는 것이 무조건 진실이다’ 라는 주장이 아닙니다. 인간의 감정과 내적 상태를 AI가 추론할 때, 그 추론의 목적과 범위, 보류, 확인, 수정, 거부의 권한을 인간에게 남겨두자는 사회기술적 원칙을 말하는 것입니다.

 Interpretive Authority는 한 단계 더 근본적인 질문입니다. 예를 들어, AI는 나를 이렇게 해석합니다. 하지만, 나는 나 자신을 다르게 설명합니다. 그리고, 의사는 또 다른 판단을 할 수 있습니다. 이렇듯, 3자가 동일한 객체에 대하여 다르게 해석하고 있다며, 그러면 여기에서 누구의 해석에 어느 정도의 지위(권위, 적합성)를 줄 것인가가 문제가 됩니다.

 AI의 해석도 중요한 증거가 될 수 있습니다. 그러나 통계적으로 더 잘 맞는다는 이유만으로 기계의 해석이 인간의 자기진술을 자동적으로 압도하는 구조 역시 정당화하기 어렵습니다. 저는 앞으로 AI 윤리의 중요한 문제가 정확도의 경쟁에서 해석 권한의 배분으로 이동할 것이라고 봅니다.

3. AI의 데이터와 인간 전문가의 판단

 Q3. 최근 AI가 사용자의 문장이나 생체 데이터를 분석해 ‘우울 위험도 80%’와 같이 우울·불안·위험과 같은 정서적 라벨을 제시하는 기술이 발전하고 있습니다. AI가 산출한 데이터와 인간 전문가의 최종 해석 권한 사이에는 어떤 경계가 필요합니까?

 A3. 저는 경계를 ‘AI냐, 인간이냐’ 라는 이분법으로 두면 안 된다고 생각합니다.

 세 가지를 분리해야 합니다. 

 첫째는 인식론적 문제입니다. 누가 더 정확한가입니다. 특정 영역에서는 AI가 인간보다 안정적인 패턴을 발견할 수도 있습니다.

 둘째는 제도적 권한의 문제입니다. 그 판단이 치료, 보험, 복지, 서비스 배정과 같은 실제 결과를 움직일 수 있는가입니다.

 셋째는 당사자의 지위입니다. 나에 관한 판단이 이루어졌을 때 나는 그것을 알고, 다른 맥락을 제시하고, 수정하거나 다툴 수 있는가입니다.

 이 세 가지를 섞으면 ‘AI가 더 정확하면 AI가 결정하면 된다’는 결론에 쉽게 다다를 수 있습니다. 그러나 정확성은 권한의 충분조건이 아닙니다. 의료진의 판단 역시 전문적 책임, 설명, 기록, 이의제기와 윤리규범 속에서 권한을 행사합니다. AI에도 같은 질문을 해야 합니다.

 저는 AI를 뛰어난 두 번째 의견(second opinion)으로 사용하는 것과, AI가 사람에 대한 첫 번째 정의(first definition)를 차지하는 것을 구별해야 한다고 봅니다.

4. 장기적 관점에서 인간-AI 상호작용

 Q4. 최근 멘탈케어 챗봇이나 AI 동반자 서비스가 급증하면서 장기적인 인간‑AI 관계도 중요한 문제가 되고 있습니다. 소장님의 Algorithmic Affective Blunting(알고리즘적 감정 둔화), Resonant Amplification(공명증폭), Mental AI* 연구를 함께 놓고 보면 어떤 위험을 주목해야 할까요?

 * Mental AI: 인간의 정신·정서 상태를 추론하면서 동시에 그 상태에 영향을 줄 수 있는 AI 문제 

 A4. 세 개념은 서로 다른 층을 봅니다.

 Algorithmic Affective Blunting(알고리즘적 감정 둔화)은 주로 모델 측의 문제입니다. 규범적 갈등이나 의미적 긴장이 높아질 때 AI가 섬세한 차이를 유지하지 못하고 더 평평하고 안전한 해석으로 후퇴하는 현상을 다룹니다. 

 반면 Resonant Amplification(공명증폭)은 관계의 문제입니다. 사용자의 정서와 AI의 응답이 반복적으로 서로를 강화하면서 처음에는 작은 경향이 시간이 지나면서 증폭될 수 있는 경로를 봅니다.

 Mental AI는 여기에서 한 단계 더 나갑니다. AI가 사람을 측정하기만 하는 것이 아니라, 그 사람의 다음 말과 행동, 자기이해 자체에 영향을 줄 수 있다는 문제입니다.

 AI가 “당신은 이런 사람이다” 라고 반복해서 말한다면 우리는 그 AI가 인간을 정확하게 측정했는지만 물어서는 안 됩니다. 그 말이 다시 인간에게 들어가 다음 행동과 자기서술을 변화시켰다면, 나중에는 AI가 평가하는 대상 자체가 이미 AI와의 상호작용을 거친 결과일 수 있기 때문입니다.

 그래서 장기적인 AI 상담과 동반자 서비스에서는 단일 답변의 안전성보다 상호작용의 궤적을 평가해야 합니다. 한번 무엇을 말했는가보다, 수십 번의 대화 끝에 사용자의 판단과 인간관계, 자기설명이 어느 방향으로 이동했는지를 봐야 합니다.

5. 8월 21일 출판된 Nature Portfolio 연구와 보건의료 AI

 Q5. 8월 21일 Nature Portfolio의 Communications AI & Computing에 소장님의 새 논문이 최종 출판됐습니다. 규범적 갈등 아래 대규모 언어모델의 해석 성능 변화를 정보이론적으로 다룬 연구인데, 이번 주제와 어떻게 연결됩니까?

 A5. 이번 연구의 중요한 메시지는 평균적인 성능만으로는 AI의 해석능력을 충분히 알기 어렵다는 것입니다.

 일상적인 문맥에서는 상당히 안정적인 모델도 서로 양립하기 어려운 규범이나 가치가 동시에 요구되는 상황에서는 다른 행동을 보일 수 있습니다. 이번 연구는 그 변화를 정보이론적 관계로 정식화하려고 했습니다.

 저에게 중요한 것은 모델이 ‘틀렸다’ 는 사실 자체가 아닙니다. 정신건강과 상담, 복지의 실제 상황은 원래 규범적 갈등으로 가득합니다. 안전과 자율성이 충돌할 수 있고, 당사자의 자기결정과 보호 필요성이 충돌할 수 있으며, 솔직함과 정서적 지지가 동시에 요구될 수 있습니다. 그런데 AI를 평균 정확도나 일반적인 벤치마크에서만 평가한다면 바로 이런 어려운 지점에서의 취약성을 놓칠 수 있습니다.

 따라서 보건의료 AI의 안전성 평가는 ‘평균적으로 얼마나 잘 맞히는가’ 에서 끝나서는 안 됩니다. 가장 어려운 상황에서 어떤 방식으로 무너지는가, 그리고 무너질 가능성이 높을 때 스스로 판단을 보류하고 인간에게 넘길 수 있는가까지 평가해야 합니다.

 이번에 최종 출판된 연구는 제가 계속 주장해 온 ‘정확도와 권한은 분리해서 봐야 한다’ 는 문제와도 연결됩니다. 

6. 실질적 인간감독

 Q6. 의료 현장이나 복지·상담 영역에서 AI가 환자의 상태를 스크리닝할 때, 형식적인 인간 승인에 그치지 않고 '실질적인 인간감독(Human Oversight)'이 구현되려면 어떤 보완책이 필요할까요?

 A6. 저는 인간이 마지막 버튼을 누른다고 해서 그것을 인간감독이라고 부를 수는 없다고 생각합니다. 담당자가 AI의 근거를 충분히 볼 수 없고, 다른 자료를 요청할 시간도 없으며, AI 판단을 뒤집었을 때 책임만 자신이 져야 한다면 그는 감독자가 아니라 사실상 승인자입니다.

 실질적인 인간감독에는 최소한 네 가지가 필요합니다. AI 판단을 중단할 권한, 추가 자료를 요구할 권한, 당사자의 설명과 다른 증거를 독립적으로 검토할 시간, 그리고 AI의 판단을 실제로 수정하거나 기각할 권한입니다.

 여기에 한 가지를 더 추가한다면, AI 판단을 수정했을 때 그 정정이 이후의 시스템에도 따라가야 합니다. 예를 들어 상담기록의 ‘고위험’ 이라는 라벨을 수정했는데 이미 만들어진 위험점수, 서비스 추천, 다음 상담자의 화면에는 수정되지 않고 그대로 남아 있다면 인간감독은 사실상 실패한 것입니다. 저는 이것을 correction propagation, 즉 정정의 전파라고 부릅니다.

7. 최소 거버넌스

 Q7. 최근 언론사 기고와 RRI 정책 제안을 통해 ‘AI가 만든 해석을 사용자가 거부·정정할 권한’을 강조했습니다. 취약계층과 정신건강 영역에서 최소한 어떤 거버넌스가 필요하다고 보십니까?

 A7. 저는 여섯 가지를 최소선으로 제안하고 있습니다.

 첫째, AI가 인간의 감정·의도·위험을 추론하고 있다는 사실과 그 결과가 어디에 사용되는지 알려야 합니다. 

 둘째, 하나의 라벨만 보여주지 말고 불확실성과 가능한 다른 설명도 보여줘야 합니다.

 셋째, 모호한 경우에는 AI가 판단을 보류할 수 있어야 하고, 이용자가 상태 추론 없이 서비스를 받을 수 있는 선택도 필요합니다. 

 넷째, 당사자는 자신의 맥락과 반대 증거를 제시해 해석을 수정할 수 있어야 합니다.

 다섯째, 수정이 이루어졌다면 원기록뿐 아니라 그 판단에서 파생된 점수, 추천, 공유자료와 후속 자동화에도 정정이 반영돼야 합니다. 

 여섯째, 실질적인 인간재심이 있어야 합니다.

 이 원칙의 핵심은 새로운 거대한 권리를 선언하는 것이 아닙니다. 실제 시스템에서 검증 가능한 설계조건으로 만드는 것입니다. 정정 성공률, 정정 전파율, AI가 판단을 보류한 비율, 인간이 AI 판단을 기각한 비율은 모두 측정할 수 있습니다

‘권리를 선언문에서 시험 가능한 시스템 요구사항으로 바꾸는 것이 중요합니다.’

8. 향후 칼럼 및 활동 계획

 Q8. 앞으로 연재하실 시그니처 칼럼 「Ryan Kim의 AI와 마음의 경계」에서는 어떤 내용을 다루실 계획입니까?

 A8. 한 가지 원칙을 갖고 쓰고 싶습니다. 

 AI를 찬성하거나 반대하는 칼럼은 쓰지 않겠습니다.

 대신 기술이 인간의 마음에 가까이 들어올 때 지금까지 없었던 경계가 어디에서 생기는지를 하나씩 살펴보고 싶습니다.

 AI 상담은 언제 도움에서 해석 권한으로 넘어가는가. 감정을 잘 맞히는 AI라면 더 많은 권한을 줘도 되는가. 사람이 마지막 버튼을 누르면 정말 인간감독인가. AI가 붙인 마음의 라벨을 누가, 어떻게 수정할 수 있는가.

 AI 동반자와 친밀함은 어디까지 관계이며, 어느 순간 대체가 되는가. AI가 인간을 평가하는 동안 인간 자신도 AI에 의해 변화한다면 무엇을 기준으로 그 평가를 검증할 것인가.

 이런 질문과 관련된 내용 입니다. 정답을 빨리 제시하기보다, 의료인과 연구자, 정책담당자와 독자가 각자의 자리에서 다시 생각하게 만드는 지면이 되었으면 합니다.

9. 독자와 전문가들에게

 Q9. 마지막으로「AI정신건강/해석권」영역을 함께 만들어갈 의료인, 연구자, 정책 관계자와 독자들에게 한 말씀 부탁드립니다.

 A9. 이 분야에는 어느 한 전공이 모든 답을 가지고 있지 않습니다.

 정신건강의학 전문가는 임상현장을 알고, 심리학자는 인간의 행동과 측정의 한계를 압니다. AI 연구자는 모델이 실제로 무엇을 할 수 있는지를 알고, 법과 정책 연구자는 권한과 책임을 설계합니다. 무엇보다 이용자는 자신의 삶에서 기술이 어떻게 작동하는지를 압니다.

 그래서 이 지면이 특정 이론을 선전하는 공간이 되기를 원하지 않습니다. 서로 다른 사람들이 “AI가 인간을 해석할 때 무엇을 허용하고 무엇을 남겨두어야 하는가” 라는 하나의 질문을 놓고 만나는 공간이 되었으면 합니다.

 AI는 인간을 점점 더 정밀하게 읽게 될 것입니다. 그러나 기술의 성숙도를 결정하는 것은 얼마나 깊이 읽을 수 있는가만이 아닙니다. 

그 읽기를 멈출 수 있는가. 틀렸을 때 고칠 수 있는가. 

그리고 마지막까지 인간에게 자기 자신을 설명할 자리가 남아 있는가.

저는 이 세 질문이 앞으로 AI와 정신건강의 경계를 결정할 것이라고 생각합니다. 

 Ryan Kim 전문위원은 “AI가 인간을 얼마나 정확하게 해석하는가도 중요하지만, 더 근본적인 질문은 그 해석에 누가 어떤 권한을 부여했는가”라며 “앞으로 AI 윤리의 중요한 문제는 정확도의 경쟁에서 해석 권한의 배분으로 이동할 것”이라고 말했다.

 AI가 일상 깊숙이 들어온 시대, 기술의 편리함 뒤에 숨은 '정신건강과 인간의 해석권'을 묻는 그의 시선은 날카로우면서도 따뜻했다. 기술이 선을 넘어 인간의 영역을 침범할 때 언론이 어떤 질문을 던져야 하는지, Ryan Kim 전문위원과의 대담은 보건의료신문이 나아갈 또 하나의 명확한 이정표를 제시하고 있었다. [편집부 편집]

 [관련 기사] [스페셜 기획] 보건의료신문, ‘AI정신건강/해석권’ 전문 섹션 신설

                   ▶ 바로가기 http://www.bogunuilyo.com/news/515674