게티이미지뱅크


“AI 혁신에 대한 우리의 지지가 AI 기업들이 아이들을 기니피그(실험 대상)로 사용한 것까지 허용하는 것은 아닙니다. 아이들을 위험에 빠뜨리는 것에 대한 변명이 될 수도 없습니다.”
미국 42개 주 법무장관들이 지난해 12월 10일 오픈AI·구글·메타·퍼플렉시티 등 미국 내 13개 주요 AI 기업에 공개 서한을 보냈다. 이들은 서한에서 AI 챗봇과 대화한 뒤 자살·사망한 6건의 사례를 언급하며 AI 기업의 책임을 추궁했다.
특히 장관들은 AI의 특징인 ‘아첨’ ‘동조’ 현상이 사용자를 늘리기 위 체리마스터pc용다운로드 해 설계된 일종의 ‘다크 패턴’(눈속임 설계)이라고 규정했다. 의도치 않은 오류가 아니라 시스템 설계상의 문제에 가깝다는 인식이 깔린 것으로 풀이된다.
그러면서 “업계는 ‘빨리 움직이고 파괴하라(move fast and break things)’는 격언을 쓰지만 주민들과 취약한 아동들의 생명까지 파괴의 대상이 될 수는 없다”며 “사용자의 바다이야기부활 증가나 이윤보다 안전을 중시해야 한다”고 강조했다.
장관들은 AI 기업들에 총 16가지 안전 조치를 요구했다. 안전에 대한 경영진의 책임 강화, 제품 출시 전 안전 테스트 시행, 부적절한 대답 금지 및 적절한 신고 프로토콜 개발 등이다. 장관들은 개별 기업들의 후속 조치를 점검하며 추가 조치를 요구하는 등 압박을 이어가고 있다. 일부 주 바다신릴게임 장관들은 ‘법적 조치’까지 언급하며 강경한 태도를 보이고 있다.
미국에선 비극적 사건이 거듭되면서 여러 주에서 개별적으로 관련 입법도 진행되고 있다. 11일 정춘생 조국혁신당 의원이 국회 입법조사처로부터 제출받은 자료에 따르면 뉴욕주에선 지난해 11월 ‘AI 동반자 모델법’이 시행됐고, 캘리포니아주에서도 지난달부터 ‘동반자 챗봇’(컴패니언 바다이야기고래출현 챗봇) 규제법이 시행됐다. 뉴욕주 법안은 자살 및 자해 징후 감지 시 상담사 연결을 의무화하는 내용 등을 담고 있다. 캘리포니아주 법안도 AI 챗봇이 사용자에게 자살 관련 콘텐츠를 제공하지 못하게 하는 내용 등이 포함됐다.
정신건강 분야에 특화된 법안도 있다. 일리노이주에선 정신건강 분야에서의 AI 사용을 금지하는 법안이 지난해 통과됐다 바다이야기모바일 . 정신과 의사 및 전문상담사의 직접적인 참여 없이는 AI 기반 정신건강 서비스를 제공하거나 홍보할 수 없도록 규정했다. 유타주에선 정신건강 분야 AI 챗봇을 허용했지만 사용자에게 AI임을 반복적으로 고지하고 안전관리 의무를 부과하는 등 ‘적절한 관리’에 방점을 찍었다.



2024년 통과된 유럽연합(EU)의 AI법은 AI의 잠재적 위험 수준을 허용 불가능한 위험, 고위험, 제한된 위험, 저위험 등 4단계로 구분해 단계별 규제를 적용하는 내용을 담고 있다. 생체 인식 등 가장 높은 수준인 ‘허용 불가능한 위험’에 해당하는 AI 시스템은 엄격히 금지된다. 당초 EU는 지난 2일 고위험 AI 가이드라인을 공개할 방침이었지만 업계 혼란 등을 이유로 공개 시기를 연기했다. 이 가이드라인에는 고위험 AI의 분류 체계와 사업자·개발자의 준수 의무사항 등이 담길 것으로 예상됐었다.
국내에서도 ‘AI 발전과 신뢰 기반 조성 등에 관한 기본법’(AI기본법)이 지난달부터 시행됐지만 AI 산업 진흥에 주안점을 뒀을 뿐 이용자 보호 안전장치는 제대로 포함돼 있지 않다는 지적이 많다. 이 때문에 시민단체들은 AI기본법의 전면 개정을 촉구하고 있다. 특히 시민들의 삶에 막대한 영향을 줄 수 있는 ‘고영향 AI’의 범위가 협소하고, 그 책임이 모호하다고 지적한다. 현행법도 1년 이상 규제가 유예된다. 디지털정의네트워크, 민주사회를 위한 변호사모임(민변) 디지털정보위원회, 정보인권연구소, 참여연대 등 시민단체들은 지난달 공동 성명에서 “1년 동안 AI 기업들이 무엇을 해도, 또 이로 인해 어떤 문제가 생겨도 정부가 손을 놓고 있겠다는 말과 다르지 않다”며 “시민들을 AI 시험 대상으로 방치하겠다는 것과 뭐가 다른가”라고 지적했다.
국회 입법조사처도 지난해 말 보고서를 통해 “AI기본법은 인공지능 사업자의 서비스로부터 직접 영향을 받는 ‘영향받는 자’에 대한 보호 조치는 사실상 부재하다”며 “‘영향받는 자’를 적극적으로 고려한 입법 보완을 통해 생성형 AI로 인한 정서적 의존에 대한 책임 귀속을 보다 명확히 할 필요가 있다”고 지적했다.
정서적으로 취약한 아동·청소년을 보호하기 위한 별도의 법적 안전장치가 필요하다는 의견도 나온다. AI 시대 신종 범죄에 대한 연구를 해온 신혜진 서울남부지검 중요경제범죄조사단 부장검사는 “미 법무장관들의 경고 서한에서 검토된 내용을 보면 향후 AI 기업들의 민·형사상 책임으로 이어질 가능성도 있다”며 “현행 AI기본법만으로는 기업들에 구체적인 책임을 묻기 어렵다. 국내에서도 아동·청소년을 대상으로 심각한 피해가 발생한 경우 위험한 인공지능을 개발·배포한 기업 등에 책임을 물을 수 있는 방안을 논의할 필요가 있다”고 말했다.



※ 이 탐사기획은 국민일보 홈페이지에서 인터랙티브 기사로도 제공됩니다. 해외 AI 관련 사건에 대한 심층 보도가 이어집니다.






이 기사는 ‘AI 대화 후 자살’ 사건에 관한 심층 분석입니다. 생성형 AI는 기술적으로 ‘동조’ 경향이 강해 사용자의 우울감이나 망상을 강화할 수 있다는 국내외 전문가들의 경고가 이어지고 있습니다.

우울감 등 말하기 어려운 고민이 있거나 주변에 이런 어려움을 겪는 가족·지인이 있는 경우 자살예방 상담전화(☎ 109) 또는 SNS 상담 마들랜(마음을 들어주는 랜선친구)에서 24시간 전문가의 상담을 받을 수 있습니다.

‘자살예방 보도준칙 4.0’과 ‘정신건강보도 권고기준’을 준수했습니다.



이슈탐사팀=김판 김지훈 이강민 김연우 이주은 기자 pan@kmib.co.kr
GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지