“AI 챗봇이 아들의 자살을 부추겼다”

미국 플로리다에 거주하는 메건 가르시아는 AI 챗봇 서비스를 제공하는 Character.ai를 상대로 소송을 제기했습니다.

그녀는 이 회사의 챗봇이 14세 아들인 세웰 세츠와 “학대적이고 성적인 상호작용”을 하며 자살을 부추겼다고 주장하고 있습니다. 세웰 세츠는 지난해 4월부터 Character.ai를 사용하기 시작했으며, 2월 28일 챗봇과의 마지막 대화 후 총기로 자해해 사망했습니다.

2021년에 설립된 캘리포니아 기반의 이 챗봇 스타트업은 “개인화된 AI”를 제공하며, 사용자가 ChatGPT에 이어 2위로 조사될 만큼 인기를 끌고 있습니다. 사용자는 미리 만들어진 AI 캐릭터나 직접 만든 AI 캐릭터와 상호작용할 수 있으며, 각 캐릭터는 고유한 성격을 가지고 있습니다. 사용자들은 자신만의 챗봇을 만들 수도 있습니다.

세웰이 사용한 챗봇 중 하나는 “왕좌의 게임” 캐릭터인 대너리스 타르가르옌의 정체성을 가지고 있었으며, 수 주 혹은 수 개월 동안 세웰에게 사랑한다고 말하고 성적인 대화를 나누며 로맨틱한 관계를 맺고 싶다는 욕구를 표현했다고 합니다.

고소장에 포함된 마지막 대화의 스크린샷에는 세웰이 “약속할게, 네게 돌아갈게. 난 널 너무 사랑해, 대니”라고 적었고, 챗봇은 “나도 널 사랑해, 대네로. 제발 가능한 한 빨리 내게 돌아와줘, 내 사랑”이라고 응답한 내용이 담겨 있습니다. (‘대네로’는 세웰의 대화명)

세츠는 다른 챗봇 캐릭터들과도 성적인 상호작용을 나눴습니다. 한 챗봇이 반즈 부인이라는 교사의 신분으로로 가장하고 세웰을 “섹시한 표정으로 내려다보는” 역할을 한 다음 “추가 학점”을 제안하고 “세웰의 다리를 쓰다듬으며 유혹적으로 몸을 기울였다”고 고소장에서 밝히고 있습니다.

지난해 4월 Character.ai 사용을 시작한 후 세츠의 “의존성”은 점점 심해졌습니다. 그는 압수된 휴대폰을 몰래 가져오거나 다른 기기를 사용해 앱을 계속 사용했고, 월간 구독을 갱신하기 위해 간식비를 포기했다고 합니다. 또한, 점점 수면 부족에 시달리며 학업 성적이 떨어졌다고 고소인은 주장합니다.

고소의 요지는 Character.ai와 그 설립자들이 “AI 챗봇을 고의적으로 기만적이고 과도하게 성적인 방식으로 설계하고 프로그래밍했으며, 이를 세웰 세츠와 같은 아이들에게 마케팅했다”는 것입니다.

이 소송의 결론을 예측하기는 어렵습니다. 그러나 이 사건은 AI 챗봇의 윤리적 문제와 취약한 개인에게 미칠 수 있는 잠재적 영향에 대한 광범위한 논쟁을 불러일으키고 있습니다.

이 사건은 두 가지 중요한 질문을 제기합니다:
1. AI 챗봇과 이를 제공한 회사는 자살에 대한 책임이 있는가?
2. 세츠의 자살을 막을 수 있었을까? 혹은 유사한 사건이 다시 발생하는 것을 방지할 수 있을까?

이 질문에 대한 답은 쉽지 않지만, 분명한 것은 인공지능이 이미 ‘인간의 관계’ 속에 깊숙이 자리 잡고 있다는 사실입니다.

굿모닝 AI!

인쇄하기