메리 루이스의 아파트 입주 꿈을 좌절시킨 AI 의사결정 시스템

“당신의 점수는 324점입니다. 입주를 거절합니다.”

AI가 내린 차가운 판정 한 줄에 메리 루이스의 내집 마련의 꿈은 좌절됐습니다. 보안 경비원으로 일하는 그녀는 매사추세츠 동부의 한 아파트에 입주를 신청했습니다. 아파트를 방문했을 때 당시 관리 회사는 그녀의 입주에 문제가 없을 것이라 했습니다. 17년 동안 임대료를 제때 납부했다는 이전 집주인의 훌륭한 추천서가 있었고, 저소득층 임차인을 위한 주택 바우처도 가지고 있어 월세 납부도 무리가 없었습니다. 보유하고 있어 정부가 월세의 일부를 보장받을 수 있었다. 게다가 공동 신청인인 아들은 높은 신용점수를 가지고 있었습니다.

그러나 2021년 5월, 입주 신청 2개월 후 관리 회사로부터 날아온 이메일은 AI 프로그램 세이프 렌트SafeRent가 그녀의 신청을 거절했다는 내용이었습니다. 11페이지에 달하는 보고서는 그저 324점이라는 숫자만을 제시했을 뿐, 최소 기준점인 443점에 미치지 못한다는 것 외에는 어떠한 설명도 없었습니다. 점수 산정 방식도, 평가 기준도 알 수 없었고, 이의를 제기할 방법도 없었습니다.

결국 루이는 더 비싼 다른 아파트를 구할 수밖에 없었습니다. 이후 그녀는 세이프렌트의 알고리즘이 차별적이라며 400명 이상의 흑인, 히스패닉계 세입자들과 함께 2022년 집단소송을 제기했고, 최근 아파트 관리회사는 230만 달러를 지불하고 향후 5년간 주택 바우처 사용자들에 대해 점수 시스템이나 추천을 하지 않기로 합의했습니다.

이 사례는 AI 시스템이 우리 사회에 미치는 영향에 대해 심각한 경고를 던지는 것입니다. 가장 근본적인 문제는 AI 의사결정 시스템의 투명성 결여입니다. 세이프렌트는 마치 신의 한 수처럼 점수를 제시했지만, 그 결정 과정은 철저히 감춰져 있었다. 이는 당사자의 이의제기 권리를 실질적으로 박탈하는 결과를 낳았습니다.

더 심각한 것은 AI 시스템의 편향성입니다. 세이프렌트는 신용점수와 부채 같은 금융 지표는 과도하게 중요시한 반면, 17년간의 안정적인 임대료 납부 이력이나 정부 보증 주택 바우처와 같은 실질적인 지불능력 보장 요소는 제대로 고려하지 않았습니다. 이는 결과적으로 특정 인종과 저소득층에 대한 차별로 이어졌습니다.

현재 미국에서는 약 9,200만 명의 저소득층이 주거, 고용, 의료, 교육 등 삶의 기본적인 영역에서 AI의 의사결정에 노출되어 있습니다. 하지만 이를 규제할 법적 장치는 미비한 실정입니다. 루이스의 소송 승리는 AI 시스템의 책임성을 묻는 중요한 선례가 되었다는 점에서 의미가 큽니다.

이 사례는 또한 인간 판단력의 중요성을 다시 한번 일깨웁니다. 아파트 관리자는 루이스가 좋은 임차인이 될 것이라고 판단했지만, 기계적인 점수 시스템에 의해 이러한 전문적 판단이 무시되었습니다. AI는 의사결정을 보조하는 도구일 뿐, 인간의 종합적 판단을 완전히 대체해서는 안 됩니다.

결국 이 사례는 AI 기술의 발전이 가져올 수 있는 새로운 형태의 차별과 불평등에 대해 경각심을 일깨웁니다. 기술 발전이 인간의 기본권과 존엄성을 침해하지 않도록 하는 사회적 논의와 제도적 장치 마련이 시급합니다. 우리는 AI라는 새로운 심판자 앞에서 인간의 존엄성을 어떻게 지켜낼 것인가라는 질문에 마주하고 있습니다.

당신의 점수는 몇 점입니까?

인쇄하기