인공지능을 속여서 시험에서 100점을 받은 미국 중학생 이야기

Photo by Mohammad Shahhosseini on Unsplash

COVID-19 확산이 지속되자 미국과 유럽, 그리고 중국의 학교들은 수업을 온라인이나 혼합형으로 전환하면서 외부의 온라인 교육 플랫폼에 아웃소싱 하는 곳이 늘어나고 있다. 교육용 영상과 함께 과제와 평가까지 포함하는 이 플랫폼들은 인공지능이 교사를 대신해서 학생들이 제출한 과제를 평가하거나 시험 답안을 채점하여 등급을 매긴다.

그런데, 최근 미국 전역에 있는 2만개 이상의 중고등학교에서 사용하고 있는 에드제너티(Edgenuity)사 플랫폼 인공지능의 채점 원리를 파악해서 전 과목에서 100점을 받는 한 중학생의 이야기가 알려져 온라인 교육플랫폼의 신뢰성에 대한 논란이 확산되고 있다. 에드제너티는 수학부터 사회, AP 수업까지 다양한 과목에 걸친 중, 고등학생들을 위한 300개 이상의 온라인 수업을 제공하고 있다

로스앤젤레스 지역 중학교 1학년에 재학 중인 라자레(Lazare)는 에드제너티의 플랫폼에서 역사 수업을 듣고 첫 시험을 치렀는데 점수는 기대보다 훨씬 낮은 50점에 그쳤다. 대학 역사학 교수로 있는 그의 엄마 다나 시몬스는 처음에는 교사가 평가를 엄하게 해서 그런 결과가 나온 것이라고 생각했지만, 시험 답안을 제출한 즉시 바로 점수가 나왔다는 아들의 이야기를 듣고 알고리즘에 의해 채점이 되었다는 것을 알아차렸다.

시몬스는 아들이 몇 차례 더 온라인 시험을 치르는 것을 지켜보고 정답을 살펴보다가 에드제너티의 인공지능이 학생들의 단답형 문제의 답안에서 특정한 키워드를 찾고 있다는 것을 알 수 있었다.

예를 들면 “비잔틴 제국의 부의 성장과 번성에 있어서 콘스탄티노플이 가진 지리적 이점은 무엇인가”라는 질문에 두 개의 문장과 조금이라도 관련이 되어있다고 생각되는 모든 키워드-부, 캐러밴, 선박, 인도, 중국, 중동 등을 모두 답으로 적으면 높은 점수를 받게 된다는 것이다. 이후 라자레는 엄마의 조언을 받아서 주로 기사의 키워드나 예상 문제와 관련된 기사나 영상을 중점적으로 학습하였고 모든 과목에서 100점을 받고 있다.

에드제너티 플랫폼의 테스트 화면 캡처

이런 사실에 대한 언론의 확인 요청에 회사는 응답하지 않았지만, 온라인 도움말 센터에서 그런 방식으로 높은 점수를 받을 수 있도록 알고리즘이 만들어져있을 가능성이 높다는 암시를 받을 수 있다. 웹 사이트에 따르면, 특정 질문에 대한 답은 키워드를 포함하지 않을 경우 0점, 적어도 하나 이상의 키워드를 포함하면 100점이 주어진다. 어떤 문항은 포함된 키워드 수에 따라 받을 수 있는 점수가 달라진다.

물론, 에드제너티 플랫폼의 평가에 단답형 문제만 있는 것은 아니다. 다지선다식 문제와 서술형 등 다양한 유형을 포함하고 있다. 그 플랫폼을 잘 아는 개발자는 단답형 문제가 전체 평가 문항의 5%가 채 안 되는 것으로 추정한다. 그럼에도 불구하고 다른 유형의 문제에도 알고리즘의 채점 방식을 파악해서 역이용할 수 있는 가능성이 높다는 것을 증명하는 사례들이 있다.

온라인 언론 더 버지(The Verge)와 인터뷰에 응한 두 명의 고등학생도 비슷한 방법으로 좋은 점수를 받았다고 고백했다. 한 학생은 종종 질문의 텍스트를 복사해서 정답 란에 붙여 넣었는데, 그것이 관련 키워드를 포함할 가능성이 높았기 때문이다. 이 학생은 학기 내내 이 기술을 사용했으며 “매번 꽤 높은” 학점을 받았다고 한다. 또 다른 학생은 대수학 과목에서 단답형 질문이 요구하는 정확한 키워드 목록이나 샘플 답안을 온라인에서 찾을 수 있었으며, 그 덕분에 그 과목을 통과할 수 있었다고 고백했다.

교사들은 학생들이 제출하는 모든 답안을 검토할 수 있는 시스템 권한을 받았고, 에드제너티의 인공지능이 부여한 성적을 무시할 수도 있었다. 그렇지만 인터뷰에 응한 학생들은 실제로 시스템이 산정한 점수를 교사가 수정하는 것을 본 적이 없다고 말했다. 그 이유는 밝히고 있지 않지만, 컴퓨터나 인공지능에 대한 교사의 두려움이 플랫폼이 산정한 점수를 수정하기 힘들게 했을 것이라고 추정된다.

온라인 학습 플랫폼의 이러한 기술적 문제점은 학부모들을 불안하게 하였다. 테네시주 윌리엄슨 카운티의 학부모들은 수없이 많은 기술적 결함들이 아이들의 성적에 영향을 주었다고 주장하며, 학교에서 온라인 플랫폼을 사용하는 것에 대해 반기를 들고 있다. 콜로라도 주의 한 지역에서는 에드제너티에 등록하려는 학생들이 몰리면서 등록이 중단되는 사고까지 발생하였다고 더 버지는 보도했다.

COVID-19 상황이 오랫동안 지속될 것으로 예상됨에 따라 온라인교육 플랫폼에 대한 의존도는 갈수록 심해지고 있다. 대부분의 전문가들은 COVID-19 국면이 종식된 이후에도 그런 추세는 지속될 것으로 전망한다. 우리 사회도 그런 흐름에서 벗어나지 못할 것이다. 디지털 학습 환경이 가지고 있는 긍정적인 측면도 많이 있지만, 아직 검증되지 않은 기술이 가져올 문제점에 대해서는 충분한 검토와 준비가 있어야 할 것이다.

또 하나 온라인 학습 플랫폼에 대해 우리가 간과하지 말아야 할 중요한 점을 시몬스 교수는 지적한다. 그녀는 아들의 성적이 좋아진 것이 교과 과정에 대한 이해도가 높아진 것을 의미하는 것은 아니라는 것을 인정하면서, 이러한 방법을 아는 학생과 모르는 학생 사이의 불평등을 악화시킬 수 있다고 우려한다. 그녀는 아들이 누린 엄마 찬스에 대해 인터뷰에서 솔직히 고백하고 있다.“아들은 부모가 대학원 학위를 가지고 있고, 기술에 관심이 있기 때문에 A+를 받고 있다. 만일 그렇지 않았다면 그는 여전히 F를 받고 있을 것이다. 이것이 무엇을 의미하는가? 바로 온라인 학습 환경에서의 정보 격차를 의미한다”. 한 중학생 엄마의 경험에서 우러나온 경고가 무겁게 다가온다.

인쇄하기