본문 음성으로 듣기

중지

멈춤

이어듣기

Photo by Edurne Tx on Unsplash

원문 보기: AI Can Write in English. Now It’s Learning Other Languages

최근 몇 년 동안 기계는 인공지능의 발전 덕분에 영어로 짧은 글(snippets)을 작성하는 법을 배워왔다. 이제 그들은 다른 언어로 이동하고 있다.

독일 하이델베르그의 스타트업 알레프 알파 Aleph Alpha는 세계에서 가장 강력한 AI 언어 모델 중 하나를 구축했다. 유럽에서 만들어진 알고리즘에 걸맞게 영어뿐만 아니라 독일어, 프랑스어, 스페인어, 이탈리아어에도 유창하다.

이 알고리즘은 컴퓨터가 때로는 실제로 이해처럼 보이도록 언어를 처리하는 데 도움을 준 기계 학습의 최근 발전을 기반으로 구축되었다. 이 알고리즘은 웹을 통해 배운 내용을 이용하여 주어진 주제에 대한 일관성 있는 기사를 구상하고 일부 일반 지식 질문에 대해 일관성 있게 답변할 수 있다.

그러나 대답은 미국에서 개발된 유사한 프로그램에서 생성된 것과 다를 수 있다. 역사상 최고의 스포츠 팀에 대한 질문에 알레프 알파는 독일의 유명한 축구팀으로 답한다. 미국에서 만든 모델은 (프로야구 구단인)시카고 불스Chicago Bulls나 뉴욕 양키즈New York Yankees를 인용할 가능성이 더 크다. 동일한 질의를 프랑스어로 작성하면 알고리즘이 문화적 관점으로 조정하기 때문에 답변에 유명한 프랑스 팀이 언급될 가능성이 높다. 알레프 알파는 이중 언어로 설계되었다. 즉, 한 언어로 질문하고 다른 언어로 답을 얻을 수 있다.

이전에 애플사에서 인공지능 관련 일을 했던 알레프 알파의 설립자이자 CEO인 조나스 안드룰리스Jonas Andrulis는 “이것은 혁신적인 AI입니다.”라고 말했다. “유럽이 이러한 시스템을 구축할 수 있는 기술적 역량이 없다면 우리는 미국이나 중국의 사용자로 전락할 것입니다.“

단어와 문장의 의미를 이해하기 위해 기계를 가르치는 데 수십 년 동안 느린 발전이 있었지만 기계 학습은 몇 가지 유망한 발전을 가져왔다. 스타트업들은 AI의 성장하는 언어 능력에서 황금을 얻기 위해 서두르고 있다.

미국 스타트업인 OpenAI는 2019년 GPT-2라는 강력한 새로운 종류의 AI 언어 모델을 최초로 선보였다. API를 통해 스타트업과 연구원을 선택할 수 있도록 더욱 강력해진 GPT-3 버전을 제공한다. OpenAI 출신들(alumni)들이 설립한 코헤어Cohere와 안트로픽Anthropic을 비롯한 몇몇 다른 미국 기업들도 유사한 도구를 개발하고 있다.

이제는 독일뿐만 아니라 중국, 한국, 이스라엘 등 미국 이외의 지역에서 범용 AI 언어 도구를 만드는 기업이 늘어나고 있다. 각각의 노력에는 나름의 기술적 우여곡절이 있지만, 모두 기계 학습의 동일한 진보를 바탕으로 하고 있다.

유용한 방식으로 언어를 구사하는 AI 프로그램의 부상은 부분적으로 돈에 관한 것이다. 지능형 이메일 도우미, 유용한 컴퓨터 코드를 작성하는 프로그램, 마케팅 카피를 생성하는 시스템 등 모든 종류의 것들이 그 위에 구축될 수 있다.

“이러한 대규모 언어 모델에 대해 놀라운 것은 이들이 세상이 어떻게 돌아가는지 정말 많이 많이 알고 있다는 것이다.”
– 크리스 매닝 교수, 스탠포드 대학

기계가 언어를 이해하게 하는 것은 인공지능에서 오랫동안 큰 도전이었다. 언어는 단어와 개념이 결합되어 사실상 무한한 아이디어와 생각의 전경(landscape)을 제공할 수 있기 때문에 매우 강력하다. 그러나 단어의 의미를 해독하는 것은 빈번한 모호성 때문에 놀라울 정도로 어려울 수 있으며 언어의 모든 규칙을 컴퓨터 프로그램에 쓰는 것은 불가능하다(일부는 시도했지만).

최근 AI의 발전은 기계가 웹을 읽는 것만으로도 주목할만한 언어 능력을 개발할 수 있음을 보여준다.

2018년 구글의 연구원들은 BERT(Bidirectional Encoder Representations from Transformers)라는 자연어 이해에 특화된 강력하고 새로운 종류의 대규모 신경망에 대한 세부 정보를 발표했다. 이것은 기계 학습이 언어 이해의 새로운 발전을 가져올 수 있음을 보여주었고 가능성을 탐구하려는 노력을 촉발했다.

1년 후 OpenAI는 웹에서 방대한 양의 텍스트를 매우 큰 언어 모델에 제공하여 구축한 GPT-2를 시연했다. 이것은 수백만 달러의 비용이 드는 엄청난 양의 컴퓨터 성능과 상당한 엔지니어링 기술을 필요로 하지만 기계에서 새로운 수준의 이해를 열어주는 것 같다. GPT-2와 그 후속 GPT-3은 종종 주어진 주제에 대해 일관된 텍스트의 단락을 생성할 수 있다.

AI와 언어를 전문으로 하는 스탠포드 대학의 교수 크리스 매닝은 “이러한 대규모 언어 모델의 놀라운 점은 그들이 찾을 수 있는 모든 것을 읽는 것만으로도 세상이 어떻게 돌아가는지에 대해 정말 많이 알고 있다는 것”이라고 말했다.

그러나 GPT와 그 동료들은 본질적으로 매우 재능 있는 통계 앵무새이다. 그들은 언어에서 발견되는 단어와 문법의 패턴을 재창조하는 방법을 배운다. 즉, 웹의 어두운 구석에서 긁어 모은 말도 안되는 소리, 매우 부정확한 사실, 혐오스러운 언어를 퍼뜨릴 수 있다.

예루살렘 히브리 대학교의 컴퓨터 과학 교수인 암논 샤슈아Amnon Shashua는 이 접근 방식을 기반으로 AI 모델을 구축하는 또 다른 신생 기업의 공동 설립자이다. 그는 2017년 자동차가 도로에서 사물을 감지하도록 돕는 AI를 개척한 그의 마지막 회사인 모바일 아이 Mobileye를 153억 달러에 인텔에 매각하여서 상업용 AI에 대해 약간 알고 있다.

지난 주 스텔스에서 나온 샤수아의 새로운 회사 AI21 Labs는 영어와 히브리어로 놀라운 언어 능력을 보여주는 쥐라기-1 Jurassic-1이라는 AI 알고리즘을 개발했다.

시연에서 Jurassic-1은 주어진 주제에 대한 텍스트 단락을 생성하고, 블로그 게시물의 눈에 띄는 헤드라인을 만들고, 간단한 컴퓨터 코드를 작성하는 등의 작업을 수행할 수 있다. 샤슈아는 이 모델이 GPT-3보다 더 정교하며 미래 버전의 쥐라기 모델이 수집한 정보에서 세계에 대한 일종의 상식적인 이해(common-sense understanding)를 구축할 수 있을 것이라고 믿는다.

GPT-3를 재생성하려는 다른 노력들은 세계 언어와 인터넷의 다양성을 반영한다. 지난 4월 중국 화웨이 연구진은 GPT와 유사한 중국어 모델인 판구-알파(PanGu-α)의 세부 사항을 공개했다. 지난 5월 한국 대형 검색업체인 네이버는 한글을 말하는 ‘하이퍼클로바(HyperCLOVA)’라는 독자 언어 모델을 개발했다고 밝혔다.

칭화대학Tsinghua University의 교수인 지 탕Jie Tang은 정부와 업계의 도움을 받아 우다오 Wudao(“깨달음”을 의미)라는 또 다른 중국어 모델을 개발한 베이징 인공 지능 아카데미의 팀을 이끌고 있다.

우다오 모델은 다른 모델보다 상당히 크기 때문에 시뮬레이션된 신경망이 더 많은 클라우드 컴퓨터에 분산되어 있다. 신경망의 크기를 늘리는 것이 GPT-2 및 -3의 기능을 향상시키는 데 핵심이었다. 우다오도 이미지와 텍스트 모두 작업할 수 있으며 탕은 이를 상용화하기 위해 회사를 설립했다. “우리는 이것이 모든 AI의 초석이 될 수 있다고 믿습니다.”라고 탕은 말한다.

이러한 열정은 이러한 새로운 AI 프로그램의 역량에 의해 뒷받침되는 것처럼 보이지만 이러한 언어 모델을 상용화하려는 경쟁은 가드레일(안전장치)을 추가하거나 오용을 제한하려는 노력보다 더 빠르게 진행될 수도 있다.

어쩌면 AI 언어 모델에 대한 가장 큰 걱정은 악용될 수 있는 방법에 관한 것이다. 이 모델들은 어떤 주제에 대해 설득력 있는 텍스트를 만들어 낼 수 있기 때문에, 어떤 사람들은 이 모델들이 가짜 리뷰나 스팸, 가짜 뉴스를 만들어 내는 데 쉽게 이용될 수 있다고 우려한다.

언어 모델이 잘못된 정보를 퍼뜨릴 가능성을 연구한 조지타운 대학Georgetown University의 연구 분석가인 마이카 머서Micah Musser는 “가짜 정보 운영자가 이러한 모델을 실험하는 데 최소한 상당한 에너지를 투자하지 않는다면 놀랄 것입니다.”라고 말했다.

머서는 연구에 따르면 AI를 사용하여 AI가 생성한 허위 정보를 포착하는 것이 불가능할 것이라고 말한다. 트윗에는 기계가 작성했는지 여부를 기계가 판단할 수 있는 정보가 충분하지 않을 것이다.

더 문제가 되는 종류의 편견이 이러한 거대한 언어 모델에도 숨어 있을 수 있다. 연구에 따르면 중국 인터넷 콘텐츠에 대해 훈련된 언어 모델은 해당 콘텐츠를 형성한 검열을 반영한다. 또한 이 프로그램은 혐오 발언과 아이디어를 포함하여 그들이 사용하는 언어에서 인종, 성별, 연령에 대한 미묘하고 노골적인 편견을 불가피하게 포착하고 재생산 한다.

유사하게, 이러한 큰 언어 모델은 놀랍거나 예상치 못한 방식으로 실패할 수 있다고 스탠포드의 또 다른 컴퓨터 과학 교수이자 GPT-3과 같은 강력한 범용 AI 모델의 잠재력을 연구하는 새로운 센터의 수석 연구원인 퍼시 량 Percy Liang은 덧붙인다.

량 센터의 연구원들은 이 모델들이 실제로 어떻게 작동하고 어떻게 잘못될 수 있는지를 더 이해하기 위해 그들만의 대규모 언어 모델을 개발하고 있다. 그는 “GPT-3가 할 수 있는 놀라운 일들은 기획자들도 예상하지 못했습니다”고 말한다.

이 모델을 개발하는 회사는 모델에 액세스할 수 있는 사람들을 조사할 것을 약속한다. 쇼수아는 AI21이 모델 사용을 검토하기 위한 윤리 위원회를 가질 것이라고 말했다. 그러나 도구가 확산되고 더 쉽게 접근할 수 있게 됨에 따라 모든 오용이 적발될 것인지는 분명하지 않다.

오픈소스 GPT-3 경쟁사인 엘루더Eleuther의 AI 연구원인 스텔라 비더만Stella Biderman은 GPT-3와 같은 AI 모델을 복제하는 것이 기술적으로 어렵지 않다고 말한다. 강력한 언어 모델을 만들기 위한 장벽은 몇 백만 달러와 몇 명의 기계 학습 졸업생을 가진 사람이라면 누구에게나 줄어들고 있다. 아마존 웹 서비스Amazon Web Services와 같은 클라우드 컴퓨팅 플랫폼은 이제 GPT-3와 같은 것에 필요한 규모로 신경 네트워크를 더 쉽게 구축할 수 있는 도구를 충분한 돈을 가진 모든 사람에게 제공한다.

칭화대의의 탕은은 실제 데이터베이스를 사용하여 더 많은 근거를 제공하는 모델을 설계하고 있다. 그러나 그는 모델이 오작동하지 않도록 하기에 충분할 것이라고 확신하지 않는다. 탕은 말했다. “잘 모르겠습니다. 이것은 우리와 이 큰 모델을 작업하는 모든 사람들에게 중요한 질문입니다.”