‘마피아게임’에 속수무책 당하는 인공지능

[주철현의 커넥션]
(6) 튜링 기계는 전자 꿈을 꾸는가?③

2016년 구글 딥마인드의 바둑 인공지능 알파고와 이세돌 9단의 대국 장면. 알파고 다큐멘터리 화면 갈무리

이번 시간에는 현재 인공지능 발전의 핵심인 심층신경망의 약점을 다뤄보자.

챗지피티에 대한 뜨거운 관심이 흘러넘치고 있다. 하지만 조금 더 관심이 가는 뉴스는 카타고(Katago)라는 최고 수준의 바둑 인공지능이 인간에게, 그것도 정상급 프로 기사가 아닌 한 아마추어에게 15전 14패로 참패한 사건이다. 바둑 인공지능과 챗지피티는 모두 심층신경망을 기반으로 작동한다. 따라서 여기서 노출된 바둑 인공지능의 취약점은 챗지피티에도 동일하게 적용된다. 올해는 심층신경망의 놀라운 성과와 약점이 동시에 등장한 특이한 시점이다.

알파고(AlphaGo)는 대중에게 가장 큰 충격을 안겨준 인공지능으로 평가받는다. 2016년 구글은 바둑 인공지능을 들고 챔피언에게 대결을 신청했다. 당시 대부분은 이세돌의 압승을 예상했다. 바둑판 19x19의 격자에 흑백의 돌이 놓이는 순서가 만드는 경우의 수는 전 우주의 원자 수보다 많기 때문이다. 이 모든 경우를 따져 프로그램한다는 것은 애초에 불가능하다. 알파고 전에도 바둑 인공지능은 많았지만 성능은 형편없었다. 그런데 갑자기 이세돌을 능가하는 프로그램이 등장했을 가능성은 없어 보였다.

하지만 이전과 다르게 구글의 인공지능은 심층신경망이라는 무기를 장착하고 있었다. 알파고는 당시 바둑의 정석과 기보들을 전부 학습하였고, 스스로 바둑을 두면서 자신의 심층신경망을 다듬었다. 엄청난 데이터를 바탕으로 이길 수 있는 최선의 수를 찾는 것에 특화가 되어 있는 상태였다. 그 결과 5전 4승으로 이세돌을 꺾으며 충격을 안겨 주었다. 이후 인간이 바둑 인공지능을 이길 수 없다는 것이 상식이 되었고, 바둑계도 큰 변화를 겪어 왔다.

그런데 7년 전 세기의 대결에서 주목해야 할 것은 이세돌의 패배가 아니라, 4번째 대국의 78번째 수다. 승리를 판가름한 이 수를 이세돌은 꼼수라 자평하지만, 사람들은 ‘신의 한수’라 평가한다. 거기에서 인공지능이 인간을 이길 수 없는 핵심, 구체적으로는 심층신경망의 약점이 드러났기 때문이다. 세 번을 내리 진 이세돌은 정석으로는 이길 가능성이 없다는 것을 본능적으로 느꼈을 것이다. 그리고 기존에 존재하지 않았던 78수를 던진다. 당시 중계를 보던 많은 바둑 전문가들이 어리둥절했던 것처럼, 알파고도 제대로 대응하지 못했다.

알파고와의 대국에서 이세돌 9단이 유일하게 승리를 거둔 4번째 대국의 기보. 이세돌은 이 대국에서 승기를 잡게 해준 78번째 수는 일종의 꼼수였다고 자평했다. 위키피디아

훈련한 대로만 작동하는 심층신경망

심층신경망은 일종의 거대한 다변수 통계 프로그램이다. 통계는 과거 데이터를 분석해 미래를 예측하는 패턴을 찾는 작업이다. 알파고의 심층신경망은 정석과 기보들을 바탕으로 결과를 예측하면서 게임을 진행하도록 훈련되었다. 따라서 과거에 일어났던 상황과 유사한 순서로 바둑이 진행되는 경우에는 놀라운 성능을 보여준다. 하지만 한 번도 일어나지 않거나 아주 드물게 발생했던 상황에 대해서는 제대로 대응하지 못한 것이다.

그 이후 이세돌과 알파고 모두 은퇴하였지만, 바둑 인공지능은 계속 발전을 하였다. 현재는 카타고가 뒤를 이어 바둑의 왕좌를 차지하고 있다. 그리고 바둑 인공지능의 취약점을 찾아내는 연구도 같이 진행이 되어왔고, 올해 FAR AI라는 스타트업 회사가 그 성과를 증명했다. 흥미롭게도 인공지능의 취약점을 찾는 것에도 역시 인공지능이 동원되었다. 차이점은 기존 바둑 인공지능은 사람에게 이기기 위해 학습이 되었다면 그들의 인공지능은 바둑 인공지능을 이기기 위해 학습이 되었다는 것이다. 이것이 적용하는 영역과 목표가 명확하게 주어지는 (튜링기계인 컴퓨터에서 돌아가는) 프로그램의 특징이다.

바둑 인공지능을 깨기 위한 접근법을 살짝 들여다보면, 적대적 방식(adversarial policy)의 알고리즘을 사용한다. 이는 챗지피티의 한 축이기도 한데, 우리가 즐겨하는 ‘마피아 게임’의 규칙을 인공지능 학습에 도입한 것이라 생각하면 된다. 한 인공지능은 상대를 속이는 것을 목표로 프로그램 되고 다른 인공지능은 가짜를 찾아내는 것을 목표로 프로그램 된다. 그리고 이 둘을 수백, 수천만번 게임을 시킨다. 그럼 속이는 프로그램도 진위를 가리는 프로그램도 점점 더 정확해진다. 컴퓨터끼리 튜링의 이미테이션 게임을 시키는 셈인 것이다.

그리고 올해 초 이 적대적 인공지능이 찾아낸 방식을 배운 아마추어 바둑기사 카린 팰런은 카타고를 간단히 꺾을 수 있었다. 바둑판의 한 구역을 설정해 변칙적으로 운용하면서 카타고가 이기고 있다고 착각하도록 속이는 방식이었다. 심층신경망의 동작을 역이용한 것으로, 9점을 깔아줘도 이길 수 있을 정도로 그 취약점이 제대로 노출되었다. 이 사건은 훈련 받은 데이터 범위 내에서만 제대로 동작하는 심층신경망의 한계를 잘 보여준다. 이세돌이 본능적으로 찾아낸 ‘신의 한수’의 확장판이다. 이런 적대적 인공지능을 이용하면 거대한 심층신경망을 속이는 방법도 어렵지 않게 찾을 수 있다. ‘꼼수’라고도 불리는 인간 창의성의 무한한 가능성을 심층신경망이 모두 대응할 수 없기 때문이다.

바둑 인공지능 카타고 앱의 화면.

창의성이란 낯선 사건에 대한 대응력

사람의 두뇌와 카타고의 가장 큰 차이는 새로운 사건에 대한 대응력, 즉 창의성이다. 기존 데이터로 훈련된 심층신경망은 예외적인 사건에 제대로 대응하지 못한다. 이는 챗지피티를 포함해 심층신경망을 이용하는 모든 인공지능에 공통적으로 적용된다. 챗지피티의 환각 현상도 이런 기전으로 발생한다. 현재 세계적 대기업만 대화형 인공지능을 선보이는 이유가 여기에 있는데, 오동작으로 이어지는 예외적 상황을 최소화하기 위해서는 엄청난 규모의 심층신경망과 학습 데이터가 필요하기 때문이다.

챗지피티가 불러온 인공지능에 대한 관심이 한참 뜨겁다. 대기업들의 경쟁으로 엄청난 규모의 자금이 투입되는 지금을 여름에 비유하면, 그 반대 상황의 시기는 인공지능 겨울(AI winter)이라 표현할 수 있다. 마치 빙하기와 간빙기를 오가며 생물 진화를 지속해온 생태계 역사처럼, 반세기가 조금 넘는 짧은 인공지능 역사에도 두 번의 큰 겨울(빙하기)과, 수많은 작은 겨울이 있었다. 생물 진화에서 혹독한 환경 변화는 더 유연한 적응력 가진 개체를 진화시키는 선택 압력으로 작용한다. 과학 연구에서도 환경 변화는 집단 지성 진화의 원동력이 된다.

튜링으로 시작된 인공지능 연구 분야는, 1980년 후반의 두 번째 빙하기 이후에는 지속적인 성과를 보여주며 발전하고 있다. 1997년 체스 세계챔피언인 가리 카스파로프를 꺾은 ‘디퍼블루(Deeper Blue)’, 2011년 퀴즈쇼 제퍼디에서 퀴즈 달인들을 꺾은 ‘왓슨(Watson)’, 그리고 알파고와 챗지피티 등이 굵직한 성과들이다. 디퍼블루는 인공 의사결정의 가능성을, 왓슨은 사람의 말을 이해하는 능력을, 알파고는 엄청난 경우의 수를 다루는 힘을 보여주었다. 그리고 챗지피티는 범용(general) 인공지능의 가능성을 살짝 보여주고 있다. 하지만 범용 인공지능을 위해 가야 할 길은 아직 멀다.

2011년 퀴즈쇼 제퍼디에서 퀴즈 달인들과 대결하고 있는 아이비엠의 인공지능 ‘왓슨(Watson)’. 위키미디어 코먼스

챗지피티 열풍이 인공지능 겨울 부를 수도

인공지능 겨울은 대중과 연구자들의 관점 차이에서 발생한다. 인공지능이라 하면 대중은 사람 두뇌 같은 강(strong) 인공지능을 먼저 생각한다. 하지만 연구자들은 약(weak) 인공지능의 개발이 목표였다. 체스도 가장 잘 두고, 퀴즈도 가장 잘 풀고, 바둑도 압도적으로 잘 두는 사람이 있다면 세상은 그를 천재라 부를 것이다. 하지만 이때까지 개발된 인공지능은 목표로 설정된 영역에서만 압도적 성능을 보여주는 약 인공지능이었다. 이런 관점의 차이로 특정한 분야의 성과를 보고 기대를 하다, 한계가 확인되면 실망하는 상황이 반복되는 것이다.

모든 신기술은 기대와 실망이 교차하면서 만들어내는 환경 변화의 결과물이다. 대중의 실망은 혹독한 연구 환경을 만든다. 그럼에도 좌절하지 않았던 소수의 연구자들은 다양한 아이디어로 도전해서 돌파구를 찾아낸다. 결과물은 기대를 불러일으키고 연구 환경은 풍족해진다. 하지만 풍족한 지원은 촉망받는 분야로만 쏠리는 빈익빈 부익부 현상이 생기고 아이디어의 다양성이 소실된다. 그러다 기대를 받던 기술이 한계에 부딪히면 큰 실망을 불러오고 다시 연구 환경은 급속히 얼어붙는다. 챗지피티에 대한 너무 뜨거운 관심이 오히려 세 번째 빙하기의 계기가 될 수 있다는 걱정을 불러일으키는 이유이다. 현재 챗지피티를 동작시키는 아이디어가 인공지능 연구의 모든 인프라를 빨아들이고 있다. 하지만 기대가 클수록 실망도 큰 법이며, 찾아오는 겨울은 더욱 혹독할 것이다.

현재에도 심층신경망이 판단하지 못하는 특정 패턴들이 잘 알려져 있다. 인터넷을 돌아다니다 보면 인공지능의 접근을 차단하기 위해서, ‘나는 로봇이 아닙니다.’라는 메시지와 퀴즈가 뜨면서 사람이라는 것을 확인받는 경우가 있다. 이런 간단한 예부터 인공지능에 과부하를 일으켜 작동을 멈추게 하는 방법에 대한 심각한 내용의 연구도 있다. 만약 사회의 중요한 의사결정을 인공지능을 통해 내리는 상황이 왔다고 생각해보자. 그럼 개인적 이익을 위해 인공지능을 속이려는 수많은 해킹 시도가 발생하고, 사회 시스템은 혼란에 빠질 것이다. 그래서 자기 분야임에도 불구하고 전문가들은 인공지능에 대한 막연한 기대와 관심보다는, 한계에 대한 차분한 고민을 해야 할 시점이라는 것을 강조하고 있다.

우리가 경험을 중시하고 과거의 역사를 배우는 이유는 미래의 불확실한 상황을 예측하고 대응하기 위해서이다. 이런 측면에서 심층신경망은 엄청난 양의 과거 경험(데이터)을 저장하고 찾아주는 아주 유용한 도구라는 것은 분명하다. 하지만 이를 이용해 미래를 예측하고 결정을 내리는 것은 여전히 인간의 영역이다. 즉 인공지능과 두뇌는 서로 대치되는 관계가 아니라 상호 보완적인 관계라는 것 잘 이해해야한다.

다음 시간에는 인공지능이 창의성을 흉내내기가 어려운 이유를 알아보자.

주철현/울산의대 미생물학 교수·의학교육센터장