알고리즘·인공지능, 공정하지 않았다간 큰 코 다친다

투명하고 공정하라…인공지능도 예외는 없다
미국 정부 ‘인공지능 사용 지침’ 발표
차별·기만 등 소비자 피해 방지 목적
미흡 땐 사기로 간주해 벌금 물릴 수도
세계 최초…“기업에 울타리 구실 기대”
글로벌 시장 대상 국내기업에도 적용

인간의 편향은 인공지능에 그대로 반영될 수 있다. 연합뉴스

독일 정보기술(IT) 전문지 ‘알고리즘워치’는 “구글 인공지능(AI) 서비스로 이미지 식별 실험을 한 결과, 밝은 피부를 가진 사람이 체온계를 들고 있는 사진은 체온계를 들고 있는 모습으로, 어두운 피부를 가진 사람이 체온계를 들고 있는 사진은 총을 갖고 있는 모습으로 분류하는 비율이 높았다”고 밝혔다. 결국 구글은 인공지능 서비스의 인종차별적 판단 지적에 대해 사과했다.

구글 인공지능 서비스는 왜 그랬을까. “충분한 학습 과정을 거치지 않았기 때문일 수 있다”는 진단이 많다. 기모노나 한복과 달리 인도 전통의상은 옷으로 분류하지 않는 것도 예로 든다. “편향된 데이터로 잘못된 학습을 했을 가능성”도 제기된다. 인간의 편향이 만연한 사회의 데이터로 인공지능 서비스를 학습시키면(머신러닝), 차별적 판단을 지속해서 할 수 있다는 것이다.

‘대량살상 수학무기’의 저자 캐시 오닐은 “알고리즘이 공정할 것이라는 생각을 버려야 한다. 우리 사회에 이미 차별이 내재돼 있기 때문에 알고리즘 처리 결과에도 이미 차별이 있을 수밖에 없다”고 지적한 바 있다. 한국에서도 포털 네이버와 다음 포털의 인공지능 기반 기사 선별·배치 알고리즘을 놓고 편향성 의혹이 제기되고 있다.

인공지능 알고리즘의 윤리와 투명성 논란이 커지자, 방송통신위원회가 ‘이용자 중심의 지능정보사회를 위한 원칙’이란 걸 내놨지만, 추상적이란 평가가 많다. “기업들이 기술의 따뜻한 활용 궤도를 벗어나지 않도록 돕는 울타리 구실 정도는 해야 하는데, 방통위 원칙으로는 기대하기 어렵다”는 지적이 많다. “인공지능 서비스는 이제 싹을 틔우는 단계인데 규제부터 만드냐는 비판을 받을까 눈치를 보고 있는 것”이란 지적도 나온다.

구글 인공지능 서비스로 이미지 식별 실험을 한 결과, 어두운 피부를 가진 사람이 체온계를 들고 있으면 총으로 분류하는 비율이 높게 나왔다. Bart Nagel 트위터 갈무리

미국 연방거래위원회(FTC)가 ‘인공지능 및 알고리즘 사용에 대한 지침’(이하 지침)을 내놓은 게 주목받는 이유다. 지침은 “기업은 인공지능 및 알고리즘을 사용할 때 투명성, 설명 가능성, 공정성, 견고성과 실증적 타당성, 책임성을 갖춰야 한다”고 권고한다. 자세한 설명과 함께 “따르지 않으면 관련 법을 어겼다는 판단을 받을 수 있다”는 경고도 하고 있다. 인공지능 및 알고리즘 사용에 대한 지침을 내놓기는 연방거래위가 처음이다. 유럽연합도 이제 초안을 만지작거리고 있다.

한국정보통신정책연구원(KISDI) 양기문 아이시티(ICT)전략연구실 연구원의 도움을 받아 지침을 소개한다. 양 연구원은 지침에 대해 “인공지능 및 알고리즘을 사용하는 과정에서 소비자에게 발생할 수 있는 위험을 기업이 어떻게 관리할 지에 대한 방향을 구체적으로 제시하고 있다”고 평가했다.

지침은 먼저 ‘기업은 인공지능 기반의 자동화된 도구를 사용할 때 소비자를 기만하면 안된다’고 못박았다. ‘특히 챗봇처럼 소비자와 직접 상호작용을 하는 인공지능 도구를 사용할 때 소비자를 오도하지 않아야 한다’며 ‘가짜 프로필, 허위 가입자, 가짜 좋아요 등과 같이 인공지능·알고리즘을 활용해 소비자를 기만하는 행위는 사기로 간주할 수 있다’고 경고했다.

지침은 이어 투명성을 강조했다. ‘머신러닝 데이터 확보를 위해 이용자의 음성과 상징 이미지 등 민감한 정보를 몰래 수집하거나, 기본 설정을 얼굴인식 활성화 상태에 맞춰 이용자의 얼굴 정보를 동의없이 수집하는 행위 등을 하면 안된다’고 못박았다. 앞서 연방거래위는 2018년 4월 페이스북의 얼굴인식 관련 정책에 이런 잣대를 적용해 ‘이용자 기만 행위’로 판단한 바 있다.

더불어 기업은 인공지능·알고리즘 판단을 기반으로 소비자에게 불리한 결정을 할 때는 그 이유를 명확하고 구체적으로 설명해야 한다. 예를 들어, 알고리즘 기반 신용평가에서 신용이 낮게 나온 이유를 설명할 때는 ‘체납이 있다’거나 ‘신용 참조 건수가 충분하지 않다’처럼 구체적이어야 한다. 단순하게 ‘신용점수가 낮다’거나 ‘기준에 부합하지 않는다’ 정도만 설명해서는 안된다. 인공지능이 거래 조건을 변경할 때도 마찬가지다.

문재인 대통령이 2019년 10월8일 서울 삼성동 코엑스에서 열린 네이버 개발자회의에 참석해 ‘IT 강국을 넘어 AI 강국으로’란 주제로 기조연설을 하고 있다. 연합뉴스

무엇보다 특정 집단이나 계층에 대한 차별이 발생하지 않도록 주의해야 한다. 특히 인종·종교·국적·성별 등을 이유로 차별이 발생하지 않도록 해야 한다. 예를 들어, 기업이 미국에서 소비자의 신용을 평가할 때 우편번호를 반영하면 안된다. 특정 인종이 많이 사는 지역에 불리한 영향을 줄 수 있어서다. 양 연구원은 “데이터 자체는 물론이고, 처리 결과 값이 특정 계층에 차별적 영향을 주지 않는지까지 엄격히 살펴야 한다는 뜻”이라고 설명했다.

의사 결정 때 활용되는 정보에 대한 정보 주체의 접근 권한과 수정 기회를 보장할 것도 의무화했다. 소비자는 취업·신용·보험 등 자신과 관련한 의사결정에 활용되는 정보가 무엇인지 알 권리가 있고, 자신에 대한 정보가 부정확하다고 의심되면 수정을 요구할 수 있어야 한다는 것이다. 기업이 인공지능·알고리즘에 맡겨 소비자 정보를 신용평가사 등 제3자에게 제공할 때도, 정보 주체에게 오류 수정 기회를 주는 등 정보의 정확성이 보장되게 하는 장치를 둬야 한다. 지침은 인공지능·알고리즘의 기반이 되는 빅데이터 분석 결과가 소비자에게 편견이나 피해를 일으키지 못하도록 할 것도 주문했다.

연방거래위는 “지침을 따르지 않는 기업은 관련 법에 따라 시정명령 조치나 벌금 처분 등을 받을 수 있다”고 경고했다. 양기문 연구원은 “인공지능 및 알고리즘이 사회에 만연한 차별을 반영하고 가시화할 수 있다는 게 다양한 사례를 통해 드러나고 있다. 기업은 예상치 못한 기술적·사회적 위험 최소화를 위해 선제적으로 대응할 필요가 있다는 관점에서 볼 때 연방거래위의 문제해결 접근법이 시의적절해 보인다”고 평가했다. 그는 “지침은 미국에 진출했거나 미국 시민을 소비자로 둔 국내 기업에도 적용된다”며 “소비자들도 알아두면, 인공지능 서비스 시대를 살아가는 데 도움이 될 것”이라고 덧붙였다.

김재섭 선임기자 겸 사람과디지털연구소장 [e-mail]