인공지능(AI)의 위험성과 부작용에 대한 우려가 나날이 커지고 있다. 최근 AI를 활용해 생성된 허위 이미지가 SNS와 언론 등에 확산되어 증시를 하락시킨 사건이 발생하며, AI가 만들어낸 허위 정보가 사회를 어떻게 뒤흔들 수 있는지에 대해 보여준 실제 사례가 나타났다. 그리고 이러한 허위 정보의 확산으로 선거를 앞둔 국내외 정치계에서는 이에 대한 위험성에 대해 경계하고 있는 상황이며, 인터넷 정보의 신뢰도마저 하락하고 있는 상황에 마주했다.
AI로 인해 찾아올 위험성에 대한 우려가 점차 커짐에 따라 관련 분야의 전문가들과 조직에서는 이를 경고하는 목소리를 내고 있다. 여기에 더해 글로벌 주요국에서는 관련 규제와 법제화 논의를 진행시키는 등 AI가 사회에 미칠 위험성에 대응하기 위한 움직임이 빠르게 나타나고 있다.

 

01. 인공지능(AI)으로 생성된 대규모 허위 정보의 확산

1) 美 증시 하락시킨 AI의 ‘허위 이미지’

지난 5월 22일, 美 펜타곤(The Pentagon) 청사 근처에서 대형 폭발이 발생했다고 주장하는 이미지가 SNS를 중심으로 확산됐다. 바로 생성형 AI(Generative AI)로 만들어진 가짜 이미지였다. 펜타곤 영내에서 검은 연기가 치솟는 모습이 담긴 가짜 이미지는 5월 22일 오전 9시 전후로 극우단체로 알려진 큐어넌(QAnon)과 관련된 페이스북(Facebook) 계정에 처음 올라왔다고 전해졌으며, 이후 러시아의 관영 매체인 RT와 함께 트위터(Twitter)가 공식 계정임을 인증하는 ‘블루 체크(Blue Check)’가 표시된 수많은 계정 등 SNS와 언론 등에서 공유되며 전 세계로 확산됐다.

[그림 1] 美 펜타곤 폭발 관련 보도자료 (출처: SBS 뉴스)

문제는 관련 소식이 전해지자 美 S&P 500 지수가 한때 0.3%, 다우 존스 30(DJI) 산업평균지수가 약 80p 하락하는 등 증시가 출렁였고, 유사시 안전 자산으로 꼽히는 美 국채와 금값이 잠시 상승하는 현상이 나타났다. 생성형 AI가 만들어낸 허위 이미지가 진실로 여겨지면서 기성 언론과 SNS는 물론 주식시장까지 움직인 것이다. 물론 증시는 해당 이미지가 조작되었다는 사실이 알려진 직후 곧바로 회복됐지만, 이번 사태는 AI가 만든 허위 이미지가 주식시장을 출렁이게 하는 등 실제 피해를 불러왔다는 점에서 그 심각성이 훨씬 크다는 평가가 나온다. AI 발(發) 허위 정보가 사회적 혼란을 유발할 것이라는 우려가 기우가 아니게 됐다는 분석이다.

해당 이미지를 두고 전문가들은 펜타곤 폭발 사진은 AI가 만들었을 가능성이 크다고 분석했다. 英 탐사보도 매체 벨링캣(Bellingcat)의 연구원 닉 워터스(Nick Waters)는 “사진 속 건물은 펜타곤이 아니며 워싱턴 어디에서도 실제로 있는 건물이 아니다.”라며 “AI가 생성한 것”이라고 지적했다. 또한 디지털 포렌식 분야 전문가인 美 버클리대학교 하니 파리드(Hany Farid) 교수는 “사진 속 건물과 울타리에 구조적 오류가 보이는 등 전형적인 AI 합성 징후가 있다.”라고 설명했다.

그리고 허위 이미지가 무분별하게 확산된 이유로 유명 인사나 신뢰할 만한 기관에만 부여하던 블루 체크를 누구나 매달 8달러만 지불하면 받을 수 있도록 한 트위터의 책임도 크다는 지적이 나왔다. 아직 많은 이용자가 블루 체크가 붙은 계정을 ‘공식 계정’으로 인식하고 있는데, 일부 블루 체크 계정들이 허위 뉴스를 퍼 나르다 보니 사람들이 쉽게 사실이라고 믿는 것이다. 한 외신은 “허위 이미지를 유포한 일부 계정에는 블루 체크가 붙었지만, 진실을 공유한 美 국방성 방호국(Pentagon Force Protection Agency, 이하 PFPA) 공식 계정에는 블루 체크도 회색 체크(블루 체크와 별도로 정부 계정·공인 등에 붙는 마크)도 없었다.”라며 트위터 정책의 불합리함을 꼬집기도 했다.

 

2) 선거에도 영향 미치는 AI 발(發) ‘허위 뉴스’

생성형 AI가 만들어낸 허위 정보가 美 증시를 하락시키는 등 심각한 상황에 이어, 생성형 AI는 선거판의 새로운 복병으로도 떠오를 조짐이다. 사실과 다른 허위 조작 정보 기반의 짜집기 기술로 여론을 호도하면서 선거판에 또 다른 변수가 될 것이란 전망이다. 특히 오픈AI(OpenAI)의 최고경영자(CEO) 샘 알트만(Sam Altman)이 직접 이러한 가능성에 대해 우려하는 발언을 해 이목이 쏠리고 있는 상황이다. 그리고 실제로 관련 사례들이 하나둘씩 등장하고 있는데, 대표적으로 지난 4월 25일, 美 조 바이든(Joe Biden) 대통령이 ’24년 대선 도전을 공식 선언하자, 美 공화당 전국위원회(Republican National Committee 이하 RNC) 주도 하에 제작된 영상 하나가 공개됐다.

[그림 2] 생성형 AI가 만든 美 조 바이든 대통령 영상 (출처 : 유튜브 캡처)

영상에는 ‘역대 최약체(The Weakest)’인 조 바이든이 재선될 경우, 경제 악화와 범죄율 상승, 국경 정책 후퇴 등이 야기될 것이란 가상 시나리오가 담겼다. 회색빛 도시를 배경으로 32초 동안 연출된 해당 동영상은 내용보다는 제작 형식에서 더 큰 관심을 모았다. 바로 이미지 생성 AI 도구인 미드저니(Midjourney)와 달리-2(DALL·E 2)를 활용해 만들어진 이미지들로 전체 동영상이 채워졌기 때문이다. 기존에는 공식 선거 운동에 실제로 촬영·제작한 영상만을 사용했다면, 앞으로는 AI를 활용해 다양한 전략을 펼칠 것임을 암시한 셈이다.

현재 정치 분야에는 눈에 띄는 AI 기술 이용 규칙이 없다. 선거 캠페인을 비롯한 정치 전략가들은 AI를 자유롭게 활용해 목표 유권자를 효율적으로 모으고 정치 메시지를 이전보다 많은 사람에게 전달할 기회를 가진 셈이다. 이에 많은 정치 전문가들은 “AI가 유권자 인식에 큰 영향을 미칠 것이지만, 대부분 부정적인 방향으로 작용할 듯하다.”라고 美 인터넷 매체 악시오스(Axios)를 통해 밝혔다. 특히 선거 운동 관계자들이 AI로 유권자들에게 허위 정보를 전달할 수 있다는 점을 우려했다. 예를 들어, 상대 후보에 대한 틀린 정보나 조롱 등을 AI 음성, 이미지, 문자 메시지를 통해 순식간에 퍼트리는 등 허위 정보가 퍼질 위험성이 이전보다 커진 것이다. 이와 관련해 ‘08년과 ‘12년이 페이스북 선거였다면, 이번 대선은 AI 선거로 이전보다 더욱 파격적이고 치열한 경쟁이 펼쳐질 것이라는 예측이 다수 등장하고 있는 상황이며, 실제로 미국은 ‘24년 11월 5일 대선을 앞두고 있다.

[그림 3] 2012년 美 대선 당시 후보자들의 SNS 경쟁 비교 (출처: Phys.org)

3) AI로 인해 하락하는 인터넷 정보의 신뢰도

또한 AI가 만들어낸 수많은 허위 정보(텍스트, 이미지, 동영상 등)를 바탕으로 작성된 가짜 뉴스와 블로그 게시물들이 인터넷에 확산되며 문제가 커지고 있다. 이러한 스팸 사이트들은 구글(Google)과 빙(Bing)과 같은 검색 엔진에서 걸러지지 않고 검색 결과로 노출되며, 인터넷 정보에 대한 신뢰도가 크게 떨어지고 있는 것으로 나타났다.

이러한 현상은 뉴스 분야에서 가장 심각하게 나타나고 있다. 뉴스의 신뢰도를 평가하는 美 비영리단체 뉴스가드(NewsGuard)가 지난 5월 19일, 영어·중국어·프랑스어 등 7개 언어로 생산되는 뉴스 웹사이트를 대상으로 조사한 결과 ‘뉴스의 전부 혹은 대부분을 AI가 만드는 것으로 추정되는 사이트’가 125곳이나 발견됐다. 지난 4월에 실시한 조사에서는 49곳으로 나타났는데 불과 2주 만에 2배 이상 증가한 것이다. 이와 관련해 뉴스가드는 “이러한 웹사이트는 ‘마켓 뉴스 리포트(Market News Report)’ 등 그럴듯한 이름으로 다양한 분야에서 하루 수백 개씩 기사를 양산하고 있다.”라며 “검색을 통해 유입된 사용자들로부터 광고 수익을 내기 위한 스팸 사이트다.”라고 설명했다.

[그림 4] 뉴스가드의 Rise of the Newsbots 게시물 (출처: 뉴스가드 홈페이지 캡처)

그리고 美 검색 엔진 전문 미디어 서치 엔진 랜드(Search Engine Land)에 따르면 구글 내부에서도 챗GPT(ChatGPT)가 등장하기 이전인 ’20년, AI가 만들어낸 가짜 콘텐츠가 급격히 증가하고 있다는 보고서를 발표한 것으로 알려졌다. 심지어 수많은 홈페이지에서 활용하는 구글 광고(Google Ads)에 스팸 사이트 홍보 광고는 물론 피싱(Pishing) 사이트까지 등장하고 있다. 업계 관계자는 “AI를 걸러내는 기술이 따라가지 못하는 데다, 막을 의지(기업)도 부족한 것 같다.”라고 지적하는 등, AI가 만들어내는 대규모 허위 정보 확산으로 인해 정보의 신뢰도마저 하락하고 있는 상황에 도달했다.

 

02. AI의 위험성에 대응하는 다양한 움직임

1) AI의 위험성에 대해 경고하는 주요 인물들과 조직

○ 오픈AI, AI 규제를 위한 국제기구 설립 제안

이처럼 AI 기술을 활용한 허위 정보에 대한 경고가 나날이 커지고 있는 가운데, 생성형 AI의 원조 격인 챗GPT를 개발한 오픈AI가 AI 규제를 위한 국제기구 설립이 필요하다는 의견을 제시했다. 지난 5월 22일, 오픈AI의 샘 알트만 CEO와 그렉 브록만(Greg Brockman) 회장 그리고 일리야 수츠케버(Ilya Sutskever) 공동 창업자 등 오픈AI 경영진들은 자사 블로그에 ‘Governance of superintelligence(초지능 거버넌스)’라는 제목의 게시물을 올리며 “더 번영하는 미래에 도달하려면 위험을 관리해야 한다.”라며 “AI의 잠재적 위험을 통제하고 부작용을 막기 위해 국제원자력기구(International Atomic Energy Agency, 이하 IAEA) 같은 국제기구가 필요하다.”라고 언급했다.

[그림 5] 오픈AI의 ‘Governance of superintelligence’ 관련 이미지 (출처: 유튜브 캡처)

오픈AI가 AI 규제를 위한 국제기구 설립을 제안한 배경에는 AI의 혁신 속도가 너무 빨라 한 국가나 기관이 통제하기 어렵다는 관점이 뒷받침한다. 이로 인해 샘 알트만을 포함한 오픈AI의 경영진들이 IAEA와 같은 규제기관을 만들어야 한다고 주장한 것이다. 이와 함께 이들은 블로그 게시물을 통해 “AI 시스템이 10년 이내에 대부분의 영역에서 전문가 수준을 능가, 기술 대기업에 필적할 생산 활동을 수행하게 될 것”이라며 “인간의 지능을 초월하는 ‘초지능 AI’가 초래할 수 있는 위험을 관리해야 한다.”라고 주장했다.

오픈AI는 이를 위한 방안으로 3가지 아이디어를 제시했다.

우선 초지능 AI 개발이 안전하게 이뤄지도록 AI 역량의 성장률 개념을 도입해 연간 일정 비율로 제한하면서 개발 속도를 조정하자고 제안했다. 또한 국제기구를 설립해 초지능 AI 개발을 관리하는 방안도 내놓았다. 바로 기능의 임곗값을 정해 이를 넘어서는 AI를 개발하면 △시스템 검사 △감사 요구 △안전 표준 준수여부 확인 △보안 수준과 배포에 대한 제한 등 제재를 가하자는 내용이다. 마지막으로 인간의 가치를 따르도록 초지능 AI를 정렬하는 기술을 갖추자고 제안했다. 사람의 피드백과 평가를 지원하고, 정렬 연구를 수행하기 위한 AI 시스템 교육을 하자는 것이다.

그리고 오픈AI가 AI 규제를 위해 IAEA와 같은 국제기구 설립을 제안하고 얼마 지나지 않아, 유엔(United Nations, 이하 UN)의 안토니우 구테흐스(António Guterres) 사무총장이 AI 인류위협설을 언급하며 AI 규제를 위한 국제 전문기구 수립을 제안했다. 그는 AI기구의 모델로 오픈AI와 마찬가지로 IAEA를 제시했는데, IAEA가 전문 지식을 토대로 인류 존립에 위협이 될 수 있는 원자력 사용을 규제하는 것처럼 AI기구가 과학을 기반으로 세계 공통의 AI 규약을 만들고 관련 산업을 규제한다는 구상이다.

[그림 6] 안토니우 구테흐스 유엔 사무총장(좌) · UN 로고(우) (출처: 경향신문, UN 홈페이지)

○ 美 CAIS, AI 위험에 대한 성명 개제

이와 함께 美 비영리단체 ‘AI 안전 센터(The Center for AI Safety, 이하 CAIS)’는 지난 5월 30일, 인류의 절멸 가능성까지 언급하면서 AI 기술 통제 필요성을 주장하는 단 한 문장으로 된 성명서 ‘AI 위험에 대한 성명(Statement on AI Risk)’을 게재했다. CAIS는 성명에서 "AI로 인한 인류 절멸의 위험성을 낮추는 것은 글로벌 차원에서 우선순위로 삼아야 한다."라고 촉구했으며, AI의 위험성을 핵무기와 신종 전염병에 비견했다. 또한 성명에서는 대중도 AI 기술이 지닌 위험성을 인식해왔지만, 훨씬 다양한 분야에 대한 해결책이 논의돼야 한다고 강조하면서 공개적인 토론 필요성을 강조했다.

해당 성명에는 오픈 AI의 CEO 샘 알트만과 미라 무라티(Mira Murati) 최고 기술 관리자(CTO) MS의 케빈 스콧(Kevin Scott) CTO와 구글의 AI 분야 책임자인 릴라 이브라힘(Lila Ibrahim)을 포함한 350여 명의 AI 분야 전문가들이 서명했다. 그리고 美 언론사 CNN은 해당 성명을 두고 “이보다 더 직접적이고 긴급할 수는 없다.”라며 “전문가들은 AI가 인류의 존립에 미칠 잠재적 위험을 경고하기 위해 있는 힘껏 패닉 버튼을 눌렀다.”라고 지적했다.

○ AI 분야 전문가들의 AI 규제 필요 발언

여기에 더해 ‘딥러닝의 대부’로 불리는 제프리 힌튼(Geoffrey Hinton) 토론토대학교 교수는 지난 5월 1일, AI의 위험성을 경고하며 10년간 몸담은 구글에 사표를 던졌다. 그가 구글을 나온 이유는 AI가 미칠 악영향에 대해 자유롭게 발언하기 위해서인 것으로 알려졌다. 그는 지난 5월 5일, 英 로이터 통신과의 인터뷰에서 “AI가 기후변화보다 인류에게 더 시급한 위협이 될 수 있다.”라고 주장했다. 또한 구글과 MS의 AI 연구 경쟁도 지적하고, 국제적인 AI 규제의 필요성을 강조했는데, 그는 “추적이 가능한 핵무기와 달리 AI는 규제가 도입돼도 기업이나 국가 차원에서 비밀리에 연구가 계속될 수 있다.”라고 우려했으며, 특히 AI ‘킬러 로봇’이 등장할 날이 두렵다고 발언했다.

또한 애플의 공동창업자인 스티브 워즈니악(Steve Wozniak)도 언론과의 인터뷰를 통해 “AI 기술이 악용되는 것이 두렵다.”, “책임을 회피할 수 있다고 생각하는 거대 IT 기업에게 책임을 물어야 한다.”라며 생성형 AI 규제의 필요성을 강조했다. 이처럼 최근 수많은 AI 관련 유명 인사들이 AI에 대한 규제가 필요하다는 주장을 펼침에 따라, AI 규제 필요 여론이 확산되고 있다.

2) AI 규제 법안 제정하는 글로벌 주요국

○ EU, AI 규제 법안 ‘AI Act’ 초안 채택

이 가운데, 유럽연합(European Union, 이하 EU)은 AI 규제 필요 여론이 확산되기 이전부터 관련 법안을 준비해왔다. EU는 지난 ’21년 4월 21일, AI가 초래할 수 있는 사회적 위험을 예방, 신뢰할 수 있는 AI 기술 개발 등에 중점을 둔 ‘인공지능 법(Artificial Intelligence Act, 이하 AI Act)’을 제안했다. EU의 AI Act는 △AI의 정의 △AI 위험수준 분류 및 분류 별 의무 △회원국 관리감독기관 임명 등을 주요 내용으로 한다.

그리고 지난 ’23년 3월, EU는 AI Act의 ‘AI의 정의(Definition)’에 대한 합의를 도출하며, 법안 초안 작성의 토대를 마련한 바 있다. EU는 ‘AI의 정의’와 관련해 ‘AI는 다양한 수준의 자율성으로 작동하도록 설계된 기계 기반 시스템을 의미하며, 명시적 또는 암시적 목표를 위해 물리적 또는 가상 환경에 영향을 미치는 예측, 권장 사항 또는 결정과 같은 출력을 생성할 수 있다.’라는 문구 작성에 합의했다. 또한 AI로 인해 초래될 수 있는 위험을 △수용 불가(Unacceptable Risk) △고위험(High Risk) △제한된 위험(Limited Risk) △최소 위험(Minimal Risk) 4단계로 나누어 AI 기업이 위험관리 시스템을 구축, 유지하는 등 법적 의무를 부과할 예정이며, 다음과 같은 7가지의 수용 불가능한 위험 응용 프로그램을 EU 내에서 유통될 수 없도록 규정했다.

[표 1] EU의 AI Act 법안에 정의된 ‘수용 불가한 위험 응용 프로그램’ (출처: 한국경제, 재구성: 이글루코퍼레이션)

AI Act가 시행된다면 기업은 생성형 AI에 '설명 가능한 AI' 기능도 반드시 적용해야 한다. 바로 AI가 어떠한 판단으로 결과물을 생성했는지, 제작 과정에는 어떠한 윤리적 가이드라인을 따랐는지 설명할 수 있어야 해서다. 그리고 생성형 AI를 제작하는 기업은 AI 모델 학습에 사용한 데이터 저작권을 모두 공개해야 하며, 어떠한 데이터를 학습했는지, 저작권을 위반하지는 않았는지 등을 일반 사용자가 볼 수 있게 해야 한다. EU는 이를 위반하는 기업에게는 천만 유로 또는 연간 매출액의 2% 중 더 높은 금액을 벌금으로 부과한다고 설정했다.

그리고 지난 6월 14일, 美 유럽의회(European Parliament, 이하 EP)가 본회의를 열고 AI Act 법안 협상을 가결했다. 본회의 표결에서 AI Act는 찬성 499표, 반대 28표, 기권 93표로 통과되었는데, 앞으로 유럽의회(EP), EU 집행위원회 그리고 27개국을 대표하는 이사회가 3자 협상을 진행할 방침이다. 이는 EU가 새로운 법안을 시행하기 전에 거쳐야하는 최종 단계이다. 이와 관련해 美 뉴욕타임스는 EU가 올해 안에 3자 협상을 타결할 목표를 가졌다고 전했으며, 계획대로 진행되면 유예 기간 등을 고려하여 실제 규제가 적용되는 시점은 오는 ’26년쯤 이 될 것이라고 보도했다.

○ 美, ‘책임 있는 AI 혁신’을 촉진하는 신규 조치 발표

EU와 함께 미국에서도 AI로 인해 발생하는 위기에 대응하기 위한 움직임이 계속되고 있다. 지난해 10월, 美 백악관(White House)은 AI가 발생시키는 위협으로부터 모든 사람을 보호하고, 가치를 강화하는 방식으로 기술을 사용하는 사회를 위한 지침인 ‘AI 권리장전(AI Bill of Right)’을 공개, 올해 4월 25일에는 美 △법무부(Department of Justice, 이하 DOJ) △소비자금융보호국(Consumer Financial Protection Bureau, 이하 CFPB) △연방거래위원회(Federal Trade Commission, 이하 FTC) △평등고용기회위원회(Equal Employment Opportunity Commission, 이하 EEOC) 등 4개의 연방기관이 AI가 지닌 위험성으로부터 미국의 핵심 원칙을 지키기 위해 법과 규정을 집행하겠다는 의지를 밝히기도 했다.

그리고 美 백악관은 지난 5월 4일, ‘미국인의 권리와 안전을 보호하는 책임 있는 AI 혁신을 촉진하기 위한 새로운 조치(New Actions to Promote Responsible AI Innovation that Protects Americans’ Rights and Safety, 이하 책임 있는 AI 혁신)’라는 성명을 발표했다. 같은 날 美 카멀라 해리스(Kamala Harris) 부통령과 백악관 관계자들은 구글, MS, 오픈AI 등 주요 AI 기업 CEO들을 만나 AI와 관련된 우려에 대해 논의했다. 회의에서는 AI 기술과 관련된 보안, 안전 문제에 초점이 맞춰졌다. 이 자리에는 美 바이든 대통령도 방문해 AI 제품을 공개하기 전에 안정성을 분명히 해야 한다고 강조했으며, 이러한 위험에는 △안전과 보안 △인권 및 시민권 △프라이버시 보호 △일자리 및 민주적 가치에 대한 위험이 포함된다고 덧붙였다. 이에 이어 美 백악관은 ‘책임 있는 AI 혁신’을 위한 다음과 같은 3가지 이니셔티브를 발표했다.

[표 2] 美 정부의 ‘책임 있는 AI 혁신’의 주요 정책 지침 (출처: 한국과학기술기획평가원, 재구성: 이글루코퍼레이션)

○ EU-美, AI 부작용 막기 위한 ‘AI 행동강령’ 마련

하지만 EU와 미국의 AI 법안이 실질적으로 발효되기까지는 오랜 시간이 소요될 것으로 전망됨에 따라, 법안의 공백 기간 동안 AI의 부작용을 막기 위해 EU와 미국은 'AI 행동강령(code of conduct)' 마련에 착수했다. 이와 관련해 英 로이터 통신은 지난 5월 31일, 마르그레테 베스타게르(Margrethe Vestager) EU 집행위원회 부회장이 미국과의 제4차 무역기술협의회(Trade and Technology Council, 이하 TTC) 회의를 통해 기업 및 외부 의견을 반영한 '자발적인' AI 행동강령을 내놓기로 합의했다고 보도했다. TTC는 미국과 EU의 무역 관계 논의를 목표로 ’21년 9월 출범한 협의체로, 이날 EU와 미국은 AI 위험을 평가하는 데 필요한 조건과 AI 표준에 대한 협력 그리고 기존 및 새로운 위험 모니터링에 중점을 둔 전문가 그룹을 만들었다고 발표했다.

보도에 따르면 베스타게르 부회장은 앞으로 몇 주 안에 초안이 나올 것을 기대할 정도로 AI 행동강령 마련을 서두르는 것으로 알려졌다. 이러한 조급함에는 AI 규제 법안이 실효를 발휘하기까지는 시간이 많이 남았기 때문인 것으로 알려졌다. 그는 "가장 빠른 경우 AI 법은 2년 반에서 3년 뒤에 발효될 것"이라며 "우리는 지금 바로 행동해야 한다."라고 말하며, AI 행동강령 마련의 시급함을 강조했다.

[그림 7] ‘AI 행동강령’ 강조하는 EU의 베스타게르 부회장 (출처: 아시아경제, AI타임스)

○ AI 규제 속도 높여가는 中

앞서 소개한 EU와 미국의 AI 규제와는 결이 다르지만, 중국 정부도 AI 규제의 수위를 높여나가고 있다. 지난 4월 12일, 中 경제 매체 차이신(Caixin)에 따르면, 中 국가인터넷정보국(Cyberspace Administration of China)은 전날 ‘생성형 AI 서비스 관리대책’을 마련하고 의견수렴에 들어갔다. 대책안을 보면 생성형 AI를 대중에게 서비스로 제공하기 전에 국가 인터넷 정보 부서에 보안 평가를 신고해야 한다. 이와 함께 '인터넷 정보 서비스 알고리즘 추천 관리 규정'에 따라 알고리즘 원리 역시 보고해야 한다.

중국이 온라인 검열 체계를 생성형 AI 분야로 확장한 셈이다. 검열 범위는 LLM의 데이터셋(Dataset) 연구 훈련법부터 AI 챗봇(Chabot) 배포까지 인데, 사실상 AI 모델의 개발부터 출시 전 과정까지 모든 과정을 검열한다는 것을 의미한다. 세부적으로 AI 기업들은 생성형 AI의 훈련에 사용되는 데이터의 합법성에 책임을 지고, 알고리즘 설계와 데이터 훈련 시 차별을 방지하고 허위 정보의 생성을 방지하는 조치를 취해야 한다. 또한 서비스 사용자는 반드시 실명을 사용, 모든 기업은 제품 출시 이전에 보안 평가를 실시해 그 결과를 당국에 제출해야 한다. 여기에 더해 AI가 생성하는 콘텐츠는 국가 권력을 전복시키고 사회 질서를 파괴하거나 분리 독립을 조장할 수 있는 요소를 포함해서는 안 되며, AI가 핵심적인 사회주의 가치를 담도록 하는 조항도 대책안에 포함됐다.

○ 韓, AI를 악용한 허위 정보 유포 등에 대비한 법안 발의

한국에서는 AI를 악용한 허위 정보 유포 등에 대비하기 위한 법안이 발의됐다. 지난 5월 22일, 국회 문화체육관광위원회 소속 이상헌 의원은 AI를 이용하여 제작된 콘텐츠라는 사실을 표시하게 하는 「콘텐츠산업 진흥법 일부개정법률안」을 대표 발의했다.

챗GPT와 미드저니 등 생성형 AI 기술이 빠른 속도로 발전하면서 이에 대한 적절한 규제가 필요하다고 본 것이다. 해당 법안은 텍스트, 이미지, 음악 등의 콘텐츠가 AI 기술을 이용하여 만들어진다면 해당 콘텐츠가 AI 기술을 이용하여 제작된 콘텐츠라는 사실을 표기하도록 하는 내용을 담았다. 개정안이 통과되면 콘텐츠의 진위 여부를 사용자들이 알 수 있게 되어, 허위 정보로 인한 사회적 혼란이 방지될 것으로 예상된다. 법안에서는 ‘콘텐츠제작자는 대통령령으로 정하는 AI 기술을 이용하여 제작된 콘텐츠를 제작한 경우에는 해당 콘텐츠가 AI 기술을 이용하여 제작된 콘텐츠라는 사실을 표시해야 한다.’라고 돼 있고, 표시의 내용과 방법은 대통령령으로 정하도록 돼 있다.

○ 韓, 「인공지능산업 육성 및 신뢰 기반 조성 등에 관한 법률안」 제정 속도

그리고 한국에서는 EU의 AI Act와 비슷한 시기에 비슷한 주제의 법안도 처리 중에 있다. 바로 AI의 위험성과 신뢰성 문제 등을 담은 「인공지능산업 육성 및 신뢰 기반 조성 등에 관한 법률안(이하 인공지능법)」 이다. 국회 과학기술정보방송통신위원회(이하 과방위)는 지난 2월 14일, 인공지능법 제정안을 의결했다. 해당 법안은 국회 과방위에 발의된 AI와 관련된 7개의 법률안을 통합한 법안으로, 사람의 생명과 안전 및 기본권 보호를 법률로 보장하면서도 AI 산업 진흥과 기술발전을 위한 체계적 국가 지원 제도를 마련하도록 한다.

인공지능법에서는 AI 사업자와 이용자가 준수해야 할 사항을 규정했다. AI 사업자는 AI 기술의 개발 및 서비스 제공에 대해 △인간의 기본권을 침해하지 않을 것 △개인 포함 공동체 전체의 선을 침해하지 않을 것 △생명공동체의 지속가능성을 침해하지 않을 것 △정보통신기술 및 생명과학기술 윤리 관련 사항을 준수할 것 △목적 및 기능을 설정하고 이를 준수할 것 △사용 연한을 정하고 폐기에 대한 지침을 마련할 것 등 6개 사항을 준수해야 한다.

[그림 8] 인공지능법 심사진행 단계 (출처: 의안정보시스템)

그리고 이용자를 대상으로는 △AI를 임의로 변경하지 않고 본래의 목적과 기능에 맞게 이용할 것 △AI를 사용해 정당한 사유 없이 타인의 이익을 침해하거나 위해를 가하지 않도록 할 것 △AI의 오용 또는 불법적 사용으로 발생하는 문제에 대해 책임을 질 것 △AI를 과도하게 사용하여 발생하는 의존 및 중독 등 부작용에 주의 등 4가지 사항을 규정했다. 해당 법안은 이르면 올해 상반기에 통과 및 시행 될 것으로 예상된다.

03. 마무리

AI로 생성된 다양한 텍스트, 이미지, 동영상 등 허위 정보가 확산되며 다양한 문제점들이 나타나고 있다. 문제는 이러한 허위 정보를 진실이라고 믿는 사람들이 적지 않다는 점이다. 실제로 美 펜타곤 인근 폭발 허위 이미지가 확산되어 美 증시가 하락하며 AI가 만든 허위 정보가 사실인 것처럼 유포될 경우 사회를 어떻게 뒤흔들 수 있는지 보여주는 극명한 사례가 발생했다. 여기에 더해 AI가 만들어낸 가짜 뉴스의 급증으로 ‘24년 미국 대선을 포함한 각종 선거를 앞둔 세계 각국이 정치적·사회적 혼란에 휩싸일 것이란 우려와 함께 AI가 생성한 수많은 스팸 사이트와 홍보 광고들은 인터넷 정보의 신뢰도마저 떨어트리고 있는 상황이다.

실제로 美 스탠퍼드대학교 인간중심 인공지능 연구소(HAI)에서 매년 발간하는 ‘AI 인덱스 2023(AI Index 2023 보고서)’에 따르면 AI로 인한 사고와 논란 수는 ‘10년(10건)보다 ‘21년(260건)에 26배 증가했다. 그리고 이러한 사고와 논란 수의 증가는 AI가 생성해낸 허위 정보 등으로 인한 위험성과 연관이 깊다. 더욱 문제는 ‘22년 이후 AI와 관련된 제품과 서비스가 연달아 출시되고 있는 만큼, 향후 AI로 인한 사고와 논란 수는 더욱 증가할 것이라는 전망이다.

이러한 상황에 마주하자 美 비영리단체인 삶의 미래 연구소(FLI)와 AI 안전 센터(CAIS) 등 조직에서는 AI 기술 통제 필요성을 주장하는 서한과 성명을 발표, 오픈AI는 AI 규제를 위한 국제기구 설립 필요성 주장, AI 분야 주요 인사들은 AI의 위험성에 대해 강도 높게 경고하는 등 AI의 위험성에 대응해야 한다는 목소리가 높아지고 있는 것이다. 여기에 더해 글로벌 주요국에서는 AI가 생성해낸 허위 정보 등의 위험성 뿐만 아니라, AI가 가져올 사회적 변화에 대응하기 위한 법안을 만들어내기 위해 발 빠르게 움직이고 있다.

다만 AI의 위험성과 함께 AI가 보유한 장점 등으로 인해 AI 규제와 관련해 찬성과 반대 입 장이 확연히 나뉘고 있는 만큼, 이를 아우를 수 있는 적절한 규제와 법안 등이 마련되길 기다려 본다.

 

출처 - 인공지능(AI), 전문가들은 왜 위험하다고 할까? - Security & Intelligence 이글루코퍼레이션 (igloo.co.kr)