Peter Wayner  | CSO

 

인공지능이 컴퓨터 보안을 위협할 정도로 영리해질것인가? AI는 이미 어떤 화풍의 걸작품도 즉시 만들어내며 미술계를 놀라게 하고 있다. 또 방대한 저장소에서 난해한 사실을 찾아내는 동시에 시를 쓸 수도 있다. 이처럼 최고의 검색 엔진이 갖춘 기능을 종합적으로 제공하면서 시인 행세까지 할 수 있다면, AI가 보안 프로토콜을 파괴하지 못할 이유가 무엇인가?

이 질문에 대한 답은 복잡하고 빠르게 진화하고 있으며 아직 불확실하다. 공격으로부터 컴퓨터를 방어하는 일에 AI가 도움이 되는 반면, AI로는 물론 인간 지능으로도 결코 해결할 수 없는 부분이 있다. 이 두 가지를 구분하는 것은 어렵다. 새로운 모델이 빠르게 진화하기 때문에 AI가 어디에 도움이 될지 아닐지 단언할 수는 없다. “AI는 절대로 하지 않을 것이다”는 말이 가장 위험할 수도 있다.
 

ⓒ Jonny Lindner / Pixabay

 

인공지능 및 머신러닝의 정의

“인공지능”과 “머신러닝”은 자주 서로 혼용되지만 같은 말이 아니다. AI는 인간 행동을 모방하고 그 이상을 가능케 하는 기술을 말한다. 머신러닝은 인간의 개입 없이 인사이트를 얻도록 알고리즘을 사용해 데이터 내의 패턴을 파악하는 AI 하위집합이다. 머신러닝의 목적은 인간이나 컴퓨터가 더 나은 의사결정을 하도록 돕는 것이다. 오늘날 상용 제품에서 AI라고 하는 것의 많은 부분은 사실 머신러닝이다.

AI는 시스템 방어나 침투를 하는 사람들에게 즉각적으로 유용한 강점을 갖고 있다. 대량의 데이터에서 패턴을 검색할 수 있고 새로운 이벤트를 기존 이벤트와 연관시키는 방법을 자주 찾아낸다.
 
머신러닝 기법에는 매우 통계적인 것이 많다. 컴퓨터 시스템과 암호 알고리즘에 대한 공격도 그렇다. 새로운 머신러닝 툴킷이 널리 보급되면서 공격자와 방어자가 알고리즘을 시험해볼 수 있게 되었다. 공격자는 약점을 찾기 위해, 방어자들은 공격자의 징후를 살피기 위해 알고리즘을 사용한다.

AI는 기대에 못 미치기도 하고 실패할 때도 있다. 훈련 데이터 집합 내에 있는 것만 표현할 수 있으며, 컴퓨터가 자주 그러하듯이 지나치게 문자 그대로 해석한다. 또한 무작위성을 사용하기 때문에 예측불가능하고 비결정적인 특성을 “온도”라고 부르기도 한다.
 

사이버보안에서의 인공지능 활용 사례

컴퓨터 보안도 여러 측면을 다루며 시스템을 방어하려면 난해한 수학 분야와 네트워크 분석, 소프트웨어 엔지니어링에 관심을 기울여야 한다. 상황이 더 복잡한 것은 인간이 시스템의 큰 부분을 차지하기 때문이며, 인간의 약점을 이해하는 것이 필수적이다.

또한, 컴퓨터 보안 분야는 서로 많이 다른 여러 하위 전문분야가 혼합되어 있다. 예컨대 악성 패킷을 탐지하여 네트워크 계층을 안전하게 보호하는 방법이 해시 알고리즘을 강화하는 데는 무용지물일 수도 있다.

새로운 기술을 사용하여 암호 알고리즘을 해독하는 방법을 탐색한 바 있는 레질리안(Resilian) CEO 폴 코처는 “분명 AI로 진전을 이룰 수 있는 분야가 있다. 버그 사냥과 코드 재확인 같은 경우에는 퍼징(fuzzing, 결함을 유발하기 위해 작은 무작위 오류를 도입하는 과정)보다 AI가 더 나을 것이다”라고 말했다.
이와 같은 방식으로 이미 성공을 거두고 있는 사례도 있다. 가장 간단한 예는 예전의 지식을 정형화하여 다시 사용하는 것이다. 코인베이스(Coinbase) 책임자 코너 그로건은 챗GPT에게 이더리움 블록체인에서 실행 중인 실시간 계약을 확인할 것을 요청했고 그 결과 AI는 약점들과 수정에 필요한 권장 사항을 간결한 목록으로 제시했다.

AI는 이 작업을 어떻게 수행했을까? 메커니즘은 불분명하지만, 아마도 과거에 있었던 비슷한 약점에 대한 공개적인 토론을 어떤 형태로든 활용했을 것이다. 전문가의 지도나 맞춤형 프로그래밍 없이도 이전의 인사이트를 새로운 코드와 결합하여 해결할 문제를 정리한 유용한 목록을 작성했다.

마이크로소프트는 이 방식을 상업화하기 시작했다. 프로토콜과 암호 알고리즘의 기본 지식을 갖춘 챗GPT4의 보안 버전인 AI 보안 코파일럿(Security Copilot)을 훈련시켜 프롬프트에 응답하고 인간을 지원할 수 있도록 했다.

대형언어모델에 내장된 깊고 광범위한 지식 저장소를 활용하는 사례도 있다. 클라로티(Claroty) 연구진은 코딩에 대한 백과사전식 지식을 갖춘 챗GPT를 활용하여 시간을 절약했고 여러 약점을 일제히 악용하는 코드도 작성하여 해킹 대회에서 우승했다.

공격자도 AI의 코드 작성 및 재작성 능력을 이용할 수 있다. 릴리아퀘스트(ReliaQuest) CTO 조 파틀로는 우리는 사실 AI가 실제로 어떻게 “생각”하는지 모르는데 이러한 불투명성이 유용하게 활용될 수 있다면서 “코덱스(Codex)나 깃허브 코파일럿(Github Copilot)와 같은 코드 완성모델이 이미 소프트웨어 작성을 돕고 있고 AI로 생성된 맬웨어 변이도 이미 확인되었다. 예를 들어, 부정직한 C 대회 우승자에 대해 모델을 훈련시키면 효과적인 뒷문을 고안할 수 있다”라고 말했다.

이미 자리잡은 일부 기업은 AI를 사용하여 기업 환경 내 네트워크 이상 등의 문제를 탐색하고 있다. 머신러닝과 통계적 추론을 결합하여 수상한 행동을 감지하는 것이다.
 

약점 발견과 암호 해독에 AI 활용

그러나, 특히 암호화된 데이터 흐름을 이런 검사로 깊이 파악하는 데는 한계가 있다. 공격자가 어떤 암호화된 패킷이 좋거나 나쁜지 판단할 수 있다면 기저의 암호 알고리즘을 해독할 수 있다. 
더 깊은 질문은 AI가 가장 근본적인 최저 컴퓨터 보안 계층에서 약점을 찾을 수 있는지 여부다. 지금까지 중대한 발표는 없었지만 일각에서는 어떤 것이 효과가 있거나 없을지에 대한 의문과 추측까지 제기하기 시작했다.

더 취약한 점이 있는지에 대한 명확한 답은 없다. AI들이 인간처럼 행동하도록 프로그래밍 되어 있어도 근본적인 구조는 다르다. 대형 모델들은 여러 계층으로 구성된 통계학적 관계의 모음으로서, 규모가 클수록 이점이 있다. 최근의 발전은 단순히 매개변수와 가중치의 숫자를 빠르게 확장하여 이룬 것이 많다.

가장 일반적인 대형 머신러닝 모델 구축 방식의 핵심은 다량의 선형 수학을 사용하여 매우 큰 행렬과 텐서의 연속적인 순서를 연결하는 것이다. 선형성은 피드백 중 일부를 훈련용으로 가능하게 하므로 알고리즘의 필수적인 점이다.

그러나 최고의 암호 알고리즘은 비선형으로 설계되었다. AES 또는 SHA와 같은 알고리즘은 데이터를 S-박스라고 하는 함수 집합에 통과시켜 반복적으로 섞는 방식을 활용한다. 이런 함수는 고도의 비선형으로 신중하게 설계되었으며, 알고리즘 설계자가 충분한 횟수만큼 적용하여 잘 알려진 통계학적 공격에도 안전하게 조치했다는 점이 더 중요하다.

이런 공격 중 일부는 최신 AI와 공통점이 많다. 수십 년 동안 암호 전문가는 대규모로 수집된 통계 자료를 사용하여 암호 알고리즘을 통한 데이터 흐름을 모델링했으며, AI가 훈련 데이터를 모델링하는 것과 유사하다. 과거에는 암호 전문가가 암호 알고리즘에 대한 지식을 사용하여 통계 자료를 조정하는 복잡한 작업을 수행했다.

가장 잘 알려진 예 중 하나는 ‘차분 암호 분석’이라고 자주 불리는 것이다. 아디 샤미르와 엘리 비함이 이를 처음 공개적으로 기술하였다. 그러나, NIST의 데이터 암호화 표준(DES)와 같은 초기 알고리즘의 설계자 중 일부는 그 방식을 파악하여 그에 대항하는 알고리즘을 강화했다고 밝혔다. 차분 암호 분석에 대항하여 강화된 AES와 같은 알고리즘은 유사한 선형 통계 방식을 배포하는 AI로부터의 공격에 견딜 수 있다.

더 깊이 있는 근본적인 문제도 있다. 공개-키 알고리즘 중 다수가 정밀도가 수 천 자리인 숫자들을 활용한다. UCSD의 암호 전문가 나디아 헤닝거는 “세부적인 실행 문제일 뿐이지만 더 깊이 들어갈 수도 있다. 모델은 가중치가 부동소수점으로 표현되며 정확도가 매우 중요하기 때문이다”라고 설명했다.

많은 머신러닝 알고리즘이 정확도를 자주 무시한다. 인간의 언어처럼 엉성하고 속어가 남발되며 문법이 변화무쌍한 부정확한 분야에서는 정확도가 성공에 필요하지 않았기 때문이다. 그러나 암호 분석에는 규격품 도구들이 적합하지 않을 수 있다는 의미일 뿐이며, 일반 알고리즘은 조정하여 사용할 수 있다. 이미 이 주제를 논하는 사람도 많다.
 

더 커진 규모와 상징적 모델로 AI가 큰 위협 될 수도

그러나 어려운 문제는 거대한 규모로 차이가 생길 것인가 하는 것이다. 성능 증가로 AI가 더 영리해 보이게 되었다면, AI가 기존의 차분 알고리즘보다 더 많은 허점을 찾을 수 있는 한계점이 있을지 모른다. 기존의 기법을 사용해 머신러닝 알고리즘을 더욱 효과적으로 지도할 수도 있다.

일부 AI 과학자는 대형언어모델의 강력함을 보다 논리적인 방식 및 형식적인 방법과 결합하는 방법을 상상하고 있다. 자동화된 수학적 개념 추론 메커니즘을 사용하면 단순히 훈련 데이터 내 패턴을 모방하는 것보다 훨씬 더 강력할 수 있다.

‘양자 시대(The Quantum Age)’의 저자인 보안 연구원 심슨 가핑클은 “대형 언어 모델은 실제로 생성하는 것에 대한 상징적 모델이 부족하다. 보안 속성이 내재될 것이라고 가정할 이유는 없지만, 형식적인 방법을 사용하여 보안 취약점을 찾아내는 데는 이미 경험이 많다”라고 설명했다.

AI 연구자는 대형언어모델을 더 나은 상징적 추론과 접목하여 대형언어모델의 성능을 확장하기 위해 노력 중이다. 울프럼 알파(Wolfram Alpha) 개발자 중 한 명인 스티븐 울프럼은 이것이 목표 중 하나라고 설명했다. 울프럼은 “현재 울프럼 언어에는 다양한 종류의 것들에 대한 연산적인 지식이 많이 내장되어 있지만, 완전한 상징적 담론 언어를 위해서는 세상에 대한 일반적인 지식, 예를 들어 ‘개체가 A에서 B로 이동하고 B에서 C로 이동한다면 A에서 C로 이동한 것’과 같은 것에 관한 ‘계산법’도 추가로 내장시켜야 한다”라고 썼다.

공개 키 암호화 분야를 개척한 암호 전문가 휘트필드 디피는 AI를 사용한 이런 접근 방식을 통해 새로운 미개척 수학 분야의 진전을 이룰 수 있다고 생각한다. 인간과는 생각하는 방식이 달라서 가치가 있다. 디피는 “인간이 증명할 수 있는 정리가 많이 발견된 이미 알려진 이론에 대해 머신 수학자들을 테스트하기보다는 인간의 직관이 형편없는 고차원 기하학 분야에서 인간이 찾지 못하는 것을 찾는지 테스트해 보면 어떨까?”라고 말했다.

암호 분석 분야는 아직 테스트되지 않은 다양한 수학 분야 가운데 하나일 뿐이다. 수학 자체가 무한하므로 가능성은 무한하다. 디피는 “대략적으로 말해 AI가 시스템 침투에 기여할 수 있고 그 가치가 비용보다 크다면 사람들은 사용할 것이다”라고 예측했다. 실질적인 문제는 ‘어떻게 할지’가 될 것이다.
editor@itworld.co.kr 

 

원문보기 - https://www.itworld.co.kr/mainnews/286495