데이터를 잘 써먹을 수 있는 구체적인 방법들

연재를 마치며 - Data Movement의 미래는?

유혁 대표(미국명 Stephen H. Yu)는 25년 이상 데이터베이스 마케팅 분야에서 명성을 얻 고 있는 세계적인 데이터 전략, 빅데이터 애널리틱스 전문가이다. I-Behavior의 공동창업자 /CTO, Infogroup 부사장 등을 역임하면서 정보수집, 데이터베이스 설계, 통계학적 모델을 활용한 타깃 마케팅 등 마케팅과 IT간의 가교에 큰 기여를 해왔다.

유혁 대표는 오랜 전문가로서의 경험을 바탕으로 국내 사용자들과 독자들에게 보다 데이터 를 효과적으로 잘 사용하면서 시행착오를 줄일 수 있는 방법을 특별연재를 통해 소개하고자 한다. 금융, 통신, 미디어, 유통, NGO 등 다양한 글로벌 고객들과의 현장 경험에서 우러나 온 애정 어린 충고와 쓴 소리에 독자들의 많은 관심을 부탁드린다. <편집자 주>

이 연재를 시작한지도 벌써 1년 반이 지났다. 그동안‘빅데이 터’에 관한 사람들의 생각에도 많은 변화가 있었다. 이미 많은 예를 들어가며 강조했었지만 데이터란 제대로 가공해 의사결 정에 반영해야만 효용이 있는 것이지 많은 양을 쌓아놓는다고 능사가 아니다.

빅데이터란 말 자체는 이제‘무의미’, 사업에 적용하는 것이 중요

이제는“빅데이터”란 말 자체는 무의미한 시대가 됐다. 데이 터를 사업에 적용하는 것이 중요하지 기술, 툴 셋, 분석방법 등 은 그저 목적을 이루기 위한 수단에 불과하다. 데이터를 일상 적으로 사용하는 것 또한 더 이상 자랑거리가 아니며 새로운 일도 아니다. 다만 누가 그 일을 보다 효율적으로 해 수익을 창 출하느냐가 관건인 것이다.

빅데이터의 유행이 많은 오해도 낳았지만, 결과적으로 볼 때 가장 바람직한 변화중 하나는 데이터나 분석을 업으로 삼지 않 는 사람들도 의사결정에 정보를 효과적으로 사용해야 한다는 인식을 갖게 됐다는 점이다.

치열한 경쟁 속에서 기업들이 살아남기 위해서 데이터의 사 용은 더욱 더 필요하게 될 것이며, 기술의 발전은 그러한 적용 을 더 수월하게 만들 것이 분명하다. 데이터나 분석에 종사하 는 사람들이 이러한 변화를 바람직한 방향으로 주도하기 위해 어떻게 해야할까를 고민해야 하는 이유이다.

얼마 전 필자는 뉴욕에 있는 어느 창업회사가 데이터 분석가 가 될만한 자질이 있는 후보생을 선별하는 과정에 참여해 인터 뷰를 도와준 적이 있다. 그때 한 응시생이 한 말이 아직도 기억 이 난다.

그 젊은이는 21세기 이전에는 데이터 마이닝(Data Mining) 이라는 것 자체가 없었다고 주장하는 것이었다. 그는 필자와 같은‘어른’이 데이터로 수익을 창출하는 직업을 오랫동안 가 지고 있었다는 사실에 진심으로 놀라와 했으며, 그것은 당시 면접에 참여한 사람들에게 아주 웃겼던 일화로 남아있다. 그 젊은이의 주장은 각종 컴퓨터 그래픽 기술들이 영화에 적 용되기 이전에는 영화산업 자체가 존재하지 않았다고 말하는 것과 크게 다르지 않기 때문이다. 물론 많은 젊은이들에게는 만사가 네트워크에 연결되어 있지 않았던 지난 과거가 선사시 대만큼 옛날 얘기로 들리겠지만 말이다.

데이터는 컴퓨터 출현 이전에도 존재

하지만 아직 할아버지 소리를 듣기엔 좀 억울할 수도 있는 많은 어른들은 메인프레임 컴퓨터(mainframe computer)의 최초 상업적 적용, PC혁명, 인터넷의 팽창, 무선기기(wireless) 들의 점령, 그리고 정보의 클라우드(cloud)로의 이동을 생생하 게 기억하고 있다.

특히 이러한 혁명적 변화를 비교적 단기간 내에 겪어본 사람 들의 입장에서 보자면 지금의 클라우드를 통한 중앙집중적 정 보의 수집과 분배는 레티나 레벨의 디스플레이(retina display)가 단순한 초록색과 검정색의 모니터 스크린을 대체하 고 여러 기기들을 연결해주던 전선들이 대부분 사라지고 있다 는 점을 빼고 나면 과거의 메인프레임의 모델과 크게 다르지 않다고 말할 수도 있다.

데이터는 컴퓨터나 저장기능의 발명이전에도 분명히 존재했 다. 다만 정보는 디지털 형태가 아니라 두루마리나 손으로 엮인 책들 속에 존재했으며 모든 사람들에게 접근이 허락되지 않았 던 도서관이라는 커다란 건물에 저장되어 있었을 뿐이다.

그런 시절에는 데이터 마이닝(data mining)이 수십 년이 걸 렸을 수도 있었으며, 때로는 알렉산드리아나 천축국, 혹은 북 경으로의 여행도 필요했을 것이다. 게다가 데이터 마이닝(정보 를 통찰력으로 전환시켜 의사결정과정에 적용하는 활동)은 인 류가 정보를 디지털화 하기 시작하고도 처음 몇 십 년 동안은 크게 빛을 보지 못했다.

처음으로 통계적 분석을 타깃 마케팅에 접목시킨 사람들은 펀치카드밖에 읽을 수 없는 구식 컴퓨터로 일을 해야 했다. 그 때가 인류가 최초로 달나라로 간다고 흥분하던 때이니 빅데이 터 시대에 비하면 그야말로 호랑이 담배 피던 시절 얘기라고 할 수도 있겠다. 하지만 당시 대부분 출판업계에 몸담고 있었던 그 선구자적인 수학자들은 분명히 현대의 데이터 사이언티스트들 을 위해 수학적 도로를 깔아주었다고 볼 수 있다. 지금 보다 백만 배 정도 느린 그러나 가격은 지금과 비슷했 던 컴퓨터로 그들은 크리스마스 캠페인을 위한 타깃팅 모델을 만들었다. 테스트를 제대로 할 시간도 없었으니 문자 그대로 단 번에 그 일을 수행했어야 했다.

도구는 변했어도 수학은 변하지 않아

지금처럼 그 시절에도 크리스마스는 일년에 한번씩 반드시 돌아왔고, 그런 골동품 같은 컴퓨터로도 통계적 모델을 이용한 타깃 마케팅은 좋은 결과를 만들었다. 그런 노력은 마치 지구로 귀환하는 우주선의 대기권 진입 각도를 손으로 계산하는 것에 비유할 수 있는데, 분명한 점은 도구는 변했지만 수학은 변하지 않는다는 것이다.

다시 현대로 돌아와 보면 지금 우리는 문자발명이래로 집적 된 모든 정보의 양보다 수백만 배 많은 데이터를 매일 실시간으 로 수집하고 있다. 모든 사람의 행동은 물론이고 기계의 활동까 지도 전부 기록되고 있으니 말이다. 단지 몇 번의 클릭으로 통 계적 모델을 만드는 도구가 일상화 되고 있으며, 훗날에는 단지 컴퓨터에게 사업 목적을 명시하는 것 만으로도 분석임무를 수 행할 수도 있게 될 것이다. 통계전문가나 데이터 사이언티스트 라는 직책의 많은 부분도 곧 기계에 대체될 것이 자명하다.

그렇다면 데이터의 적용이 수십 년간 성공적으로 이루어져 왔다는 미국에서 조차 왜 많은 마케팅 메시지들이 대부분의 소 비자들에 의해 철저히 무시되고 있는 것일가? 마케팅의 성공지 표들은 왜 컴퓨터 처리속도에 비례해 향상되지 않은 것인가? 많은 소비자들이 너무나 많은 광고에 시달리고 있는 것도 사실 이지만, 일반적인 1대1 마케팅에서의 반응률 (click-through 같은 피상적 지표가 아닌 실제 구매율)은 왜 아직도 1% 이하를 맴돌고 있는 것일까? 그것은 바로 99% 이상의 노력이 헛수고 라는 말이 아닌가? 데이터 마이닝의 선구자들은 주판을 튀기는 것보다 약간 더 빠른 컴퓨터로도 그것 보다는 더 훌륭한 결과를 얻었었다.

데이터 접근방식에 근본적인 오류?

그렇게 보면 컴퓨터의 처리속도와 저장용량의 발전이 마케 팅에 직접적인 도움을 주지 않은 것이 분명하다라고 말할 수도 있겠다. 어쩌면 우리의 데이터에 대한 접근방식에 근본적인 오 류가 있을지도 모른다. 혹은 툴 셋의 사용자들이 제대로 된 도 구를 가지고도 일을 망치고 있을 수도 있겠다. 이 점을 더 깊이 파고 들어가보도록 하자.

십여 년 전에 톰 크루즈(Tom Cruise)가 주연하고 스티븐 스 필버그(Steven Spielberg)가 감독한‘Minority Report(마이너 리티 리포트)’ 는 아니었지만, 그 영화 출시 이후 필자를 포함한 많은 데이터 전문가들이 이 영화의 일부를‘개인적으로 최적화된 마케팅 (personalized marketing)’의 예로 언급해왔다.

그 특정 장면은 마케터와 데이터 전문가들이 밟아야 할 수순 들을 일반인들도 쉽게 이해할 수 있도록 표현했기에 여기서 한 번 더 예로 들겠다. 그 영화에서 존 앤더튼(John Anderton)이 란 수사관 역할을 한 톰 크루즈(Tom Cruise)는 악당들에게 쫓 기면서 사방에 설치된 안구인식기(retina scanner)를 혼란시 키기 위해 다른 사람의 눈을 이식 받는다. 그러고 나서 그는 한 백화점에 들어가는데, 거기서 개인적 마케팅을 위해 프로그램 된 컴퓨터의 목소리와 마주치게 된다. 그 장면이 잘 기억이 안 나거나 혹은 이 영화를 볼 기회가 없었던 독자들 위해 그 대사 와 지문을 그대로 옮겨보기로 한다.

As Anderton walks in the door and gets his new eyes scanned, we hear a voice say:
(앤더튼이 문을 열고 들어가자 그의 새로 이식 받은 눈이 스캔되고 우리는 어느 목소리를 듣는다.)

STORE VOICE: “Hello, Mr. Yakamoto! Welcome back to the Gap.”
(스토어 보이스: “안녕하세요, 야카모토씨! Gap을 다시 방문해 주셔 서 반갑습니다.”)

Anderton stops cold as a holographic image of a huge Asian man now appears, standing in front of him.
(앤더튼은 덩치 큰 동양인의 홀로그래픽 영상이 그의 앞에 나타나자 순간 걸음을 멈춘다.)

STORE VOICE: “How did those assorted tank tops work out for you?”
(스토어 보이스:“ 지난 번에 구매하신 여러 가지 탱크 탑들을 잘 입고 계시나요?”)

Anderton stops and stares at the thug-like previous owner of his eyes who is now shown wearing a sweater that changes from color to color.
(앤터튼은 멈춰 서서 깡패같이 생긴 그의 새 눈의 전 임자가 입고 있 는 스웨터가 여러 가지 색깔로 바뀌는 것을 응시한다.)

STORE VOICE: “Come on in and see how good you look in one of our new winter sweaters.”
(스토어 보이스: 들어오셔서 새로 출시된 겨울 스웨터가 당신에게 얼 마나 잘 어울리는지 보세요.)

여기서 데이터 프라이버시에 대한 걱정은 잠시 접어두고 ‘( 넘어서는안될선을절대로넘지말라’라는주제를다룬연 재13회:‘ 할수있는일이라고다해서는안된다’참조), 이장 면에서 일어난 일들을 조목조목 분석해보도록 하겠다. 우선 컴퓨터(이 영화에서는 마케팅과 영업을 목적으로 프로 그램 된)가 타깃이 될 개인의 신원을 확인했다. 그 확인절차는 개인화(personalization)의 가장 중요한 스텝 중 하나다. 하지 만 많은 데이터를 쌓아 놓고도 그런 시도조차 하지 않는 회사 들이 미국에서도 허다하다.

덧붙이자면 이메일 주소나 쿠키는 개인을 대표하지 않는다. 여기서 말하는 대상 확인이란 여러 데이터베이스에 흩어져 있 는 정보를 개인별로(굳이 그 개인의 신원을 밝히지 않더라도) 재 구성할 수 있게 하는 연결고리를 말한다. 그런 노력 없이 단지 이런 저런 클릭들의 수집이 아닌 요즘 흔히 말하는 개인별 소비 자 여정(customer journey)은 제대로 이루어 질 수가 없다.

두 번째 스텝으로 컴퓨터는 그 상대할 대상의 쇼핑과 거래 등 과거 행적에 관한 정보를 실시간으로 검색해 불러왔다. 그 러한 빠른 검색과 적용은 수집되고 있는 데이터가 개인화를 주 목적으로 카테고리화 되어있고 태그가 늘 제대로 적용되고 있 다는 뜻이다. 개인화, 즉 personalization을 위한 정보의 분류 는 그것이 사람을 상대하는 것이기 때문에 재고관리 등을 위한 활동과다를수밖에없다(연재8회:‘ 자유형(Freeform) 데이 터는 결코 공짜가 아니다’참조). 그리고 그러한 정보의 정리가 제대로 되어있지 않으면 막상 대상이 그의 관심을 다른 곳으로 돌리기 전에 반응하기가 어렵게 된다.

다음 스텝으로 컴퓨터는 상품추천을 위한 알고리듬 (algorithm)을 그 대상의 과거의 행동, 거래 및 환경 데이터를 적용해 실시간으로 실행했다. 그리고 이 1대1 마케팅의 마지막 단계는 타깃이 될 대상에게 적시에 적합한 채널을 통해(이 영 화의 경우 소비자의 눈 앞으로) 메시지를 전달해 주는 것이다. 이 모든 과정이 이 공상과학영화에서는 단 몇 초 만에 이루 어졌다. 그런데 그것이 인상적인 작업인가 하면 필자의 의견은 “글쎄, 별로”이다.

과거와 비교해 바뀐 것 없는 데이터 마이닝 기술

미래의 컴퓨터가 여태까지의 진화과정을 돌이켜 볼 때 얼마 나 더 빠르고 우수하게 발전할 지는 상상하기가 어렵지 않다. 그렇다면 여기에 예시된 작업들을 컴퓨터가 단 몇 초안에 수행 할 수 있다는 것도 놀라운 일이 아니다.

분명한 것은 그 스텝들이 데이터 마이닝 기술이 골동품 같은 컴퓨터로 처음 타깃 마케팅에 이용된 시절부터 바뀐 게 없다는 점이다. 다만 그 시절에는 이런 작업들이 6개월 이상 걸릴 수도 있었다는 것이 다를 뿐이다.

게다가 겨울이 돌아오니 여러 가지 스웨터를 보여준다는 것 자체가 별로 감동할 만한 일도 아니다. 정말로 똑똑한 기계라 면 대상이 선호할 것 같은 색깔까지도 예측해 몇 가지 옵션을 보여줘야 하는 것 아닌가. 아무튼 여기서의 요점은 아무리 정 보 분석과 처리능력이 발전 하더라도 기본적인 스텝을 건너 뛰 어서는 안 된다는 것이다. 하지만 많은 분석가들과 개발자들은 모든 마케터들의 꿈을 단숨에 실현시켜줄 마법의 도구를 쫓고 있는 듯 하다. 현실은 대부분의 툴 셋이 한두 가지의 주 목적으 로 개발될 수밖에 없는데 말이다.

기본적인 스탭을 무시해서는 안돼

현재 많은 사업체들이 그러는 것처럼 분석 전의 데이터 가공 과정을 건너뛴다면, 그 어떤 마법의 분석도구가 데이터의 정리 와 카테고리화도 알아서 해줄 것 같은가?

만약 그런 공정이 자동화가 된다해도, 그것은 통계적 분석과 는 또 다른 종류의 머신러닝과 트레이닝 과정을 필요로 할 것 이고, 최초의 셋팅도 목적을 분명히 숙지하고 있는(통계 전문 가가 아닐 수도 있는) 사람에 의해 이루어져야 할 것이다.

그러한 트레이닝 과정이 생략되면 아무리 똑똑한 기계라도 수백만 테라 바이트의 가공되지 않은 데이터를 맞닥뜨렸을 때 도대체 어디서부터 어떻게 카테고리화를 시작해야 할 지 모를 것이다.

소속된 단체나 기업에 상관없이 많은 개발자들은 선대에 만 들어진 훈련규칙에 대해 알지 못하거나 또는 알고도 그것을 무 시하는 경향이 있다. 미국의 많은 젊은 창업자들은 마치 그들 이 데이터 마이닝을 새로 발명하고 있는 듯이 행동한다. 많은 이들은 데이터의 용량, 종류, 품질, 가공 정도에 상관없 이, 또 데이터를 공정에 따라 줄여가는 과정도 건너뛰고, 그냥 닥치는 대로 데이터를 컴퓨터에 쑤셔 넣으면 원하는 대답이 나 오는 슈퍼 컴퓨터를 만들려고 하고 있다.

언제가 될지 모르겠지만 미래에 그런 기계가 실재로 존재하 는 날이 올지도 모르고, 필자도 그런 돌파구를 만드는 개발자 를 성심껏 응원하겠다. 하지만 생각을 대신 해주는 기계도 이 글에 나열된 선대의 분석가들이 깔아놓은 스텝들을 따라야 할 것이라고 감히 말하고 싶다.

현대의 데이터 마이닝은 지금에 비해 훨씬 처리속도가 느린 컴퓨터를 이용하며 시작된 것이고, 그 귀한 컴퓨팅 시간을 조 금이라도 아끼기 위해 선대의 개발자들은 그 하나하나의 스텝 들을 더 심각하게 다뤘었다. 그리고 그 개개의 과정들은 분BR>데이터의 수집, 대규모 저장, 빠른 검색, 태깅과 카테고리화, 개인 확인, 데이터의 형질변환(transformation), 정보 집적, 분 석을 위한 변수 창출, 통계적 모델링, 모델 적용(scoring), 메시 지의 개인화, 그리고 그 메시지를 적합한 상대에게 적시에 적 합한 채널로 보내주는 일, 이 모든 과정들이 서로 다른 모듈을 통해 이음새가 보이지 않게 돌아가야 하는 것이다. 그것은 마 치 각기 다른 팀이 만든 우주선들이 궤도상에서 만나 완벽하게 도킹하는 것과 비슷하다고 할 수 있다.

유일한 불변변수는‘인간과 수학’

가까운 미래에 여기에 열거된 모든 과정들이 기계에 의해 사 람들이 하는 것 보다 더 효과적으로 수행될 것이다. 통계적 모 델 같은 스텝은 다른 것에 비해 더 빨리 자동화 될 수도 있다. 여기서 잊지 말아야 할 점은 인간과 수학만이 데이터 마이닝과 decision science의 진화과정에서의 유일한 불변변수라는 것 이다. 그것은 컴퓨팅 시간이 아주 귀할 때도 그랬고, 정보처리 속도가 지금에 비해 훨씬 더 빨라져도 그럴 것이다.

그렇다면 데이터를 다루는 사람들은 어떻게 그런 미래와 어 울릴 수 있을 것인가? 필자가 생각하기에 그 대답은 복잡한 문 제를 논리적 단계로 나눌 수 있고 질문을 수학적으로 표현할 수 있는 능력이다. 기계가 아무리 발전해도 비 논리적인 질문 에는 답이 있을 수 없다. 게다가 그 대상이 마케터이건 소비자 이건 컴퓨터가 사람의 동기를 완전히 이해하려면 아직도 많은 세월이 더 지나야 할 것이다.

개발자는 인간적인 요소를 제대로 이해해야

그래서 마케팅에서의 소비자 여정(customer journey)은 인 간과 컴퓨터 세계의 장점만을 살린, 똑똑한 기계의 도움을 받 는 논리적 인간에 의해 이루어질 수 밖에 없다고 생각되는 것 이다. 단계적 절차를 무시하지 않고, 맹목적으로 기술에만 의 존하지 않으며, 인간적인 요소를 제대로 이해하는 개발자가 우 리를 데이터 마이닝과 분석의 다음 진화단계로 이끌 것이라고 필자는 믿는다.

이 연재를 마치며 그간 장문의 글을 읽어주신 여러 독자들께 감사 드리며, 이 시리즈의 요점을 단 한마디로 줄이자면 데이 터를 효과적으로 사용하려면 반드시 정보사업목적부터 분명히 하고, 주어진 데이터를 분석기술을 통해 원하는 대답의 형태로 계속 줄여나가는데 중점을 두라는 말을 남기고 싶다. 빅데이터 도 작아져야 사람들이 이해하고 쓸 수 있는 법이다.

출처 : 컴퓨터월드 8월호

제공 : 데이터 전문가 지식포털 DBguide.net