크레마클럽

 예전에 평소 이용하는 대형마트에서 한달에 한번 쿠폰북이 왔었다. 자주 구입하던 물건 쿠폰들이 있어서 당시에는 맞춤 쿠폰이라 좋아했던 기억이 난다. 생각해 보니 제4차 산업혁명에서 중요한 화두 중 하나인 빅데이터를 미리 경험한 것이다. 요즘은 유튜브에서 자주 보는 영상 추천 알림 메시지가 오고 인터넷 쇼핑몰에서도 자주 구입했거나 검색했던 연관 상품들을 안내를 해 준다. 이미 우리 일상 생활에 빅데이터가 깊숙히 들어와 있다는 이야기다.

 ＜세상을 읽는 새로운 언어, 빅데이터＞는 21세기 북스의 서가명당(서울대 가지 않아도 들을 수 있는 명강) 시리즈 중 6번째로 서울대학교 산업공학과 조성준 교수의 빅데이터 강의를 엮은 책이다. 책은 1부 미래를 여는 기술, 빅데이터란 무엇인가, 2부 더 나은 삶을 위한 빅데이터 사용법, 3부 빅데이터가 '가치'로 탄생하기까지, 4부 빅데이터, 거부할 수 없는 미래로 구성되어 있다.

 2016년 1월 스위스 다보스포럼에서 제4차 산업혁명이라는 용어가 사용된 이후 그 핵심인 인공지능, 사물 인터넷, 빅데이터 등 첨단 통신기술이 현재 경제, 사회 전반에서 혁신적인 변화를 나타나고 있다. 그 중 인공지능의 뇌라 할 수 있는 빅데이터의 중요성이 점차 커지고 있는데 과연 빅데이터란 무엇인가? 빅데이터의 특징은 우선 "데이터 양(volume)이 많고 생성속도가 빠르며(velocity), 데이터가 다양하다(variety)"이다. 그래서 빅데이터는 이들 해당 영어 단어들의 첫 글자를 따서 'VVV', 즉 3V라고도 한다. "데이터가 커도 괜찮아, 빨리 생성돼도 괜찮아, 다양한 데이터도 괜찮아, 난 뭐든지 할 수 있어!"라고 IT 전문가들이 외치는 것만 봐도 빅데이터의 무궁무진한 미래를 알 수 있다. 

  위 그림은 비즈니스적 관점에서 데이터의 가치를 바라보는 것을 나타낸 그림이라고 한다. 데이터 사이언티스트는 분석가를 뜻하고, 의사결정자는 현업에 있는 실무 담당자를 뜻한다. 이 그림을 통해 말하고자 하는 것은 빅데이터는 분석이라는 과정을 통해서 인사이트로 바뀌고 인사이트는 액션을 통해서 가치를 창출함을 말한다. 요리로 이야기하자면, 식재료(빅데이터)를 요리사(데이터 사이언티스트)의 요리 과정을 거쳐 요리(인사이트)가 되고 고객(의사결정자)은 그 요리를 먹고 행복이라는 가치를 얻는다는 것이다.

* 인사이트: 사전적 의미로는 '통찰력'이라고 풀이되지만, 빅데이터를 통해 창출되는 지식을 의미.

 빅데이터는 우리 생활에 얼마나 깊숙이 들어와 있을까? '호텔스닷컴'에서 기존 숙박객들의 이용 후기를 보고 최종 호텔을 선정하고, 유튜브에서는 내 취향과 비슷한, 내가 많이 본 영상들의 공통점을 파악하여 수십 개의 유사한 콘텐츠 영상을 추천해 주며, 자율주행차는 차에 부착된 카메라나 레이더 등의 센서가 운행 중 발생한 모든 상황을 인지해서 사고를 예방한다. 네비게이션은 우리 앞에서 달리는 차들의 위치를 실시간으로 받은 후, 실시간으로 교통 상황을 파악해서 빠른 길을 안내한다. 아울러 와인의 품질을 결정하는 것은 그동안 와인 평론가들의 몫이었지만 날씨에 대한 정보를 데이터 형태로 확보하여 빅데이터로 와인 품질을 사람보다 먼저 예측할 수 있게 되는 등 여러 분야에서 빅데이터가 힘을 발휘하고 있다. 특히 무엇보다도 빅테이터는 매 순간 우리가 들고 있는 스마트폰을 통해 무한 확장 중이다. 

 2016년 3월. 우리는 알파고의 화려한 등장을 TV를 통해 실감하게 된다. 평소 바둑은 바둑알 치기나 오목만 둘 줄 알았던 내가 그저 세계 최고의 바둑기사 중 한 명이었던 이세돌 9단이 알파고와의 바둑 대결에서 당연히 승리할 거라는 기대를 걸며 업무 중에도 휴대폰으로 승패 여부를 확인할 정도였다. 결과는 4승 1패로 알파고의 완승. 그때 인공지능과 빅데이터의 위력을 제대로 인식하는 계기가 되었다.

 인공지능을 구현하려면 반드시 확보되어야 하는 것이 빅데이터다. 빅데이터가 재료라면, 인공지능은 조리법이라는 이야기다. 그럼 빅데이터를 어떻게 활용해야 가치있게 활용할 수 있을까?

 저자는 다섯 가지 분석 태스크인 시각화, 연관분석, 클러스팅(군집화), 예측, 이상탐지가 빅데이터의 '가치' 탄생에 중요한 분석 방법이라고 설명하고 있다. 즉 그림을 그려서 표현하고 연관성이 있는 것들을 찾고, 비슷한 것은 비슷한 것끼리 묶고, 예측(의사결정나무를 예를 든다)을 하며 이상탐지, 즉 비정상을 탐지한다는 것이다. 

 책에서는 인공지능을 구현하는 두 가지 방법인 기호주의와 연결주의에 대해서도 설명해 주고 있다. 기호주의가 기호의 조합인 명제가 핵심인 방식(A는 B다)이라면 연결주의는 인간 뇌를 본떠서 인공지능을 학습시키고 뇌 세포들 간의 연결을 변화시키자는 방식인데, 연결주의 방식은 기호주의 방식과는 다르게 명제에서 출발하지 않고 데이터에서 출발을 한다. 즉 데이터 안에 담긴 지식을 습득하는 것이다. 바로 데이터를 반복적으로 보는 과정을 통해서 명제를 만들어낸다. 두 가지 방법을 읽어보면 현재 인공지능을 구현하는 방식이 어떤 방식인 지 바로 알게 된다. 바로 귀납적 추론인 연결주의 방식으로 인공지능을 구현하고 있다.

 마지막장에서는 빅데이터의 가치를 만들기 위해 구체적으로 누가 어떤 역할을 수행해야 하고 어떤 순서로 일을 해야 하는지에 대해서 설명해 주고 있다. 4차 산업혁명의 중요한 재료인 빅데이터 가치를 만드는 과정은 기획, 분석, 확인, 실행의 총 4단계로 이루어진다고 한다. 기획은 가치 → 인사이트 → 데이터 순으로 계획을 만드는 단계, 분석은 데이터로 인사이트를 만드는 단계, 확인은 인사이트의 의미를 검증하는 단계, 끝으로 실행은 인사이트를 비즈니스 가치로 만드는 단계다. 실행이 끝나면 다시 새로운 기획이 자연스럽게 떠오르게 됨으로써 4단계는 반복이 된다. 여기에서 2단계 분석은 데이터 사이언티스트(분석가)가 수행하지만 의사결정자들이 1단계인 그림을 그리는 '기획'을 하고, 3단계인 도출된 인사이트 확인, 4단계인 인사이트에 대한 실행을 수행하여 가치를 창출한다. 즉, 의사결정자가 가치 창출에 중요한 역할을 한다는 것이다. 여기서 의사결정자는 최고경영자 뿐 아니라 현업에서 결정을 할 수 있는 사람들을 모두 말한다.(신입사원도 포함될 수 있다.)

 전장에서 아무리 많은 군사가 있다고 해도 훌륭한 장수가 없다면 전쟁에서 패배한다는 것을 우리는 전쟁사에서 수없이 지켜봤다. 삼국지에서 조조에 비해 많은 군사를 거느리고 있었으나 관도전투에서 패했던 원소나 임진왜란 때 이순신 장군이 연전연승 하던 수군 병력을 그대로 가지고도 전멸했던 원균 등의 사례를 보면 장수가 전쟁의 승패를 좌우한다는 것을 알 수가 있다. 데이터 사이언티스트(분석가)가 빅데이터를 아무리 잘 분석한다고 해도 의사결정자들이 잘못된 기획과 확인, 실행을 한다면 아무 소용이 없다는 이야기다. 그래서 저자는 의사결정자들이 최소한의 과정을 공부하고 배워야 한다고 강조한다. 분석가 수준의 심도 있는 교육을 받으라는 이야기가 아니라 최소한 자기가 이탈리안 레스토랑에서 원하는 음식을 주문할 수 있는 수준의 교육을 받으면 된다는 것이다. 아울러 데이터 사이언티스트(분석가)는 외부에서 임대를 하거나, 외부 고용, 자체 인력 교육을 통해 구해야 한다고 설명하고 있다.

[가치 창출의 4단계]

 저자는 끝으로 사회 혁신을 위한 공공데이터 활용에 대한 희망과 함께 제도적 마련을 위한 정부나 국회 등의 정치적 리더십 역할을 강조하고 있고, 나의 데이터는 나의 것(주인의식)이라는 생각으로 내가 만든 데이터를 어떻게 활용할 지 판단하는 힘을 키우라며 끝을 맺고 있다.

  1992년 IBM에서 '사이먼'이라는 스마트폰을 개발한 이후 다양한 시도 끝에 드디어 2007년 애플의 '아이폰' 개발을 기점으로한 스마트폰의 대중화로 사람들이 남긴 데이터 정보들이 급격히 늘어나게 되면서 기술 발전과 더불어 빅데이터는 미래사회의 핵심으로 자리잡게 되었다.

 ＜세상을 읽는 새로운 언어, 빅데이터＞는 빅데이터에 대한 정의에서부터 사용법, 빅데이터의 최종 목표인 '가치 탄생'을 위한 분석 방법과 미래에 대한 제안 등 조성준 교수의 강연을 잘 정리한 책으로 이 책 한 권이면 미래사회의 핵심기술인 빅데이터를 이해하기에 충분하다. 책에는 빅데이터와 관련된 생소한 용어들이 많았기에 책 앞의 주요키워드를 중심으로 몇 번을 되돌아보며 읽고 또 읽었는지 모르겠다. 비록 읽기뿐 아니라 내용 정리에도 어려움이 있었지만 이 책을 읽고 나서 충만함이라는 소중한 경험을 하게 되었다.

 리뷰어클럽 서평단 자격으로 21세기북스에서 제공받아 작성한 리뷰입니다.

세상을 읽는 새로운 언어, 빅데이터

조성준

21세기북스/2019.8.28.

바둑 천재 이세돌이 인공지능과의 경기에 지면서, 4차 산업혁명이 인공지능으로부터 시작되고 있음을 모르는 사람이 없게 되었다. 그러나 막상 인공지능에 대해 말해보라면 선뜻 답하기 어렵다. 이런 상황에서 ＜세상을 읽는 새로운 언어, 빅데이터＞는 4차 산업혁명의 시기에 우리의 현실을 바르게 이해하고 내일을 준비하기 위해 무엇을 해야 할지를 알려주고 있다. 저자 조성준 교수는 서울대학교 산업공업학과졸업하고 동대학원 석사를 받고 메릴랜드대학교에서 박사학위를 받았다. 현재 서울대학교 데이터마이닝센터장과 한국데이터마이닝학회장을 맡고 있다. 그는 “빅데이터는 인공지능 시대를 움직이는 새로운 자원이자 화폐다.”라고 말한다. 그러기 때문에 빅데이터에 대한 이해와 그것을 활용할 연구하여 적용하는 것이 필요하다고 강조한다.

＜세상을 읽는 새로운 언어, 빅 데이터＞에서는 빅데이터가 무엇인지, 어디에서 생성되고 어떻게 보관되는지, 그리고 빅데이터를 우리는 어떠한 관점에서 바라보아야 하는지에 대한 기본적인 지식을 설명 한다. 빅데이터와 인공지능의 관계, 즉 빅데이터가 인공지능 머신러닝의 재료이고, 인공지능은 빅데이터를 의사결정에 절대적으로 필요한 인사이트로 변환해주는 도구라는 사실을 설명한다. 또한 온라인상의 소비자 목소리를 통해 고객의 욕망과 취향을 이해하고, 기업과 국가에 다가올 각종 리스크를 사전에 탐지하며, 세계 경제의 방향성을 모니터링하는 빅데이터의 능력을 감지할 수 있게 설명한다. 이제 우리는 새로운 관점을 가져야 한다. 양, 속도, 다양성의 관점이 아닌 비즈니스적인 관점에서 빅데이터를 볼 필요가 있다. “기업에서는 빅데이터로 어떻게 새로운 사업을 만들고, 고객과 소통하고, 매출을 늘리고, 비용을 줄이며, 직원들을 적재적소에 배치하고, 리스크를 최소화할지 깊이 고민해야 한다. 그리고 공공기관은 어떻게 국민들의 마음을 읽고, 비용 대비 효과가 높은 고효율 정책을 시행할 수 있을지 생각해야 한다.(p.42)”고 말한다.

“모든 다른 신기술이 그렇듯이 빅데이터와 인공지능은 우리에게 엄청난 생산성 향상을 가져다줄 것이다. 이러한 득이 있는 만큼 얼마간의 실도 존재한다. 결국 이러한 실을 어떻게 하면 최소화 할 수 있는지는 정부의 고민이 되어야 한다.(p.155)” 빅데이터 분석의 최종 목표는 인사이트가 아니다. 최종 목표는 가치 만들기다. 반드시 가치를 먼저 생각하고, 그 가치를 성취하기 위해 어떤 인사이트를 뽑아야 하는지, 그 인사이트는 어떤 재료를 필요로 하는지를 역으로 생각해야 한다. 이 과정을 기획이라고 하고, 기획이 빅데이터 분석 이전에 선행되어야 한다. 빅데이터 가치를 만드는 과정은 기획, 분석, 확인, 실행의 총 4단계로 이루어진다. 기획은 가치→인사이트→데이터 순으로 계획을 만드는 단계, 분석은 데이터로 인사이트를 만드는 단계, 확인은 인사이트의 의미를 검증하는 단계, 끝으로 실행은 인사이트를 비즈니스 가치로 만드는 단계다. 실행이 끝나면 다시 새로운 기획이 자연스럽게 떠오르게 됨으로써 4단계는 반복된다.

“성공적인 기획의 3요소는 첫째 임팩트, 둘째 데이터, 셋째 분석이다. 따라서 무엇보다 가장 먼저 비즈니스 임팩트가 큰 가치를 찾아야 한다. 가치를 만드는 비즈니스 실행과 그 실행의 근거가 되는 인사이트를 생각해야 한다.(p.227)” 기획하려면 모든 과정을 섭렵해야 한다. 첫째, 기본 이론 및 알고리즘을 공부하고, 둘째, 실제 데이터를 가지고 컴퓨터를 활용해서 애널리틱스 방법론을 적용함으로써 인사이트를 도출하는 실습을 수행하며, 셋째, 비즈니스 문제 상황 및 원하는 가치가 주어졌을 때 어떻게 분석 문제로 변환시키는지 도상 훈련을 한다. 그리고 넷째, 각자의 업무 분야에서 중요한 가치를 줄 수 있는 가치-인사이트-데이터로 이어지는 기획을 수행한 후, 마지막 단계에서는 자신이 수립한 기획에 따라 실제 데이터를 확보하여 애널리틱스 방법으로 인사이트까지 도출하는 것이다.

“우리나라 서비스 산업의 낙후성과 낮은 생산성의 원인 가운데 하나가 이렇듯 오래전에 만들어져 현실과 동떨어진 규제, 법률마다 다른 담당 정부 부처 및 국회 상임위원회라고 할 수 있다.(p.255)” 최근 대부분의 데이터가 온라인에서 생성되므로 새로 자라나는 온라인 서비스 산업의 싹을 원천 봉쇄하는 셈이다. 그리고 추가로 신용정보 보호법이 있어 핀테크의 발전을 가로막는 걸림돌로 작용하고 있다. 미국은 1970년대에 개인 정보에 대한 사회적 논의를 치열하게 거친 후에 기본적으로는 활용을 허용하되 대신 범죄에 악용되는 경우에만 처벌하는 것으로 정리했다. 우리나라는 범죄에 악용될 수 있는 가능성만 있어도 처벌하는 것과 커다란 차이가 있다. 이후 미국은 개인정보를 적극적으로 산업에 활용할 것을 권장하고 있다. 우리나라만 여전히 시대에 뒤처져 그 흐름을 놓칠 수는 없다. 보기 싫고 무서운 것일수록 두 눈 똑바로 뜨고 마주해야만 한다. 포식자를 보고 머리만 모래 속에 묻는 꿩처럼 되어서는 안 된다. 이를 위해서는 언론과 정치적 리더십의 역할이 매우 크다고 할 수 있다.

세계적인 글로벌 대기업들은 모두 데이터에 사활을 걸고 데이터를 확보하고자 한다. 먼저 2019년 1분기 기준 세계 시가총액 톱 10기업을 살펴보자. “1위는 아마존이고, 그 뒤로는 마이크로소프트, 알파벳, 애플, 버크셔헤서웨이, 페이스북, 텐센트, 알리바바, 존슨앤존슨, JP모건체이스 순이다. 이 가운데 1위부터 4위 그리고 6위부터 8위까지가 데이터 기업이다.(p.262)” 아마존은 수익이 거의 없는, 정확히 말해 ‘연구개발에 돈을 퍼부어 수익을 안 만드는’ 회사임에도 주가는 끝 모르게 오르고 있다. 쇼핑몰로서 고객들의 구매 데이터를 자동으로 확보할 수 있다는 이유로 높은 평가를 받는 것이다. 구글 입장에서는 전 세계인의 관심과 사진을 확보할 수 있기 때문이다. 페이스북, 그리고 페이스북이 최근에 인수한 인스타그램도 마찬가지다. 나의 일상이 고스란히 다 기록되는 것이다. 전국민의 문자 통화 내역을 전부 가지고 있는 카카오톡은 또 어떠한가? 모두가 빅데이터를 소유한 진정한 데이터 주인들이다.

“최근에는 코딩 없이 클릭과 드래그만으로 데이터를 분석할 수 있는 오픈소스 프로그램이 등장해서 최소한의 수학, 통계, 머신러닝만을 공부하고도 웬만한 분석을 할 수 있는 환경이 조성되었다.(p.274)” 이제는 정공과 관계없이 관심 있는 누구나 빅데이터 혁명에 능동적으로 참여할 수 있다. 게다가 빅데이터는 누구든지 확보 가능하다. 특히 데이터는 토지와 같은 한정된 자원이 아니다. 돈이 많든 적든, 힘이 세든 약하든 누구에게나 데이터를 가질 수 있는 가능성이 열려 있다. 지금의 이 기회를 잘 활용하면 누구도 데이터의 주인이 되지 못할 이유가 없다. 내가 꿈꾸는 세상을 만드는 기획, 바로 우리 자신이 할 수 있는 것이라는 저자의 주장처럼 미래를 준비하는 젊은이들에게 이 책이 필요하다 생각한다.

세상을 읽는 새로운 언어, 빅데이터

조성준

21세기북스/2019.8.28.

sanbaram

바둑 천재 이세돌이 인공지능과의 경기에 지면서, 4차 산업혁명이 인공지능으로부터 시작되고 있음을 모르는 사람이 없게 되었다. 그러나 막상 인공지능에 대해 말해보라면 선뜻 답하기 어렵다. 이런 상황에서 ＜세상을 읽는 새로운 언어, 빅데이터＞는 4차 산업혁명의 시기에 우리의 현실을 바르게 이해하고 내일을 준비하기 위해 무엇을 해야 할지를 알려주고 있다. 저자 조성준 교수는 서울대학교 산업공업학과졸업하고 동대학원 석사를 받고 메릴랜드대학교에서 박사학위를 받았다. 현재 서울대학교 데이터마이닝센터장과 한국데이터마이닝학회장을 맡고 있다. 그는 “빅데이터는 인공지능 시대를 움직이는 새로운 자원이자 화폐다.”라고 말한다. 그러기 때문에 빅데이터에 대한 이해와 그것을 활용할 연구하여 적용하는 것이 필요하다고 강조한다.

＜세상을 읽는 새로운 언어, 빅 데이터＞에서는 빅데이터가 무엇인지, 어디에서 생성되고 어떻게 보관되는지, 그리고 빅데이터를 우리는 어떠한 관점에서 바라보아야 하는지에 대한 기본적인 지식을 설명 한다. 빅데이터와 인공지능의 관계, 즉 빅데이터가 인공지능 머신러닝의 재료이고, 인공지능은 빅데이터를 의사결정에 절대적으로 필요한 인사이트로 변환해주는 도구라는 사실을 설명한다. 또한 온라인상의 소비자 목소리를 통해 고객의 욕망과 취향을 이해하고, 기업과 국가에 다가올 각종 리스크를 사전에 탐지하며, 세계 경제의 방향성을 모니터링하는 빅데이터의 능력을 감지할 수 있게 설명한다. 이제 우리는 새로운 관점을 가져야 한다. 양, 속도, 다양성의 관점이 아닌 비즈니스적인 관점에서 빅데이터를 볼 필요가 있다. “기업에서는 빅데이터로 어떻게 새로운 사업을 만들고, 고객과 소통하고, 매출을 늘리고, 비용을 줄이며, 직원들을 적재적소에 배치하고, 리스크를 최소화할지 깊이 고민해야 한다. 그리고 공공기관은 어떻게 국민들의 마음을 읽고, 비용 대비 효과가 높은 고효율 정책을 시행할 수 있을지 생각해야 한다.(p.42)”고 말한다.

“모든 다른 신기술이 그렇듯이 빅데이터와 인공지능은 우리에게 엄청난 생산성 향상을 가져다줄 것이다. 이러한 득이 있는 만큼 얼마간의 실도 존재한다. 결국 이러한 실을 어떻게 하면 최소화 할 수 있는지는 정부의 고민이 되어야 한다.(p.155)” 빅데이터 분석의 최종 목표는 인사이트가 아니다. 최종 목표는 가치 만들기다. 반드시 가치를 먼저 생각하고, 그 가치를 성취하기 위해 어떤 인사이트를 뽑아야 하는지, 그 인사이트는 어떤 재료를 필요로 하는지를 역으로 생각해야 한다. 이 과정을 기획이라고 하고, 기획이 빅데이터 분석 이전에 선행되어야 한다. 빅데이터 가치를 만드는 과정은 기획, 분석, 확인, 실행의 총 4단계로 이루어진다. 기획은 가치→인사이트→데이터 순으로 계획을 만드는 단계, 분석은 데이터로 인사이트를 만드는 단계, 확인은 인사이트의 의미를 검증하는 단계, 끝으로 실행은 인사이트를 비즈니스 가치로 만드는 단계다. 실행이 끝나면 다시 새로운 기획이 자연스럽게 떠오르게 됨으로써 4단계는 반복된다.

“성공적인 기획의 3요소는 첫째 임팩트, 둘째 데이터, 셋째 분석이다. 따라서 무엇보다 가장 먼저 비즈니스 임팩트가 큰 가치를 찾아야 한다. 가치를 만드는 비즈니스 실행과 그 실행의 근거가 되는 인사이트를 생각해야 한다.(p.227)” 기획하려면 모든 과정을 섭렵해야 한다. 첫째, 기본 이론 및 알고리즘을 공부하고, 둘째, 실제 데이터를 가지고 컴퓨터를 활용해서 애널리틱스 방법론을 적용함으로써 인사이트를 도출하는 실습을 수행하며, 셋째, 비즈니스 문제 상황 및 원하는 가치가 주어졌을 때 어떻게 분석 문제로 변환시키는지 도상 훈련을 한다. 그리고 넷째, 각자의 업무 분야에서 중요한 가치를 줄 수 있는 가치-인사이트-데이터로 이어지는 기획을 수행한 후, 마지막 단계에서는 자신이 수립한 기획에 따라 실제 데이터를 확보하여 애널리틱스 방법으로 인사이트까지 도출하는 것이다.

“우리나라 서비스 산업의 낙후성과 낮은 생산성의 원인 가운데 하나가 이렇듯 오래전에 만들어져 현실과 동떨어진 규제, 법률마다 다른 담당 정부 부처 및 국회 상임위원회라고 할 수 있다.(p.255)” 최근 대부분의 데이터가 온라인에서 생성되므로 새로 자라나는 온라인 서비스 산업의 싹을 원천 봉쇄하는 셈이다. 그리고 추가로 신용정보 보호법이 있어 핀테크의 발전을 가로막는 걸림돌로 작용하고 있다. 미국은 1970년대에 개인 정보에 대한 사회적 논의를 치열하게 거친 후에 기본적으로는 활용을 허용하되 대신 범죄에 악용되는 경우에만 처벌하는 것으로 정리했다. 우리나라는 범죄에 악용될 수 있는 가능성만 있어도 처벌하는 것과 커다란 차이가 있다. 이후 미국은 개인정보를 적극적으로 산업에 활용할 것을 권장하고 있다. 우리나라만 여전히 시대에 뒤처져 그 흐름을 놓칠 수는 없다. 보기 싫고 무서운 것일수록 두 눈 똑바로 뜨고 마주해야만 한다. 포식자를 보고 머리만 모래 속에 묻는 꿩처럼 되어서는 안 된다. 이를 위해서는 언론과 정치적 리더십의 역할이 매우 크다고 할 수 있다.

세계적인 글로벌 대기업들은 모두 데이터에 사활을 걸고 데이터를 확보하고자 한다. 먼저 2019년 1분기 기준 세계 시가총액 톱 10기업을 살펴보자. “1위는 아마존이고, 그 뒤로는 마이크로소프트, 알파벳, 애플, 버크셔헤서웨이, 페이스북, 텐센트, 알리바바, 존슨앤존슨, JP모건체이스 순이다. 이 가운데 1위부터 4위 그리고 6위부터 8위까지가 데이터 기업이다.(p.262)” 아마존은 수익이 거의 없는, 정확히 말해 ‘연구개발에 돈을 퍼부어 수익을 안 만드는’ 회사임에도 주가는 끝 모르게 오르고 있다. 쇼핑몰로서 고객들의 구매 데이터를 자동으로 확보할 수 있다는 이유로 높은 평가를 받는 것이다. 구글 입장에서는 전 세계인의 관심과 사진을 확보할 수 있기 때문이다. 페이스북, 그리고 페이스북이 최근에 인수한 인스타그램도 마찬가지다. 나의 일상이 고스란히 다 기록되는 것이다. 전국민의 문자 통화 내역을 전부 가지고 있는 카카오톡은 또 어떠한가? 모두가 빅데이터를 소유한 진정한 데이터 주인들이다.

“최근에는 코딩 없이 클릭과 드래그만으로 데이터를 분석할 수 있는 오픈소스 프로그램이 등장해서 최소한의 수학, 통계, 머신러닝만을 공부하고도 웬만한 분석을 할 수 있는 환경이 조성되었다.(p.274)” 이제는 정공과 관계없이 관심 있는 누구나 빅데이터 혁명에 능동적으로 참여할 수 있다. 게다가 빅데이터는 누구든지 확보 가능하다. 특히 데이터는 토지와 같은 한정된 자원이 아니다. 돈이 많든 적든, 힘이 세든 약하든 누구에게나 데이터를 가질 수 있는 가능성이 열려 있다. 지금의 이 기회를 잘 활용하면 누구도 데이터의 주인이 되지 못할 이유가 없다. 내가 꿈꾸는 세상을 만드는 기획, 바로 우리 자신이 할 수 있는 것이라는 저자의 주장처럼 미래를 준비하는 젊은이들에게 이 책이 필요하다 생각한다.

(리뷰어클럽의 서평단 자격으로 작성한 리뷰입니다.)

    명불허전 서가명강 시리즈라는 것. 더이상 설명이 필요없겠지요. 그럼 바로 리뷰로 들어가겠습니다. 참 앞으로 변화할 세상에 대해 현재의 모습과 미래 예측을 이 책에서 읽을 수 있습니다. 고객이자 생산자인 독자와 밀접한 관계가 있겠지요.

    사람과 사람 사이의 관계도 숫자 데이터가 된다. 우리에겐 가족과 직장 동료와 친구들이 있다. 그리고 친구들 중에는 아주 가까운 친구부터 약간 가까운 친구, 가끔 만나는 친구가 있다. 그런데 두 사람 사이가 얼마나 가까운지는 추상적이며 애매하다. 나의 머릿속에만 어렴풋이 존재하는 것이다. 그것이 지금은 숫자로 데이터화된다. 전화, 문자, 친구 맺기, 팔로잉 덕분이다. 이들 기기나 서비스를 통해 얼마나 자주 교류하는가에 따라 관계의 강도를 객관적으로 측정할 수 있다.

    만약 한 번도 만난 적 없고 이야기한 적도 없고 통화한 적도 없다면, 둘 사이의 연결은 없다. ...... 이제는 수 억 명의 정량화된 관계를 가지고 연구할 수 있게 되었다.

    인간관계가 넓은 소위 마당발들은 실제로 소셜미디어상에서 수 백, 수 천 명 정도의 사람과 소통한다는 것을 확인할 수 있다. 인플루언서란 소셜미디어상에서 팔로어 수가 많은 이들을 지칭하는데, 각자의 영향력도 숫자로 표시되므로 이들에 대한 순위도 매길 수 있다. 32쪽

    이제 우리는 새로운 관점을 가져야 한다. 양, 속도, 다양성의 관점이 아닌 비즈니스적인 관점에서 빅데이터를 볼 필요가 있다. 기업에서는 빅 데이터로 어떻게 새로운 사업을 만들고, 고객과 소통하고, 매출을 늘리고, 비용을 줄이며, 직원들을 적재적소에 배치하고, 리스크를 최소화할지 깊이 고민해야 한다. 그리고 공공기관은 어떻게 국민들의 마음을 읽고, 비용 대비 효과가 높은 고효율 정책을 시행할 수 있을지 생각해야 한다. 42쪽

    엔지니어나 마케터나 현장에서 10년, 20년 일하면 실전 경험까지 생겨 이를 통해 높은 수준의 인사이트를 갖게 된다. 게다가 이들 가운데에는 남에게 없는 특별한 감 inspiration을 가지고 있는 사람들이 있다. 이 또한 인사이트의 중요한 소스다. 종합해보면 데이터는 전문가들의 이론적 이해, 경험 및 노하우, 그리고 감에 끼어드는 셈이다.

    그전까지는 지금과 달리 고추가 없는 백김치만 존재했다. 우리 김치의 오랜 역사에서 빨갛게 매운 김치를 먹은 것은 정말 최근의 일인 것이다. 그러나 이제는 김치 하면 고추를 연상할 정도로 가장 중요한 요소가 되었다. 이 또한 데이터 기반의 인사이트라 할 수 있는 것이다.

    인사이트의 특징

1. 객관적이다. ... 최고 수준의 전문가들도 각자의 경험이 조금씩 달라서 주관적인 인사이트를 가지고 있다는 것이다. 기존 인사이트 소스에 데이터가 더해짐으로써 인사이트의 품질이 좋아질 수 있다.

2. 대상의 개인화가 가능하다. 센서를 통해 엔진 내부의 상태를 데이터화하거나 몸속의 상태를 데이터와할 수 있다면 개인화된 서비스가 가능해진다. 

3. 24시간 연속적 모니터링이 가능하다. 빅데이터로 만든 인사이트 기계는 365일 24시간 1초도 쉬거나 한눈팔지 않는다. 카드 결제의 내역 전수에 대해 사기 frud 거래 가능성 점수를 계산할 수 있는 것이다.

결국 데이터 기반의 인사이트는 기존 방법 기반의 인사이트에 비해 품질이 더 좋다는 것이다. 요리의 품질이 향상 되어서 그것을 먹은 고객의 만족도가 더 높아지는 것처럼 말이다. 48-51쪽

  아마존은 세계 최고 수준의 추천 엔진을 보유하고 있다. 전체 매출의 무려 40퍼센트가 추천에 의해서 발생한다. 실제로 추천을 받아본 사용자들이라면 얼마나 정확히 나의 필요에 맞추어져 있는지 공감할 것이다. 또한 특정 기계 장비가 고장 날 가능성이 얼마나 되는지도 축적된 과거 데이터를 가지고 예측할 수 있다. 58쪽

    빅데이터와 인공지능은 어떤 관계인가? 빅데이터를 분석하는 애널리틱스의 핵심 방법론이 인공지능이다. 즉 빅 데이터는 재료이고, 인공지능은 조리법이다. 데이터 입장에서는 인공지능이 자신을 인사이트로 만들어주는 행위이자 절차이고, 인공지능 입장에서 빅데이터는 학습의 재료다. 재료가 없으면 조리 자체가 안 되기 때문에 인공지능을 구현하려면 반드시 확보되어야 하는 것이 빅 데이터다.

61쪽   

소비자의 목소리는 소셜미디어에서 들을 것

_ 신제품이 나오자마자 곧바로 구매한 소비자들이 자발적으로 서로 간에 정보를 난누다. ... 아주 구체적인 사용 후기를 자신의 소셜미더어에 올린다. 해당 기업에는 알리지도 않는다.

    해당 기업은 누구보다 먼저 소비자의 목소리를 듣기 위해 온라인에 접속하고 사용자 평을 체계적으로 분석해야 한다. 83쪽

_ 우리는 이 회사가 생산하는 오븐에 맞는 레시피를 인터넷에 올릴 것을 제안했다. 전자오븐을 인터넷에 연결하면 내가 레시피 사이트에서 고른 치즈케이크의 조리 세팅이 내 오븐으로 자동적으로 옮겨지게 할 수 있다. 스마트한 가전이란 이런 것이라고 생각한다. 86쪽

소비자의 관심은 제품이 아닌 서비스 87쪽 

    이 부분은 인사이트가 크지 싶습니다. 앞으로 자동차나 에어컨 실외기 대신 이동 서비스나 온도 조절 서비스에 모바일로 가입할 것이라는 예측이 무게감이 있다고 판단하고 동의했습니다. 생각을 바꿔야 고객을 잡을 수 있지요.  

    전문가는 포도 수확 후 6개월 정도 지나 어느 정도 와인이 숙성되어야만 맛을 볼 수 있지만, 공식은 수확하는 그 해 가을에 모든 값이 나오므로 6개월 먼저 품질에 대해 예측할 수 있다. 97쪽

    재작업 제로는 데이터의 힘으로 99쪽

    이제 농산물 도매업을 하려한다면 기후예측 데이터를 사야한다는 것은 다들 알고 있는 사항입니다. 기후를 알면 배추에 투자할 지 양파에 투자할 지 답을 알 수 있게 되니까요. 이런 노력을 하지 않으면 돈을 벌 수 없는 세상이 이미 된 것이지요.  

    모두를 위한 전략은 없다.

    누구에게 플래티넘 카드를 팔 것인가?

현재 우수 고객 30만 명 가운데 플래티넘 회원은 대략 4800명 가까이 되었다. 1.6퍼센트로 매우 소수다. 의사결정나무를 적용했다. 특급호텔에서 11만 원 이상 사용하고 항공기를 주로 이용하는 회원 중에 플래티넘 카드 사용 비율이 무려 93.1 퍼센트를 차지했다. 카드 전체 플래티넘 회원 비율 1.8퍼센트에 비하면 매우 높은 수치다. 즉 해당 특징을 가진 회원들은 대부분 이미 플래티넘 회원들이라는 의미다. 플래티넘 회원처럼 카드를 쓰면서 정작 플래티넘 카드를 가지고 있지 않은 사람들, 이들이 바로 우리가 찾는 타깃 회원들이다. 113쪽

     이게 소비자는 물어볼 대상이 아니라 관찰의 대상이다. 묻지 말고 관찰해야 한다. 그들의 글과 행동을 관찰해야 한다. 그것이 훨씬 정확한 예측을 가져온다. 마케팅에서의 소비자 연구, 그 답은 소비자의 입이 아닌 행동에 있다. 120쪽

데이터가 아는 것은 인과관계 아닌 상관관계 123쪽

최근에는 음성을 텍스트로 변환해주는 STT 소프트웨어의 성능이 좋아져서 이를 활용할 수 있다. 예를 들어 민원이라는 단어를 사용했는지 금감원이라는 단어를 사용했는지는 매우 중요한 요소가 된다.

텍스트 정보 이외에도 음성 데이터 자체도 활용할 수 있다. 이런 다양한 요소들을 모두 데이터화해서 최종적인 판단 과정을 거쳐 민원 접수 가능 스코어를 계산하는 것이다. 133쪽

돈의 흐름을 추적하는 데이터 분석의 힘

기업을 알리는 회사의 자기 소개서

지금 알고 있는 것을 그때도 알았더라면

    2008년이 되면서 혼란, 압류 등의 단어가 본격적으로 대거 등장하고, 2009년이 되면 위기라는 단어가 증가하면서 리먼브라더스 증권사에 대한 이야기를 많이 하게 된다.

    2010년이 되면 개혁이라는 단어가 많이 등장하는데 당연히 금융 시스템을 개혁했다는 이야기다. 그와 동시에 회복이라는 단어가 등장하는데 금융 위기로 주가가 폭락했다가 다시 회복하는 것이 2011년이다. 144쪽

    새로운 인사이트를 적용해보는 일, 즉 실제 액션을 취한다는 것 자체가 바로 리스크라는 사실.

기업에서도 조금씩 데이터 인사이트의 적용 비율을 늘려가면 된다. 시범사업의 피드백을 보고 판단해서 조금씩 나아가는 게 장기적으로 기업의 이익을 가져올 수 있다. 152쪽

    아무튼 자동차를 포기하고 말 타고 다니는 것이 논의의 대상이 될 수 없는 것처럼, 빅데이터를 위할 것인가 말 것인가도 논의의 대상이 될 수 없다. 155쪽   

시각화, 우선 그림으로 그려야 한다.

세상의 모든 것을 명제로 만들다. 179쪽

암묵적 지식은 명제화가 불가능하다. ... 따라서 명제로 바꿀 수 없기에 기호주의 방식으로는 절대로 컴퓨터가 해낼 수 없다. 185쪽

인간지능을 따라 만든 인공지능 _우리의 일상을 지배하는 귀납적 추론

    연결주의 방식은 기호주의 방식과는 다르게 명제에서 출발하지 않고 데이터에서 출발한다. 데이터 안에 담긴 지식을 습득하는 것이다. 데이터를 반복적으로 보는 과정을 통해서 명제를 만들어 낸다. 

연결주의 ＜ 머신러닝 ＜ 인공지능 193쪽

데이터의 대부분은 이미지나 텍스트 _ 문서의 벡터화, 단어 주머니를 만들다

    따라서 어떻게 텍스트를 숫자로 바꿀 것인지가 모든 문서 분석의 첫 단계다. 일단 숫자로 바꾸기만 하면 지금까지 설명한 애너리틱스를 다 적용할 수 있다. 분류도 할 수 있고, 클러스터링도 할 수 잇으며, 연관분석 등 모든 것이 가능하다.

    문서를 어떻게 숫자로 바꿀 것인가? 가장 단순한 방법은 단어 주머니를 사용하는 것이다. 한 단어가 여러 번 등장하면 그 안에 등장 횟수만큼 복사된다. ...... 기술적으로 이야기하면 문서 간의 유사도를 계산하는 것이다. 이를 통해 유사한 문서들끼리의 클러스터링이 가능하다. 205쪽

     데이터의 대부분은 이미지나 텍스트이고 언어를 배우듯이 인공지능에게 귀납적으로 인식시켜야 하는 상황이라는 것을 명확히 이해했습니다. 암묵지 또한 데이터화해서 인공지능에게 학습시켜야 하고요. 물론 이것들이 시간이 걸리지만 차근차근 진행되고 있다는 것은 아마존의 10년 넘는 배송전쟁과 마켓컬리의 새벽배송 3년간의 사례를 통해 인지하고 있었지만 이 책을 통해 듣게 되는 것은 또 다르네요.

    인공지능과 빅 데이터 결코 먼 곳에 있지 않아요. 진실이네요! 

    빅데이터 분석의 최종 목표는 인사이트가 아니다. 최종 목표는 가치 만들기다. 미리 어떠한 가치를 위해 어떠한 인사이트가 필요한지 가르쳐주지 않고 그저 데이터만 주면서 뭐든지 분석해보라고 하는 것은, 셰프에게 무얼 먹고 싶은지 말하지 않고 그냥 내가 맛있게 먹을 수 있는 것을 만들어오라는 것과 똑같다. 실패확률 100퍼센트다.

    기획은 가치 인사이트 데이터 순으로 계획을 만드는 단게, 분석은 데이터로 인사이트를 만드는 단계, 확인은 인사이트의 의미를 검증하는 단계, 끝으로 인사이트를 비즈니스 가치로 만드는 단계다. 실행이 끝나면 다시 새로운 기획이 자연스럽게 떠오르게 됨으로써 4단계는 반복된다. 226쪽

    좋은 기획은 수많은 브레인스토밍을 거쳐야 한다.

     우리에겐 빅데이터를 이해하는 리더가 필요하다 232쪽

알아야 할 수 있는 의사결정 _ 삼계탕도 맛과 모양과 효과를 알고 있어야 주문 할 수 있다. 즉 애널리틱스의 종류와 예상 결과, 그 한계 등에 대한 이해가 있어야 한다는 말이다.

    기획하려면 모든 과정을 섭렵해야 한다. 237쪽

_ 데이터 사이언티스트가 사용하는 도구는 R 또는 파이선이라는 프로그래밍 언어다.

_ 브레인스토밍을 통해 스스로 문제를 풀어야 하는 단계. 업무에 대한 넓고 깊은 이해를 가지고 있고 경험도 많아서 사내에 중요한 가치로는 어떠한 것이 있고, 이 가운데 어떤 것이 데이터 분석을 통해 구현될 수 있을지 잘 이해하고 있기 때문에 부장이나 팀장급이 아주 잘 해낸다. 240쪽

미국 수십 개의 명문 대학들이 이미 10년 전부터 데이터 사이언스 석사 프로그램을 만들어 운용하고 있다. 실무형 데이터 사이언스 과정이라서 산업체 발전에 크게 기여하고 있다. 기간도 12개월에서 18개월로 제각각. 출근 첫날부터 주어진 데이터를 분석해서 인사이트를 도출할 수 있는 인재로 자란다.

245쪽

   2010년부터 데이터 사이언스 석사들을 양성하고 있다는 것은 공공연한 비밀이지요. 미국 대학들이 공개 강의를 하는 이유는 공개 강의의 가치를 능가하는 교육을 이미 다른 강의에서 하고 있다는 말이 되지요. 미국과 다른 선진국을 넘어서기 위해서는 교육과 제조에 좀 더 크게 계획성 있고 장기간 -최소한 10개 년 정도의 - 투자가 필요하다고 생각하고 이를 추진해야 한다고 믿습니다.

    공공데이터는 엄청난 가치의 무료 빅데이터

    빅데이터 활용을 가능하게 하는 것은 제도 253쪽

    혁신을 위한 사회적 합의 256쪽

    데이터를 모으는 글로벌 대기업들

    거스를 수 없는 일상의 데이터화 263쪽

    _ 유튜브와 구글, 페이스북 그리고 인스타그램 카카오톡 모두 데주  264쪽                                 

    나의 데이타는 바로 나의 것 _ 무엇보다 내가 만든 데이터에 대해서는 나도 권리가 있다는 주인의식을 가져야 하고, 나에게 그런 권리가 주어졌을 때 그걸 어떻게 사용할지에 대한 판단을 할 수 있어야 한다. 269쪽

    일상의 데이터화를 거스를 수 없다는 것을 알고 배우고 준비하는 것이 필요한 시대를 살고 있습니다. 그것을 다시 확인했을 뿐만 아니라 조금 더 자세히 들어간 느낌의 책 ＜세상을 읽은는 새로운 언어, 빅데이터＞를 추천해준 추억책방님의 배려에 감사드리고 입문서이자 한국의 현실이 드러나있는 이 책에 대한 리뷰가 다른 독자에게 유용하기를 조금은 기대합니다.                                                   

추억책방님의 이벤트에 당첨되어 증정받은 책을 읽고 작성한 리뷰입니다.

언제부턴가 빅데이터와 4차혁명이라는 말은 현재와 미래를 대변하는 키워드가 되어버렸다. 그런데 이들의 용어는 어렴풋하게는 이해가 되지만 정확하게 무엇인지는 알지 못했다. 막연하고 뜬구름을 잡는 것 같았다. 빅데이터라고 하면 조지 오웰의 소설 ＜1984＞에 나왔던 ‘빅브라더’와 같은 느낌으로 다가왔다. 우리의 모든 정보가 나도 모르는 사이에 어딘가로 수집되어 저장되고 활용된다면 사실 정부차원의 표현인 빅브라더와 다를 게 무엇일까? 설사 그렇더라도 이제는 반대할수도 부정할 수도 없는 상황이다. 우리가 이용하고 있는 내비게이션이나 핸드폰의 위치정보만 해도 이미 누리고 있는 이익이 훨씬 큰 데다가 과거로 돌아갈 수도 없기 때문이다. 그렇다면 좀더 자세히 이 용어들에 대해 이해하고 받아들일 필요가 있다. 그런 차원에서 이 책은 참으로 유용했다.

서가명강, 서울대 가지 않아도 들을 수 있는 명강의 시리즈의 하나다. 이전에 이 시리즈물 중에서크로스 사이언스를 읽은 적이 있었는데 그 책도 나름 유용했다. 각 분야의 정통한 사람들이 한 가지 주제에 집중해서 글을 쓴다는 것은 내가 직접 경험하지 않은 분야를 폭넓게 이해하는 방도가 되기 때문이다. 이번 책은 빅데이터의 대가(?)라고 할 수 있는 조성준 교수가 썼다. 대가라는 표현은 오랜 시간에 걸쳐 전통적으로 학습되는 분야에 붙이는 말 같아서 이런 신생 표현에는 조금 갸웃하기는 한다. 그러나 저자는 서울대 산업공학과 출신으로, 데이터 마이닝, 머신러닝 등을 꾸준히 연구해온 현직 서울대 산업공학과 교수이다. 그리고 정부3.0 추진위원회 빅데이터전문위원장을 역임했다. 정부에서 처음으로 빅데이터에 대해 강조하기 시작했을 때부터 위원장이었으니 이 분야에서는 신뢰할 만한 적격자였던 것이다. 책은 일반인들이 쉽게 이해할 수 있을 정도로 잘 풀어서 쓰여졌다. 빅데이터에 대해 이제는 그냥 받아들여야 하는 상황임을 근거를 들어 설명했다. 빅데이터에 대한 오해와 편견을 바로잡고 이제 미래를 대비해서 우리는 어떻게 접근해야 하는지도 설명해 두어서 생각을 확장하고 정리하기에 유익한 책이었다.