빅데이터의 핵심은 분석 기술
빅데이터는 4차 산업혁명의 대표 키워드다. 빅데이터가 수면 위로 떠올랐던 것은 지난 2012년 미국 대통령 선거였다. 댄 와그너가 버락 오바마 캠프에서 ‘동굴 속 외뿔고래’로 승리에 일조했다는 사실이 드러나면서다. 그런데 그 이전에도 인터넷을 포함한 IT 전문가들은 기업정보시스템(EIS), 고객관계관리(CRM), 전사적자원관리(ERP), 판매정보관리(POS) 등 빅데이터 관점에서 지속적인 정보시스템 발전을 추구했었다.
이들 시스템이 주로 가격, 매출, 구매 시간대 등 정형 데이터에 초점을 맞췄다면 빅데이터는 인터넷 정보의 바다에서 문서, 이미지, 음성, 로그인 등 연산불가의 비정형 데이터까지 분석에 활용해 기술적 진전을 이룬 것이다. 그러므로 모름지기 인터넷 전문가라면 ‘빅데이터’의 각론을 외면키 어려우리라. 더구나 우종필의 『빅데이터 분석대로 미래는 이루어진다』의 제 4장 제목은 ‘빅데이터를 알아야 살아남는다’고 협박한다. 일반인들이야 빅데이터의 존재 정도만 알고 있어도 충분하겠지만 이 분야 전문가들이라면 저 협박을 신중하게 받아들여야 하지 않을까?
‘빅데이터는 데이터의 ‘양’이 아니라 ‘다양성’과 ‘질’이다. 기존의 데이터들은 숫자로 이뤄진 정형 데이터였다. 빅데이터는 여기에 반정형 데이터와 비정형 데이터가 추가된다. 이에 대해 ‘이전에는 정보로 취급할 수 없었던 모든 기록들’이라고 정리하는 저자 우종필 세종대 교수는 2016년 7월과 미국 대선 직전인 11월 3일 개인 웹사이트에 트럼프의 당선을 확신했다. 반면, 당시 모든 미국의 언론은 ‘힐러리 당선 확률 90%’라고 예측했었다.
그는 당시 미국 여론조사기관들의 유권자 표본이 1억 6천만 모집단에 비해 턱없이 적은, 그것도 전화 조사로 끝내는 허점을 보았다. 빅데이터 기반의 구글 트렌드 데이터로 선거결과를 보다 정확하게 예측할 수 있겠다는 확신으로 연구에 돌입, 트럼프 당선을 예측했다. 빅데이터에 관한 책들이 많지만 이 책은 ‘어떻게’ 구글 데이터를 이용해 당선자를 예측했는지에 대한 디테일한 방법론 제시가 강점이다.
방법론 제시의 일환으로 저자는 2012년 한국 대선을 구글 트렌드로 분석했다. 결과적이긴 하지만 후보들에 대한 시기별 검색량 변화와 그 배경 분석을 통해 백전노장의 정치 전략가나 여론조사보다 ‘구글 트렌드’가 더 유효함을 증명한다. 또 영화를 개봉하기 전 얼마나 많은 관중이 몰리게 될지, 월마트와 아마존의 매출액은 어떻게 변할지 예측하는 기법도 보여준다. 이는 당연히 두 회사의 주가 예측으로 이어진다. 이제 주식투자도 전문가적 촉이나 운이 아닌 ‘과학’으로 정밀하게 하는 시점이 온 것이다. 예측 과정은 대략 ‘기업의 누적 매출액 데이터와 구글의 누적 검색량 데이터를 비교하는 것’으로 설명되는데 인터넷 전문가라면 쉽게 이해가 가능해 보인다.
