IBM과 구글이 자동번역프로젝트 경쟁을 했다. 결과는 구글의 승리로 끝났다.
IBM이나 구글 모두 40년 동안 과학자들이 해 왔던 방법과 달리 전문가들이 번역한 문서를 데이터베이스화 했다. 하지만 ‘수백만 건’의 데이터를 가지고 있는 IBM과 ‘수억 건’의 데이터를 가지고 있는 구글은 데이터 건수의 차이로 승패가 났다.
인공지능동시통역 서비스의 완성도도 언어를 사용하는 사용자의 수에 따라 달라진다. 인공지능 바둑 로봇 ‘알파고 리’, ‘알파고 마스터’, ‘알파고 제로’도 얼마나 많은 학습을 통해 오류를 줄이고 최선의 수를 찾느냐에 따라 실력이 달랐다. 결국 얼마나 많은 데이터로 분석하느냐에 따라 결과가 달라진다.
빅데이터는 말 그대로 엄청나게 많은 데이터를 뜻한다.
KT경제경영연구소 디지에코(Digieco) 2015년 보고서가 정의하고 있는 빅데이터의 의미는, ‘기존 방식으로 저장·관리·분석하기 어려울 정도로 큰 규모의 데이터’를 말한다. 그리고 빅데이터라고 하면 페타바이트 이상이 되었을 때를 말한다. 현재 컴퓨터 메모리 또는 파일의 크기를 표시할 때 기가바이트(Giga byte)를 많이 사용하는데, 기가바이트가 1,024개 있는 것이 테라바이트(TB, Tera byte)이고, 테라바이트가 1,024개 있는 것이 페타바이트(PB, peta byte)다.
컴퓨터기술이 급속하게 발전하면서 디지털 환경에서 생성되는 데이터양은 기하급수적으로 증가하고 있다. 인류가 2003년까지 만들어낸 정보량이 5엑사바이트(EB)라고 한다. IBM에 조사에 따르면 2011년 전 세계에서는 이틀마다 5엑사바이트의 정보가 생성되었다고 한다.
가령, 페이스북이 2017년 6월 27일 공개한 자료에 따르면 페이스북 한 달 사용자가 20억 명이 넘었다고 한다. 20억 명이 넘는 페이스북 사용자가 사진이나 동영상, 문서, 신문기사를 올린 데이터량이 기하급수적으로 증가하고 있기 때문에, 매년마다 데이터를 저장하기 위해 데이터센터를 새로 짓고 있다. 이렇듯 증가하고 있는 세계의 정보 총량은 18개월마다, 생물학적 데이터는 9개월 마다, 의학분야의 지식은 2~3년마다 2배로 증가한다. 최근 2개월 동안 유튜브에 올라오는 동영상이 미국 방송 3사가 60년 동안 제작한 것보다 많을 정도로 데이터가 기하급수적으로 증가하고 있다.
4차 산업혁명을 이끌어가는 기업체들이 빅데이터를 구축하기 위해 노력하는 이유는 참으로 다양하다. 데이터가 많을수록 기술 발전에 도움이 되며 원가를 절감하고 생산성과 수익성을 높일 수 있다. 새로운 비즈니스 모델과 새로운 사업을 발굴하고 수요나 수확량을 예측하는 정확도가 높아지며 질병이나 사회·조직의 문제를 예방하여 발병률과 실패를 줄일 수 있다. 사회현상과 구조의 원인을 찾고 소비자의 행동이나 시장의 흐름을 예측할 수 있다.
미국 MIT 슬로언경영대학원 교수이자 집합지능연구소장인 토머스 멀론(Thomas Malone) 교수는 빅데이터를 통해서 인류가 역사 이래 처음으로 인간의 행동을 예측할 수 있는 세상이 되고 있다고 하였다. 2016년 미국 대통령 선거가 있기 두 달 전에 초등학교 6학년 조준형 학생은 트럼프 후보의 당선을 예측했다.
이와 같은 예측은 미국 유권자가 구글을 통해 대통령 후보인 도널드 트럼프와 힐러리 클린턴를 검색한 검색량을 비교한 테이터를 활용했다. 검색량을 통해서 유권자가 관심 있어 하는 후보가 검색량도 많을 것이라는 분석을 했다. 이러한 근거는 2011년 서울시장 선거 당시 박원순 후보와 나경원 후보에 대한 검색량을 비교했을 때, 당선된 박원순 후보의 검색량이 많았기 때문이다.
이처럼 빅데이터를 활용하는 사례는 많다. 휴대전화 판매점에서 고객이 휴대전화를 사용하는 패턴에 대한 데이터를 가지고 있을 경우, 고객이 선호하는 휴대전화의 사양이나 가격, 데이터 요금제, 구매 주기, 디자인, 회사 등을 추천하여, 상담시간을 줄이고 고객의 만족도를 높일 수 있다.
인터넷 사용자가 주로 검색하는 키워드나 관심 있어 하는 내용, 상품 등에 대한 빅데이터를 파악하고 있을 때, 인터넷 사용자가 관심 있어 하는 내용이나 상품 등을 눈에 잘 보이는 곳에 배치하여 상품 판매 가능성을 높일 수 있다.
아마존(Amazon)의 경우 실시간으로 소비자의 움직임을 파악하여 고객의 구매행위에 따라 판매량과 재고가 부족할 상품이나 재고가 많아질 상품을 분석한다. 고객에게 인기 있는 상품은 추가 생산이나 재고를 확보해서 수익을 높이고, 재고가 될 위험성이 높은 상품은 1+1 행사를 해서 손해를 줄이도록 하고 있다.
국내에서도 소셜커머스 기업 쿠팡이 아마존처럼 소비자의 소비패턴을 분석하여 마케팅에 활용함으로써 수익을 크게 성장시켰다. 소비자가 주문할 상품과 시기를 빅데이터를 통해 예측해서, 상품을 미리 소비자가 살고 있는 지역의 물류센터로 보낸다. 소비자가 상품을 주문한 즉시 배송하여 ‘로켓 배송’이라는 당일 배송을 하여 소비자의 만족도를 높였다. 전자상거래 특성상 신속한 배송은 매우 중요한데, 이와 같이 신속한 배송을 통해 고객과 주문이 증가하여 수익을 높인 좋은 사례다.
2013년 개통한 서울시 심야버스 노선도 또한 빅데이터를 철저히 분석해서 만든 것이다. 심야시간대의 통화량을 통해 먼저 서울시 어느 지역에 유동인구가 많은지 분석한다. 분석한 데이터를 바탕으로 최적의 노선을 만든 후, 노선을 기준으로 배차 간격을 정한 것이다. 신한카드도 보유하고 있는 고객의 카드 사용 실적에 대한 빅데이터를 분석하여 소비자의 소비패턴이나 선호하는 트렌드에 맞는 상품을 개발하고 제공하여 수익을 높였다.
국내 기업 가운데 40% 이상의 기업이 빅데이터를 활용하고 있거나 준비 중에 있다. 데이터를 많이 수집하여 빅데이터를 만드는 것도 중요하지만, 빅데이터를 가공하고 분석해서 숨어 있는 의미를 찾는 일이 더 중요하다. 빅데이터는 생물과 같아서 시기와 장소, 상황에 따라 효율성이나 가치가 달라진다. 그렇기 때문에 빅데이터의 99.5%는 사용하지도 못하고 버려지고 있다. 빅데이터를 제대로 분석해서 통찰하는 사람이 시장을 움직이고 미래를 얻을 수 있다.
