요즘 빅데이터라는 말이 하나의 유행으로 쓰이고 있습니다. 혹은 기존 것과 새로운 것의 경계가 모호해진 데이터를 다루는 것의 대명사처럼 쓰이는 경우가 많습니다. 사실 기존에 해 오던 것들입니다. 하지만 ‘빅 데이터’라는 이름만 붙여서 주목받으려 하는 것에 가깝죠.
하지만 빅데이터를 제대로 쓰기 위해서는 빅데이터가 우리에게 해 줄 수 있는, 기존 비지니스에서는 할 수 없던 것이 무엇인지 알아야 합니다. 기존에 할 수 있었는데 안 한 것을 빅데이터라는 이름으로 포장할 필요는 없습니다.
- 비지니스 인텔리전스로 충분히 할 수 있는 범위와 크기의 데이터
- 시스템 설계의 로직이 귀납적인 데이터 분석보다는 연역적 로직 중심인 것
저 두 가지에 해당하면 사실, 빅데이터라는 이름을 굳이 붙일 필요가 없는 일이 많습니다. 얼마든지 엑셀을 써서 만들 수 있거든요. 사실 속도도 그렇게 느리지 않을 겁니다.
무엇보다 핵심적인, 시스템 로직을 가정에 의해 상수를 쓰는 경우는 더 그렇습니다. 실컷 데이터를 어렵게 모아서 마이닝을 해도, 시스템의 두뇌에 해당되는 연산 과정에서 임의로 붙인 숫자가 수식에 포함되어 쓰이면 제대로 된 결과가 나오기 어려워지는 상황이 많습니다.
빅데이터라는 말을 쓰면서, 안 쓰던 프로그래밍 언어를 말해 보고 서버도 말하면서 학부 때 배운 MIS를 여기서 활용하는구나 싶은 사람도 많을 겁니다. 하지만 이미 잘 깔려 있는 시스템을 활용하는 방법도 얼마든지 있습니다. 특히 엑셀은 이미 사무실에서 많이 쓰인다는 이유로 저평가 받고 있는 툴입니다. 위에서 언급한 두 가지 유형에 해당하면, 엑셀로 프로그램을 얼마든지 잘 만들 수 있거든요.
엑셀을 쓰면 어떤 장점이 있나요?
엑셀은 비지니스 인텔리전스가 구축되어 있는 회사에서라면 이를 활용해서 프로그램을 만들기 쉽습니다. 서버에서 값을 추출해서 쓰는 것이 데이터웨어 하우스에서 가공해서 쓰는 것보다야 속도는 느리지만 기본적인 원리는 비슷하기 때문입니다. 결국, 데이터를 모아서 로직을 걸고 솔루션을 사용해서 유저에게 보여주는 것이기 때문이죠. 솔루션을 엑셀로 하고, 로직도 엑셀에서 걸고, 데이터는 한 단계 걸친 비지니스 인텔리전스를 사용한다는 차이가 있을 뿐입니다. 적은 분량의 데이터는 얼마든지 할 수 있습니다.
엑셀은 함수를 통해 프로그램을 걸면서 동시에 결과를 볼 수 있다는 장점이 있습니다. 간단한 로직을 걸어서 만들어야 하는 내용이라면 복잡하게 서버에서 작업하고 솔루션을 이용해 결과가 나올 때까지 기다릴 필요가 없습니다. 엑셀은 많이들 알고 있기 때문에, 많은 사람들이 프로그램을 알고 피드백을 해 줄 수 있다는 보편적 장점도 갖고 있습니다.
엑셀은 유저에게 익숙한 디스플레이 방식을 갖고 있다는 장점이 있습니다. 비교적 저렴한 가격에 시각화 할 수 있는 유용한 솔루션입니다. 차트부터 서식까지, 엑셀이 발전할수록 유저가 볼 수 있는 디스플레이 수준은 나아지고 있습니다. 간단한 프로그램을 이용해서 유저가 보아 온 익숙한 방식으로 만들 수도 있습니다. 엑셀에서 복잡한 것은 시스템에 구축해도 복잡한 것입니다. 엑셀에서도 얼마든지 취사선택을 해서 내용을 보여줄 수 있습니다.
엑셀은 유저가 입력해야 하는 부분을 시스템으로 구현하는 게 상대적으로 간단합니다. 특정 셀을 목록으로 만든다든지 하는 방법으로 화면을 구축하면서 유저가 입력할 수 있는 데이터의 후보를 커뮤니케이션 하는 방식이 간단합니다. 물론 간단한 데이터의 경우입니다. 실제로 솔루션에서 유저가 입력하고 그것을 관리하는 것을 만드는 것은 어려울 때가 있습니다.
물론 엑셀은 개방성이 아주 큰 프로그램입니다. 그래서 애써 만든 게 왜곡될 수도 있습니다. 데이터와 로직의 삽입과 변형에 섬세하게 원안을 따르지 않으면 오류가 많이 나기도 합니다. 계산을 주 목적으로 하는 프로그램이니 포기하는 부분이죠.
빅데이터를 올바르게 활용하려면?
빅데이터를 쓰려면 처음부터 끝까지 빅데이터에 기초한 로직 설계와 검증, 학습의 체계를 만드는 게 중요합니다. 연역적으로 만들고, 임의로 만들고, 고정 불변하다고 했던 것들이 과연 그런지 의문을 가지는 것에서부터 빅데이터를 빅데이터답게 쓸 수 있는 올바른 관점을 만들어 줄 겁니다.
통계적 방법에 관심을 기울이세요. 할 수 있는 것들이 많아집니다. 빅데이터를 잘 활용하는 회사와 그렇지 않은 회사의 차이가 이것입니다. 빅데이터에 대한 정의부터 빅데이터를 어떤 시각에서 조립할 것인지 뚜렷한 관점 차이가 존재하죠. 그 조립의 방향은 어디까지 회사의 전략적 가정에 따른 것이지만요.
데이터의 활용방안과 크기, 로직이 정의되지 않은 상태에서 유행한다고 이것만 찾으면 안됩니다. 경제적 선택을 할 때 비용대비 거둘 수 있는 효과나 의도에 맞는 최적화된 방법인가를 늘 검토해야 합니다.
원문: Peter의 브런치
