빅데이터(BigData) 1부 - 빅데이터? 그래서 그게 뭔데?!

2010년 초중반부터 시작된 빅데이터 열풍. 그리고 지금은 비즈니스에서 필수적 요소가 된 빅데이터. 과연 빅데이터는 무엇일까? 차근차근 쉽게 파악해 나아가 보자.

빅데이터란(What is BigData)?

빅데이터를 구글에 검색하면 아래와 같이 사전적 정의가 나온다.

구글 빅데이터 사전적 정의

인간의 행동과 소통과 관련된 패턴, 트렌드를 밝히기 위한 계산적으로 분석된 큰 데이터 집합.

 

즉, 엄청나게 많은 데이터를 이용하여 내가 원하는 무엇의 패턴을 밝히는 것이다. 조금 더 쉽게 예시를 통해 얼마나 친근한 개념인지 함께 느껴보자.

* 예시 1. 사주

사주 풀이 / 출처 : https://steemit.com/kr/@happynomad/8-1

 

사실 이 빅데이터라는 개념은 오래전부터 사용되어 왔다. 그 대표적인 예가 '사주풀이'라고 할 수 있다. 사실 사주라는 것은 '믿거나? 말거나?' 본인의 선택하는 것이지만 그 원리는 바로 빅데이터이다.

 

사주는 사람이 태어난 날을 이용하여 그 사람의 미래를 예측하는 것이다. 그러면 어떻게 사주는 미래를 예측할 수 있고 꽤나 높은 확률로 맞는 걸까? 그 이유는 바로 오랜 기간 사람들의 데이터를 모았으며 특정 기준을 이용해 통계를 냈기 때문이다.

 

상상해보자. 수천년간 사람 인생 데이터를 수집하여 통계를 냈다면... 얼마나 그 정확도는 올라가겠는가? 하지만 사람의 인생은 알다가도 모르는 것이기에 필자는 '그냥 평균적으로 나 같은 사람은 이렇게 살았구나~'라고 받아들인다. 하지만 사주는 확실히 빅데이터를 기반으로 한 사람 인생의 패턴을 발견했다라고는 할 수 있다.

 

* 예시 2. 일기예보

일기예보 / 출처 : https://www.huffingtonpost.kr/entry/kbs_kr_5c663e0be4b033a799410008

 

우리나라 기상청은 정말 옛날부터 현재까지의 기상데이터를 모두 저장하고 있다. 그리고 이 데이터들을 바탕으로 오늘, 한달 간의 날씨를 예측한다. 많은 사람들이 우리나라 일기예보가 자주 틀리다고 말하지만 다른 나라보다 정확도가 높다.

 

과거 기록이 남아있는 시절부터 지금까지의 기상데이터를 모아서 분석했다면 내일 비가 올지, 맑을지 충분히 높은 정확도로 예측할 수 있지 않을까?

* 예시 3. 사람 관계

인간 관계

 

여러분들도 어떤 사람을 처음 보고 '저사람 이런 사람 같아.' 또는 '저 사람 나랑 안 맞을 것 같아.' 등의 생각을 해본 적 있지 않은가? 어떻게 이야기 해본적도 없는 사람을 우리는 이렇게 판단할 수 있는 것일까? 그것은 우리 뇌도 사람 데이터를 쌓았기 때문이다.

 

우리는 평생을 살면서 수없이 많은 사람들을 직, 간접적으로 만난다. 초중고, 대학교만 거쳐도 수백 명은 충분히 넘는다. 거기에 TV나 인터넷에서 여러 가지 내용들을 접하면서 우리는 각자에게 맞는 데이터를 정립한 것이다.

필자의 사견

어떤가? 이렇게 빅데이터는 항상 우리 가까이 있었다. 우리는 설거지를 하더라도, 샤워를 하더라도 더 효율적으로 하는 방법을 찾는다. 더 깨끗하게 그릇을 닦지만 힘은 덜쓰는 방법. 더 깨끗하게 씻지만 시간을 단축하는 방법. 이렇게 우리가 하는 모든 대부분의 일은 반복을 거치고 거기서 일정한 패턴과 규칙을 찾고, 더 효율적 방법을 찾는다. 아마 인간의 본능일 것이다. 어떤가? 이제는 가깝게 보이는가?

 

그런데 왜 갑자기 빅데이터 열풍이 불게 된 것일까? 다음 글에서 확인해 보자.