빅데이터(BigData) 2부 - 빅데이터? 왜 갑자기 떡상...?

1부에서는 빅데이터의 개념을 실생활 예시를 통해 조금 더 친숙하게 접근해 보았다.

빅데이터(BigData) 1부 - 빅데이터? 그래서 그게 뭔데?!

이미 빅데이터라는 개념은 존재했고 우리는 알게 모르게 빅데이터 개념을 활용하면서 살아왔다. 그리고 그 데이터가 중요하다는 것도 알고 있었다. 그런데 이 빅데이터는 왜 갑자기 2010년 초중반 이후로 이렇게 열풍이 되었을까? 차근차근 알아보자.

왜 갑자기 빅데이터?

필자는 페이스북, 트위터의 등장이 이 빅데이터 붐을 만드는데 큰 작용을 했다고 생각한다. 2010년 초반, 그 당시 하루에 페이스북, 트위터에 올라오는 데이터량이 Terabytes를 넘었다는 소리가 나왔을 정도이다. 실제로 아래 그림과 같이 2012년에 이미 하루에 올라오는 데이터량이 500TB를 넘었다. 더 자세한 이야기는 여기를 참고하자.

 

출처 : techcrunch

 

Terabytes라는 개념이 잘 와닿지 않은 분들을 위해 조금 더 설명하면...

보통 우리가 사용하는 데스크톱 용량이 500GB ~ 1TB 사이일 것이다. 블루레이 2시간 영화는 보통 25GB 안팎일 것이다. 자 500TB면 이 25GB 블루레이 영화를 20000편의 용량과 맞먹는다. 이제 어느 정도 가늠이 되는가?

 

그러면 이렇게 엄청난 양의 데이터들이 매일 들어오면 페이스북이나 트위터는 정말 수시로 하드디스크를 구입해야 할 것이다. 데이터 보관 유지비용을 도대체 어떻게 감당할 수 있는 것일까?

1. 하드웨어의 발전과 가격하락

가장 큰 이유는 하드웨어의 발전이라고 생각한다. 우리의 저장 메모리 용량의 변화를 제대로 알고 싶다면 여기를 참고하자.

[반도체 특강] 메모리 반도체의 용량(Density)과 원가(Cost), 그리고 마케팅

 

메모리 용량의 변화

메모리의 낮은 단가 형성

즉, 기술의 발전으로 면적당 용량이 증가하고 이는 용량은 커지지만 단가는 낮아지게 된다.

 

과거를 상상해보자. 불과 10~15년 전만 해도 하드디스크 500G, 램 4G도 엄청난 스펙이라고 생각했다. 또한 2009년 ~ 2010년까지만 하더라도 SSD는 비쌌다. SSD 32G가 거의 20만 원을 훌쩍 넘었었다. 그래서 필자는 2010년도에 SSD 128G(정확히 기억이 안 난다.)를 단 맥북 에어를 230만 원 넘게 주고 샀다. 하지만 2014년식 SSD 256G 맥북 프로를 150만 원에 샀다.

 

 SSD 가격 변화 / 출처 : DRAMeXchange

 

보이는가? 급격히 하락하는 가격 폭이... 이렇게 하드웨어의 발전과 가격 하락으로 기업에게는 더 이상 데이터 보관은 부담이 아니게 되었던 것이다.

2. 풍부해진 데이터들

스마트 폰의 등장으로 이제 어디에서든 인터넷에 글을 게시할 수 있게 되었다. 스마트 폰이 등장하기 전까지 이렇게 데이터를 쉽게 쌓을 수 있는 환경이 아니었던 것이다. 스마트 폰과 좋은 앱의 시너지로 데이터의 양은 물론 축적 속도도 크게 증가했다.

 

출처 : http://www.munhwa.com/news/view.html?no=2018011701032809000001

 

위 사진은 꽤나 오래전 사진이지만 2017년만 해도 저 정도였다. IT기술의 발전은 데이터 축적의 속도를 더 가속화시키고 있다. 단순히 양과 속도만 개선된 것이 아니었다. 데이터의 다양성도 증가한 것이다. 똑같은 앱이라 하더라도 사용하는 방식은 사람마다 달랐다. 페이스북, 트위터에 올라오는 글의 유형은 다양한 형태를 뛴 것이다. 단순한 일상부터 홍보, 광고까지.

3. 정부의 데이터 공개

스마트 폰의 등장. 유용한 앱의 등장. 이 두 큰 변화는 우리 인식에 큰 변화를 가져오게 했다. 정부도 다양한 정보를 공개하기 시작했다. 그리고 이 데이터를 활용하여 새로운 것을 만들 수 있게 지원하기 시작한 것이다.

 

가장 대표적인 것이 버스정보시스템과 같은 것이 아닐까 생각한다. 각 지역별 버스의 실시간 위치 등을 공개하고 스마트 폰 앱과 연동되어 버스를 하염없이 기다리는 일이 더 이상 없게 되었다. 즉, 사람들이 느끼는 일상생활의 불편함을 하나씩 해결해 줄 수 있게 된 것이다.

4. IT 기술의 발전

 

아파치 하둡

 

아무리 데이터가 많이 쌓여 있어도 활용하는 툴이 좋지 않으면 사실 의미가 없다. 다행히 과거부터 이미 많은 연구자들은 빅데이터에 적합한 툴이 필요하다는 것을 느끼고 있었으며 마침 아파치(APACHE) 재단에서 하둡(Hadoop)이라는 좋은 툴을 공개한 것이다.

필자의 사견

어떻게 보면 빅데이터라는 것이 뜰 수 있는 3박자(가격, 환경, 기술)가 모두 갖추어졌다고 봐도 무방하다.

 

• 데이터 보관 비용의 하락
• 어디서든 글을 쓸 수 있는 환경
• 빅데이터 맞춤형 기술

여기서 잠깐 의문이 드는 것이 있다. 빅데이터의 데이터는 일반 데이터와 무엇이 다르기에 맞춤형 툴이 필요한 것일까? 다음 편에서는 이에 대해 다뤄볼 것이다.