이전 글에서는 빅데이터의 성공 사례, 성공 기업들에 대해 알아보았다.
빅데이터(BigData) 9부 - 빅데이터는 어떻게 사용되고 있을까?(성공 활용 사례)
이전 글에서 빅데이터의 장, 단점을 보았으니 이제 이 장, 단점을 기반으로 어떻게 빅데이터는 제대로 사용되고 있으며 어떤 실패 사례들이 있는지 차근차근 확인해보자. 아직 장, 단점을 못 본
www.kboutiq.com
이번에는 빅데이터의 실패 사례들을 확인하고 무엇이 문제였는지 확인해보려고 한다. 사실 2019년에 디지털뉴스아시아의 글을 보면 빅데이터 프로젝트의 85%가 실패한다고 한다.
Why 85% of Big Data projects fail
The danger lies in there not being a culture that normalises embedding analytics in their daily work.
www.digitalnewsasia.com
자 그러면 어떤 기업이 실패했고 무엇이 문제였는지 확인해 보자.
실패 사례
1. 구글
구글은 성공사례에서도 빼놓을 수 없는 기업이지만 실패사례에서도 항상 등장하는 기업이다. 구글 내에서 이루어지는 프로젝트는 수없이 많으면 그중 살아남은 프로젝트들이 세상을 바꾸고 있지만 'Google Flu Trends(이하 'GFT')'는 세상에 나온 실패 사례가 되었다.
참고로 코로나 예측을 못했나?라고 생각할 수 있지만 GFT는 2015년 8월에 서비스를 종료했다.
GFT는 2008년 출시되었고 구글 검색어를 활용해서 전염병 발생, 전파에 관한 예측을 하는 서비스였다. 구글 검색어를 이용했다는 것만 봐도 빅데이터가 활용되었다고 생각할 수 있을 것이다.
이 GFT는 2009년에 유행한 A형 독감을 예측하지 못했다. 그리고 2013년의 A형 독감은 제대로 예측했지만 그 전파 등을 잘못(너무 과장해서) 예측했다.
그러면 무엇이 문제였을까?
사실 전염병의 가장 전문가는 의료진과 독감을 연구하는 연구진들이다. 하지만 단순 검색어만으로 독감을 예측하려고 했다는 것이 가장 큰 문제였다. 즉, 수집한 데이터의 질이 아주 낫다고 판단할 수 있다.
2. 스캐터랩
스캐터랩 소속 핑퐁 팀에서 만든 이루다 챗봇이 대표적인 실패 사례라고 할 수 있다. 예측의 실패라기보다는 데이터 수집의 실패라고 할 수 있는 케이스이다.
크게 논란이 된 것 중에 하나가 개인정보의 활용에 대한 제대로 된 동의를 구하지 않고 데이터를 수집했다는 것이다. 빅데이터의 장단점에 대한 글에서도 말했지만 개인정보의 무분별한 수집, 활용이 큰 파장을 일으킨 가장 대표적인 예이다.
빅데이터(BigData) 8부 - 빅데이터의 장, 단점은 무엇일까?
지금까지는 빅데이터가 나온 이유와 개념 등에 대해 알아보았다. 빅데이터(BigData) 7부 - 수평확장(Scale Out)은 RDB보단 NoSQL이지! 빅데이터(BigData) 6부 - 수직확장(Scale Up)과 수평확장(Scale Out) 빅데이..
www.kboutiq.com
또 하나 논란이 된 것이 이루다 챗봇의 사회적 편향성이었다. '동성애', '장애인' 등과 관련된 주제에 대해 한쪽으로 쏠린 대답을 했다는 것이 또 하나의 큰 문제가 되었다.
'Data Science Process Alliance'에서 분석한 빅데이터의 분석의 실패 이유에 보면 데이터의 사회적 편향에 대한 내용이 나오는데 여기에 정확히 해당하는 부분이다.
Why Big Data Science & Data Analytics Projects Fail
85% of data science projects fail. Why? Learn these eight leading reasons and what you can do to beat the odds.
www.datascience-pm.com
즉, 이 역시 수집된 데이터의 질에 의해 나타난 결과라고 할 수 있다.
3. 헬스케어(HealthCare)
Haven은 JP모건 체이스, Amazon 및 Berkshire-Hathaway의 협업으로 만들어진 벤처이다.
마이크로소프트의 HealthVault, 구글 헬스, 애플 워치의 건강 기능, IBM의 왓슨 헬스 등 수많은 대기업들이 헬스케어 분야에 집중했고 그들이 가진 기술과 데이터, 병원 등이 가진 데이터를 활용하여 서비스하려고 했다. 하지만 결국 아직도 제대로 성공한 케이스가 없다.
이미지 출처 : https://www.neowin.net/news/microsoft-healthvault-to-close-on-november-20/
이미지 출처 : https://en.wikipedia.org/wiki/Google_Health
구체적인 이유는 로컬병원, 건강관리서비스 기관 등에서 생성되는 기존 데이터의 표준화, 변환의 어려움, 사용자의 낮은 참여도로 인해 새로운 데이터를 확보하는 데 어려움, 제도의 문제 등이었다.
즉, 너무 막연한 미래, 빅데이터에 대한 막연한 확신의 결과라고 할 수 있다. '환자의 데이터, 병원의 데이터, 자신들의 기술이면 성공할 것이다.'라는 막연한 생각. 하지만 실제적인 제도나 데이터 통합은 그렇게 만만한 작업이 아니었기 때문이다.
4. 테스코
이 실패 사례는 너무 유명하다. '빅데이터 전쟁'이라는 책에서도 소개된 기업으로 데이터로 성공해서 데이터로 망한 케이스의 대표적 기업이다.
당연히 데이터로 성공했기 때문에 '비즈니스'에 집중한 것이 아닌 '데이터'에만 집중한 것이다. 데이터도 중요하지만 '비즈니스'에는 데이터가 주는 결과 외에도 기업의 목표나 방향성, 임원들의 통찰 등이 더 중요할 수 있다는 것을 간과한 것이다.
그러다 보니 고객 중심이 아닌 제품 중심의 분석으로 이어지는 것은 당연하고 시대 변화에 따라가지 못하게 된 것이다.
빅데이터 맹신이 불러일으킨 참사이다.
필자의 사견
결국 종합적으로 보면 실패 원인은 밸런스 붕괴라고 할 수 있다. 빅데이터에 대한 무한한 신뢰가 가져온 여파라고 할 수 있을 것 같다.
- 무조건 데이터를 많이 수집하면 좋을 거야. 쓰레기 데이터를 많이 수집하면 의미가 없다.
- 데이터로 성공했으니 데이터가 최고야. 데이터를 사용해야 할 곳과 아닌 곳의 구분을 하지 못하면 의미가 없다.
- 여기에 빅데이터 접목하면 좋겠는데? 미래에 대한 구상은 좋지만 조금 더 꼼꼼하게 살펴볼 필요가 있다.
- 의료 분야 빅데이터 연구에 IT 기술자와 데이터 분석자만 존재한다? 의료 분야인데 왜 연구진, 의료진들 없이 결과를 도출하는 것은 의미가 없다. 분야에 맞는 전문가도 필요하다!
항상 모든 것은 양날의 검이라는 것을 잊지 않도록 하자.
'IT 트렌드' 카테고리의 다른 글
| 클라우드 컴퓨팅(Cloud Computing) 1부 - 클라우드. 너는 누구?! (0) | 2021.07.29 |
|---|---|
| [서버-클라이언트] IT분야에서 서비스를 제공한다는 것은 무슨 뜻일까? (0) | 2021.07.27 |
| 빅데이터(BigData) 9부 - 빅데이터는 어떻게 사용되고 있을까?(성공 활용 사례) (0) | 2021.07.23 |
| 빅데이터(BigData) 8부 - 빅데이터의 장, 단점은 무엇일까? (0) | 2021.07.19 |
| 빅데이터(BigData) 7부 - 수평확장(Scale Out)은 RDB보단 NoSQL이지! (1) | 2021.07.16 |
