ADsP 데이터 분석 준전문가 PART 01 - 2장 데이터의 가치와 미래

< 빅데이터의 정의 >

3V 4V

양(Volume) 가치(Value)

다양성(Variety) + 시각화(Visualization)

속도(Velocity) 정확성(Veracity)

​

데이터의 변화(3V) -> 기술 변화(데이터 처리, 분석 기술 및 아키텍처) -> 인재, 조직의 변화(데이터사이언티스트와 같은 새로운 인재 필요)

==> 기존 방식으로는 얻을 수 없는 통찰 및 가치 창출. 사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도

​

< 빅데이터 출현 배경과 변화 >

1) 산업계 - 고객 데이터 축적: 고객 데이터를 축적하여 보유함으로써 데이터에 숨어있는 가치를 발굴, 새로운 성장동력원으로의 기술 확보

(미국 테스코, 액시엄)

2) 학계 - 거대 데이터 활용, 과학 확산: 거대 데이터를 다루는 학문 분야가 늘어나면서 필요한 기술 아키텍쳐 및 통계 도구 발전

(인간 게놈 프로젝트, NASA

3) 기술발전 - 관련기술의 발전: 디지털화, 저장 기술의 발달, 인터넷 보급

​

< 빅데이터의 기능 >

- 산업 혁명의 석탄, 철 : 제조업 뿐만 아니라 서비스 분야의 생산성 극대화 -> 혁명적 변화

- 21세기의 원유 : 경제 성장에 필요한 정보 제공 -> 산업 전반의 생산성 향상, 기존에 없던 새로운 범주의 산업 생산

- 렌즈 : 렌즈를 통해 현미경이 생물학 발전에 미쳤던 영향만큼 산업 발전에 영향을 끼칠 것임 --> 구글, Ngram Viewer

- 플랫폼 : 공동 활용의 목적으로 구축된 유무형의 구조물 --> 카카오톡, 페이스북 등

​

< 빅데이터가 가져온 변화 >

** 중요 외우기

사전 처리 -> 사후처리

표본조사 -> 전수조사

질 -> 양

인과관계 -> 상관관계

​

< 빅데이터 가치 산정이 어려운 이유 >

1) 데이터 활용 방식 : 재사용이나 재조합, 다목적 데이터 개발 등이 일반화되면서 언제, 누가, 어디서 데이터를 활용할지 알 수 없게 됨

2) 새로운 가치 창출 : 기존에 없던 가치를 창출함에 따라 그 가치를 측정하기 어려워짐

3) 분석 기술 발전 : 현재는 가치 없는 데이터라 할지라도 추후에 새로운 분석 기법이 등장하여 거대한 가치를 지닌 데이터가 될 수 있음

​

< 빅데이터의 영향 >

1) 기업 - 혁신, 경쟁력 제고, 생산성 향상 : 빅데이터를 통해 소비자 행동 분석, 시장 변동 예측 -> 비즈니스 모델 혁신, 신사업 발굴

2) 정부 - 환경 탐색, 상황분석, 미래대응 : 사회 변화를 추정하여 관련 정보 추출

3) 개인 - 목적에 따른 활용 : 빅데이터를 서비스하는 기업이 늘어나면서 개인도 인지도 향상에 빅데이터 활용

​

< 빅데이터를 활용한 기본 테크닉 >

* 연관 규칙 학습 - 변인들 간에 주목할만한 상관관계가 있는지를 찾아내는 방법

ex) 커피를 구매하는 사람이 탄산음료를 더 많이 사가는가?

* 유형 분석 - 문서를 분류하거나 조직을 그룹으로 나눌때 사용

ex) 이 사용자는 어떤 특성을 가진 집단에 속하는가?

* 회귀 분석 - 두 변인의 관계를 파악할 때 사용

ex) 구매자의 나이가 구매 차량의 타입에 어떤 영향을 미치는가?

​

< 빅데이터 시대의 위기 요인 >

1. 사생활 침해(익명화) --> 동의에서 책임으로

[ 통제 방안 : 개인정보를 사용하는 사용자의 책임으로 해결 --> 사용주체의 적극적인 보호 장치를 강구할 수 있음 ]

2. 책임 원칙 훼손(마이너리티 리포트) --> 결과 기반 책임 원칙 고수

[ 통제 방안 : 기존의 원칙을 좀 더 보강 및 강화, 예측 자료에 의한 불이익을 당할 가능성을 최소화하는 장치 ]

3. 데이터 오용(베트남 전쟁) --> 알고리즘 접근 허용

[ 통제 방안 : 알고리즘에 대한 접근권을 제공하여 예측 알고리즘의 부당함을 반증할 수 있는 방법 명시 ]

​

< 빅데이터 활용의 3요소 >

* 데이터 -> 모든 것의 데이터화

* 기술 -> 진화하는 알고리즘, 인공지능

* 인력 -> 데이터사이언티스트, 알고리즈미스트