빅 데이터의 정의 (big data)

 

1. Big Data의 개념 및 분류

(1) Big Data의 개념

- 기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석의 역량을 넘어서는 대량의 데이터 셋(set)

- 스마트 단말 및 소셜미디어 등의 다양한 정보채널 등장으로 생산, 유통되는 정보의 양이 기하급수적으로 증가

(2) 정형화 정도에 따른 Big Data의 분류

- 정형 : 고정된 필드에 저장된 데이터(예:관계형데이터베이스)

- 반정형 : 고정된 필드는 아니지만 스키마를 포함하는 데이터(XML, HTML 등)

- 비정형 : 고정된 필드에 저장되어 있지 않은 데이터(텍스트, 이미지, 동영상 등)

2. 기존 데이터 처리와 Big Data 처리의 차이점 및 Big Data 분석 기법

(1) 기존 데이터 처리와 Big Data 처리의 차이점

- 빠른 의사결정의 요구가 상대적으로 적음

- 처리(Processing) 복잡도가 높다

- 처리할 데이터량이 방대함

- 비정형 데이터의 비중이 높음

- 처리/분석의 유연성이 높음

- 동시 처리량이 적음 - 실시간 처리가 보장되어야 하는 데이터 분석에는 부적합

(2) Big Data 분석 기법

- Text Mining

- Opinion Mining(평판분석) : 소셜미디어의 비정형 데이터의 선호도를 판별

- Social Network Analytics(소셜분석)

- Cluster Analysis

3. Big Data 분석을 위한 인프라 기술

(1) 오픈소스 Hadoop

- 오픈소스 분산 처리기술 프로젝트로 정형/비정형의 Big Data 분석에 가장 선호되는 솔루션

- HDFS - HBase - MapReduce 구조

(2) R

- 통계 계산 및 시각화를 위한 언어 및 개발 환경 제공

(3) NoSQL(Not-Only SQL 또는 No SQL)

- 수평적 확장에 강점을 가진 비관계형 데이터베이스