빅데이터 정의, 구성요소, 활용, 출현배경에 대하여

빅데이터란 무엇인가, 구성요소, 활용방안과 출현 배경에 대하여 살펴보자

빅데이터의 정의

• 데이터 크기 관점
  일반적인 데이터베이스로 저장, 관리, 분석 할 수 있는 범위를 초과하는 규모의 데이터이다.
• 데이터 분석 관점
  다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처이다.
• 데이터 가치 관점
  대용량 데이터를 활용해 작은 용량에서는 얻을  수 없었던 새로운 통찰이나 가치를 추출해내는 일이며, 이를 활용해 시장, 기업 및 시민과 정부 등 많은 분야에 변화를 가져오는 일이다.

빅데이터 구성요소

[ 빅데이터의 5가지 요소 ]

가트너의 에널리스트 더그 레이니는 연구 보고서에서 현재 가장 널리 사용되는 빅데이터의 속성을 3V [규모(Volume), 다양성(Variety), 속도(Velocity)로 정의 하였다.

 

IBM은 여기에 정확성((Veracity) 요소를 대해 4V로 정의 하였고, 최근에는 가치(Value)를 포함하여 5V로 정의한다.

(1) 규모(Volume)

• 미디어나 위치정보, 동영상 등과 같이 다루어야 할 데이터의 크기를 말한다.
• 빅데이터(Volume of Big Data)는 막대한 양의 데이터를 의미하는데, 이 양은 보통 기존의 데이터 수집, 저장, 처리 기술과 도구로는 처리하기 어렵거나 불가능한 규모입니다

(2) 다양성(Variety)

• 다양한 종류의 데이터를 수용하는 속성을 말한다.
• 빅데이터는 정해져 있는 정형 데이터뿐만 아니라, 감시카메라에서 생성되는 동영상, 사진, SNS상의 메시지, RFID 테그나 센서 값 등 다양한 비정형 데이터도 생성된다.

(3) 속도(Velocity)

• 대용량의 데이터를 빠르게 처리하고 분석할 수 있는 속성을 말한다.
• 데이터를 자동으로 생성하는 센서, 스마트폰 등 데이터 생성 및 유통채널의 다변화로 데이터 생성속도가 빨라지고 이에 대한 처리속도의 각속화를 요구한다.

(4) 정확성(Veracity)

• 방대한 양의 데이터를 분석하여 일정한 패턴을 추출하게 되는 데, 이 패턴이 오류나 노이즈로 인한것이 아니라 데이터의 특징이라고 신뢰할 수 있는지를 의미한다.

(5) 가치(Value)

• 빅데이터는 결국 비즈니스나 연구에 사용되며, 유용한 가치를 이끌어낼 수 있어야 의미가 있다.
• 모든 규모의 조직의 비즈니스 목표를 달성하는데 필요한 데이터를 수집하고 분석하기 위해 데이터 전력을 수립해야 한다.

빅데이터의 활용 3요소

빅데이터 활용은 가치있는 데이터를 찾는 것에서 부터 시작한다.

빅데이터를 다룰 수 있는 기술이 필요하며, 이를 활용할 인력이 필요하다.

 

(1) 자원 (빅데이터)

• 데이터 자원 확보
• 데이터 품질 관리

(2) 기술 (빅데이터 플랫폼)

• 빅데이터 기술을 잘 사용할 수 있도록 준비된 환경
• 데이터 저장, 관리 기술
  - NoSQL(Not only SQL)
  - ETL(Extraction, Transformation, Loading)
• 대용량 데이터 처리
  - 하둡
  - 맵리듀스
• 빅데이터  분석
  - 자연어 처리 
  - 의미 분석
  - 데이터 마이닝
• 시각화
  - 빅데이터 표현

(3) 인력 (Data Scientist)

• 수학, 공학(IT 기술과 엔지니어링) 능력
• 경제학, 통계학, 심리학 등 다문학적 이해
• 비판적 시가과 커뮤니케이션 능력
• 스토리텔링 등 시각화 능력

빅데이터 출현 배경

[ 빅데이터 출현 배경 ]

(1) 데이터 생성 및 저장 기술의 발전

• 디지털 기술의 발전과 인터넷의 보급으로 많은 양의 데이터가 생성되고 저장될 수 있게 되었으며, 기존의 데이터베이스 시스템은 대부분 정형화된 데이터를 다루는 데에 주로 사용되었지만, 새로운 기술과 아키텍처의 등장으로 비정형화된 데이터를 다룰 수 있는 기반을 마련하게 되었다.

(2) 소셜 미디어 및 모바일 기술의 발전

• 소셜 미디어와 모바일 애플리케이션의 보급으로 인해 사람들은 지속적으로 데이터를 생성하고 공유하게 되므로써 사용자 행동, 선호도, 인터렉션 등 다양한 측면을 포함하고 있어 매우 유용한 정보로 활용될 수 있다.

(3) 저렴한 저장 매체의 등장

• 저장 매체의 가격이 저렴해지면서 기업과 개인이 대용량의 데이터를 보다 저렴하게 저장할 수 있게 되어 데이터를 보다 오랜 기간 동안 보관하고 분석할 수 있는 기반을 제공한다.

(4) 데이터 처리 기술의 발전

• 기존의 데이터 처리 방법으로는 대용량의 데이터를 신속하게 처리하기 어렵기 때문에, 분산 처리, 병렬 처리 등의 기술로 인해, 머신러닝, 인공지능, 데이터 마이닝 등의 분석 기술의 발전으로 빅데이터에서 가치 있는 인사이트를 추출하는 것이 가능해졌다.

(5) 경쟁력 확보와 비즈니스 가치 추구

• 빅데이터 분석을 통해 예측, 패턴 인식, 효율화 등의 가치를 창출하여 기업의 의사 결정에 활용하는 것이 중요한 경쟁 요소가 되었다.

마치며

빅데이터는 대량의 다양한 종류의 데이터를 의미하며, 이를 수집하고 분석하여 가치를 창출하는 것이 핵심이며, 현대 비즈니스에 매우 중요한 역할을 하며, 적절한 분석과 활용을 통해 기업의 경쟁력을 향상시키고 혁신을 이끌어낼 수 있다.