빅데이터 플랫폼의 정의와 구성 및 기능
빅데이터 플랫폼은 다양하고 방대한 양의 데이터로부터 수집한 데이터를 처리하고, 분석하여 지식을 추출함으로써 지능화된 시버스를 제공하기 위한 IT 환경이다. 빅데이터 플랫폼 구성 및 기능 빅데이터 플랫폼을 구성하는 구성요소는 빅데이터 수집, 저장, 처리, 분석, 표현 측면에서 구분할 수 있으며, 각 구성요소가 제공해야 하는 주요기능은 다음과 같다. 구분 주요기능 수집 비정형 데이터 수집, 정형 데이터 수집, ETL, Web Robot, 로그 수집 웹스크롤링, Open API를 활용한 데이터 수집, IoT 센싱 저장 정형 및 비정형 데이터 분산관리, 데이터 공유, 메모리 관리, 데이터 보안 등 처리 배치처리, 실시간 처리, 분선병렬 처리, 인메모리 처리 등 분석 텍스트 분석, 기계학습, 통계기능, 데이터마이..
2023. 5. 30.
