빅데이터 처리 프로세스의 이해
빅데이터 처리 프로세스는 대규모의 다양한 유형과 속도의 데이터를 효율적으로 수집, 저장, 처리, 분석하는 과정을 말하며, 단계별 설명은 다음과 같다. 빅데이터 수집 및 정제 정형, 반정형, 비정형 데이터가 혼재되어 있어 부적확한 데이터를 수집하면 빅데이터를 처리, 분석할 때 비효율성이 발생하기 때문에 데이터 수집 및 정제에도 기술이 필요하다. 데이터 정제는 데이터 품질을 향상시키기 위해 데이터의 오류 및 불일치를 감지하고 제거한다. 이 단계에서는 ETL 프로세스가 데이터 추출, 변화, 로딩을 수행하며, 이를 데이터 웨어하우스에서 데이터를 관리하는데 중요한 역할을 한다. 빅데이터 저장 및 관리 빅데이터의 용량과 다양성의 속성 때문에 데이터베이스 시스템에서 확장성이 중요한 관심사가 되었다. 하지만 기존 관계..
2023. 6. 7.
빅데이터 플랫폼의 정의와 구성 및 기능
빅데이터 플랫폼은 다양하고 방대한 양의 데이터로부터 수집한 데이터를 처리하고, 분석하여 지식을 추출함으로써 지능화된 시버스를 제공하기 위한 IT 환경이다. 빅데이터 플랫폼 구성 및 기능 빅데이터 플랫폼을 구성하는 구성요소는 빅데이터 수집, 저장, 처리, 분석, 표현 측면에서 구분할 수 있으며, 각 구성요소가 제공해야 하는 주요기능은 다음과 같다. 구분 주요기능 수집 비정형 데이터 수집, 정형 데이터 수집, ETL, Web Robot, 로그 수집 웹스크롤링, Open API를 활용한 데이터 수집, IoT 센싱 저장 정형 및 비정형 데이터 분산관리, 데이터 공유, 메모리 관리, 데이터 보안 등 처리 배치처리, 실시간 처리, 분선병렬 처리, 인메모리 처리 등 분석 텍스트 분석, 기계학습, 통계기능, 데이터마이..
2023. 5. 30.
