빅데이터 처리 프로세스의 이해
빅데이터 처리 프로세스는 대규모의 다양한 유형과 속도의 데이터를 효율적으로 수집, 저장, 처리, 분석하는 과정을 말하며, 단계별 설명은 다음과 같다. 빅데이터 수집 및 정제 정형, 반정형, 비정형 데이터가 혼재되어 있어 부적확한 데이터를 수집하면 빅데이터를 처리, 분석할 때 비효율성이 발생하기 때문에 데이터 수집 및 정제에도 기술이 필요하다. 데이터 정제는 데이터 품질을 향상시키기 위해 데이터의 오류 및 불일치를 감지하고 제거한다. 이 단계에서는 ETL 프로세스가 데이터 추출, 변화, 로딩을 수행하며, 이를 데이터 웨어하우스에서 데이터를 관리하는데 중요한 역할을 한다. 빅데이터 저장 및 관리 빅데이터의 용량과 다양성의 속성 때문에 데이터베이스 시스템에서 확장성이 중요한 관심사가 되었다. 하지만 기존 관계..
2023. 6. 7.
