본문 바로가기

AI/빅데이터

2.빅데이터 처리단계

빅데이터의 처리단계는 5단계로 처리됨.

1.수집
데이터를 수집하는 단계
정형, 비정형, 반정형 데이터 수집
●내부 데이터
시스템 로그, DB 데이터
●외부 데이터
동영상, 오디오 정보
웹 크롤링, SNS 데이터

●정제
수집한 데이터를 적재하기 위해 데이터를 전처리하는 과정

●적재
정제된 데이터를 분석하기 위하여 적재하는 단계

●분석
적재한 데이터를 의미 있는 지표로 분석하는 단계

●시각화
분석한 데이터를 도표로 보여주는 단계

'AI > 빅데이터' 카테고리의 다른 글

3.하둡-YARN  (0) 2021.02.18
3.하둡-맵리듀스  (0) 2021.02.18
3.하둡-2  (0) 2021.02.18
3.하둡-1  (0) 2021.02.17
1.빅데이터  (0) 2021.02.16