맵리듀스 (1) 썸네일형 리스트형 3.하둡-맵리듀스 맵리듀스는 8단계의 처리과정을 거침 1.입력 -데이터를 입력하는 단계 2.맵 -입력을 분할하여 키별로 데이터를 처리 3.컴바이너 -데이터 전송을 줄이기위하여 맵의 결과를 정리 4.파티셔너 -맵의 출력 결과 키 값을 해쉬 처리하여 어떤 리듀서로 넘길지 결정 5.셔플 -각 리듀서로 데이터를 이동 6.정렬 -리듀서로 전달된 데이터를 키 값 기준으로 정렬 7.리듀서 -리듀서로 데이터를 처리하고 결과를 저장 8.출력 리듀서의 결과를 정의된 형태로 저장 보조 도구 -Counter 하둡에서 맵리듀스의 잡 진행 상황을 확인할 수 있는 카운터를 제공. 잡은 맵리듀스의 작업, 입출력 상황을 확인할 수 있는 카운터를 제공하고 사용자가 카운터를 생성하여 사용하기도 가능 -Distributed Cache 맵리듀스 잡에서 공유되.. 이전 1 다음