_faq

- FAQs

답변 | Re: SPARK(In-Memory 방식)과 Hadoop MapReduce(분산병렬 처리방식)가 종종 비교되곤합니다. 두 가지…

페이지정보

ankus 17-03-23 16:55 조회 6,231 댓글 0

첨부파일

본문

[답변] hadoop은 디스크 기반의 mapreduce, spark는 메모리 기반의 mapreduce 방식입니다.
→ Hadoop은 mapreduce 방식으로 데이터를 분산 처리 합니다. 여러 곳에 분산 저장된 데이터를 처리 하기 위해 mapreduce 방식으로 데이터를 처리 합니다. spark 역시 mapreduce 방식의 데이터처리 구조를 지원합니다. 즉, spark도 여러 곳에 저장된 데이터를 처리 하기 위해 mapreduce 방식으로 데이터를 처리 할 수 있다는 뜻입니다. 둘의 차이는, 데이터를 메모리에 놓고 하느냐, 디스크에 놓고 하느냐 입니다. Hadoop은 기본적으로 디스크로부터 map/reduce할 데이터를 불러오고, 처리 결과를 디스크로 씁니다. 따라서, 데이터의 읽기/쓰기 속도는 느린 반면, 디스크 용량 만큼의 데이터를 한번에 처리 할 수 있습니다.
반면, spark는 메모리로부터 map/reduce할 데이터를 불러오고, 처리 결과를 메모리로 씁니다. 따라서, 데이터의 읽기/쓰기 속도는 빠른 반면, 메모리 용량만큼의 데이터만 한번에 처리 할 수 있습니다. 보다 정확히 표현하면, 메모리 용량보다 큰 데이터를 처리 할 때는 처리 이외의 메모리 내 데이터 교체라던가, 작업 과정 저장, 컨텍스트 스위칭 등과 같은 류의 과부하가 걸릴 수도 있는 것입니다.
결론은, spark나 hadoop이나 모두 mapreduce 방식을 지원합니다. 다만, hadoop은 디스크 기반의 mapreduce 인것이고, spark는 메모리 기반의 mapreduce 인것입니다. 메모리가 커버 가능한 만큼의 데이터라면, 메모리 기반이 유리 할 것이고, 메모리 용량 이상의 데이터라면 크면 클수록, 디스크 기반의 유리 할 것입니다. 또한, 메모리 기반이 속도가 장점인만큼, 기계학습이나 마이닝과 같은 반복 작업이 많을 수록 메모리 기반이 유리할 것입니다. (단, 일정 용량 이하의 데이터인 경우에 한합니다.)

댓글목록

등록된 댓글이 없습니다.