반응형 [고급 프로그래밍] Week 6: Hadoop의 MapReduce 구현과 Python을 이용한 예제 Day 1: Hadoop 소개강의 내용:Hadoop의 개념Hadoop이란 무엇인가?Hadoop의 주요 구성 요소Hadoop 아키텍처HDFS (Hadoop Distributed File System)YARN (Yet Another Resource Negotiator)Hadoop MapReduceHadoop의 장점과 단점대규모 데이터 처리의 장점복잡성과 비용실습:Hadoop 환경 설정 및 설치 안내### Hadoop 설치 및 설정1. Hadoop 다운로드 및 설치 - https://hadoop.apache.org/ 에서 다운로드 - 설치 및 환경 변수 설정2. Hadoop 클러스터 설정 - HDFS 및 YARN 구성 파일 설정 - 네임노드 및 데이터노드 시작 Day 2: Hadoop의 MapR.. 2024. 6. 2. [고급 프로그래밍] Week 5: MapReduce 개념과 아키텍처 Day 1: MapReduce 개념강의 내용:MapReduce의 정의MapReduce란 무엇인가?Map과 Reduce의 기본 개념MapReduce의 역사와 배경Google의 MapReduce 논문분산 데이터 처리의 필요성MapReduce의 주요 기능데이터 병렬 처리대규모 데이터 집합의 처리실습:간단한 MapReduce 개념 시뮬레이션from collections import defaultdictdef map_function(document): for word in document.split(): yield (word.lower(), 1)def reduce_function(word, counts): yield (word, sum(counts))documents = ["Hello wo.. 2024. 6. 2. 이전 1 다음 반응형
