본문 바로가기
반응형
[고급 프로그래밍] Week 6: Hadoop의 MapReduce 구현과 Python을 이용한 예제 Day 1: Hadoop 소개강의 내용:Hadoop의 개념Hadoop이란 무엇인가?Hadoop의 주요 구성 요소Hadoop 아키텍처HDFS (Hadoop Distributed File System)YARN (Yet Another Resource Negotiator)Hadoop MapReduceHadoop의 장점과 단점대규모 데이터 처리의 장점복잡성과 비용실습:Hadoop 환경 설정 및 설치 안내### Hadoop 설치 및 설정1. Hadoop 다운로드 및 설치 - https://hadoop.apache.org/ 에서 다운로드 - 설치 및 환경 변수 설정2. Hadoop 클러스터 설정 - HDFS 및 YARN 구성 파일 설정 - 네임노드 및 데이터노드 시작 Day 2: Hadoop의 MapR.. 2024. 6. 2.
[고급 프로그래밍] Week 5: MapReduce 개념과 아키텍처 Day 1: MapReduce 개념강의 내용:MapReduce의 정의MapReduce란 무엇인가?Map과 Reduce의 기본 개념MapReduce의 역사와 배경Google의 MapReduce 논문분산 데이터 처리의 필요성MapReduce의 주요 기능데이터 병렬 처리대규모 데이터 집합의 처리실습:간단한 MapReduce 개념 시뮬레이션from collections import defaultdictdef map_function(document): for word in document.split(): yield (word.lower(), 1)def reduce_function(word, counts): yield (word, sum(counts))documents = ["Hello wo.. 2024. 6. 2.
[고급 프로그래밍] Week X: 분산 파일 시스템 (Distributed File System) Day 1: 분산 파일 시스템 개요강의 내용:분산 파일 시스템의 개념분산 파일 시스템이란 무엇인가?중앙 집중식 파일 시스템과의 차이점분산 파일 시스템의 구조파일 시스템의 계층적 구조네임노드 (Name Node)와 데이터노드 (Data Node)분산 파일 시스템의 응용 사례HDFS (Hadoop Distributed File System)Google File System (GFS)실습:분산 파일 시스템의 기본 아키텍처 설계### 분산 파일 시스템 기본 아키텍처1. 네임노드 (Name Node) - 파일 시스템 메타데이터 관리 - 파일 위치 정보 저장2. 데이터노드 (Data Node) - 실제 데이터 블록 저장 - 데이터 읽기 및 쓰기 요청 처리 Day 2: 파일 분산 및 저장강의 내용:파일.. 2024. 6. 2.
[고급 프로그래밍] Week 4: 분산 시스템의 기본 원리 Day 1: 분산 시스템 아키텍처강의 내용:분산 시스템 아키텍처의 개념클라이언트-서버 모델피어 투 피어 (P2P) 모델분산 시스템의 구성 요소노드 (Nodes)네트워크 (Networks)프로토콜 (Protocols)실습:간단한 분산 시스템 아키텍처 설계# P2P 네트워크 시뮬레이션 예제import threadingclass Node: def __init__(self, name): self.name = name self.peers = [] def connect(self, peer): self.peers.append(peer) peer.peers.append(self) def broadcast(self, message): for .. 2024. 6. 2.
[고급 프로그래밍] Week 3: 분산 시스템의 개념과 장단점 Day 1: 분산 시스템 개요강의 내용:분산 시스템의 개념분산 시스템이란 무엇인가?분산 시스템의 기본 구조분산 시스템의 특징자원 공유, 병렬 처리, 확장성분산 시스템의 응용 분야클라우드 컴퓨팅, 분산 데이터베이스, P2P 네트워크실습:분산 시스템 server_socket.listen() print("Server listening on port 65432...") conn, addr = server_socket.accept() with conn: print(f"Connected by {addr}") while True: data = conn.recv(1024) if not data: break .. 2024. 6. 2.
[고급 프로그래밍] Week 2: 멀티 프로세싱 (Multiprocessing) Day 1: 멀티 프로세싱 개요강의 내용:멀티 프로세싱의 개념멀티 프로세싱이란 무엇인가?멀티 스레딩과 멀티 프로세싱의 차이점파이썬에서의 멀티 프로세싱multiprocessing 모듈 소개기본 프로세스 생성 및 관리실습:간단한 멀티 프로세싱 예제import multiprocessingdef print_numbers(): for i in range(10): print(i)def print_letters(): for letter in 'abcdefghij': print(letter)process1 = multiprocessing.Process(target=print_numbers)process2 = multiprocessing.Process(target=print_lette.. 2024. 6. 2.
[고급 프로그래밍] Week 1: 멀티 스레딩 (Multithreading) Day 1: 멀티 스레딩 개요강의 내용:멀티 스레딩의 개념멀티 스레딩이란 무엇인가?병렬 처리의 필요성과 이점파이썬에서의 멀티 스레딩threading 모듈 소개기본 스레드 생성 및 관리실습:간단한 멀티 스레딩 예제import threadingdef print_numbers(): for i in range(10): print(i)def print_letters(): for letter in 'abcdefghij': print(letter)thread1 = threading.Thread(target=print_numbers)thread2 = threading.Thread(target=print_letters)thread1.start()thread2.start()thread1.. 2024. 6. 2.
[네트워크 프로그래밍] 고급 네트워크 프로그래밍 교육과정 (20주) Week 1-2: 네트워크 프로그래밍 기초 복습 및 심화네트워크 기본 개념과 TCP/IP 모델소켓 프로그래밍 기초 및 고급 소켓 옵션간단한 TCP/UDP 서버와 클라이언트 구현Week 3-4: 네트워크 프로토콜 심화TCP 연결 설정, 흐름 제어 및 혼잡 제어UDP 프로토콜, 데이터그램 통신, 멀티캐스트TCP와 UDP의 심화 학습과 구현Week 5-6: 비동기 I/O 및 멀티스레드 프로그래밍비동기 I/O 개념 및 asyncio 모듈 사용법멀티스레드 소켓 프로그래밍비동기와 멀티스레드를 활용한 네트워크 프로그래밍 예제Week 7-8: 보안 네트워크 프로그래밍SSL/TLS 개념과 구현SSH, HTTPS, VPN의 이해 및 사용법보안 소켓 프로그래밍과 paramiko를 사용한 SSH 클라이언트 구현Week 9-1.. 2024. 6. 2.
[디자인패턴] Week 28: 파이썬 디자인 패턴 III - 행동 패턴 Day 1: 행동 패턴 개요강의 내용:행동 패턴의 개념행동 패턴이란 무엇인가?행동 패턴의 중요성주요 행동 패턴전략 패턴 (Strategy)옵저버 패턴 (Observer)상태 패턴 (State)커맨드 패턴 (Command)템플릿 메서드 패턴 (Template Method)행동 패턴의 응용 사례객체의 상호작용 관리, 동작의 캡슐화실습:간단한 행동 패턴 예제# Strategy 패턴 예제class Strategy: def execute(self): passclass ConcreteStrategyA(Strategy): def execute(self): return "ConcreteStrategyA"class ConcreteStrategyB(Strategy): def exe.. 2024. 6. 2.
[디자인패턴] Week 27: 파이썬 디자인 패턴 II - 구조 패턴 Day 1: 구조 패턴 개요강의 내용:구조 패턴의 개념구조 패턴이란 무엇인가?구조 패턴의 중요성주요 구조 패턴어댑터 (Adapter)데코레이터 (Decorator)퍼사드 (Facade)플라이웨이트 (Flyweight)프록시 (Proxy)구조 패턴의 응용 사례코드 재사용성 향상, 시스템 구조 단순화실습:간단한 구조 패턴 예제# Adapter 패턴 예제class Target: def request(self): return "Target: The default target's behavior."class Adaptee: def specific_request(self): return ".eetpadA eht fo roivaheb laicepS"class Adapter(Targ.. 2024. 6. 2.
반응형

티스토리툴바