반응형 [고급 프로그래밍] Week 8: Spark에서의 데이터 처리 및 분석 Day 1: Spark SQL강의 내용:Spark SQL의 개념Spark SQL이란 무엇인가?Spark SQL의 주요 기능Spark SQL의 아키텍처Catalyst 옵티마이저Tungsten 실행 엔진Spark SQL의 사용 사례구조화된 데이터 처리데이터베이스 통합실습:Spark SQL을 사용한 데이터 처리 예제# SparkSession 생성spark = SparkSession.builder.appName("SparkSQLExample").getOrCreate()# DataFrame 생성data = [("Alice", 25), ("Bob", 30), ("Charlie", 35)]columns = ["Name", "Age"]df = spark.createDataFrame(data, columns)# SQL .. 2024. 6. 2. [고급 프로그래밍] Week 7: Apache Spark 개요 및 설치, RDD와 DataFrame 기본 개념 Day 1: Apache Spark 개요강의 내용:Apache Spark의 개념Apache Spark란 무엇인가?Spark의 주요 특징Spark의 사용 사례Spark의 아키텍처Spark CoreSpark SQLSpark StreamingMLlib (Machine Learning Library)GraphXSpark의 장점빠른 처리 속도사용의 편리성유연한 API실습:Apache Spark 개요와 아키텍처 설명### Apache Spark 개요1. Apache Spark란? - 분산 데이터 처리 프레임워크 - 대규모 데이터 분석 및 처리 - 다양한 언어 지원 (Python, Java, Scala 등)2. Spark 아키텍처 - Spark Core: 기본 컴퓨팅 엔진 - Spark SQL: 구.. 2024. 6. 2. 이전 1 다음 반응형
