[PyCon Korea 2026] 데이터 엔지니어는 왜 Pandas를 버리고 Spark를 쓰게 되는가? - 박주형
조회수 131회·1개월 전·길이 미제공
아직 이 영상의 타임라인이 없어요.
영상 설명 원문 보기
Many Python developers rely on Pandas for data analysis, but as data scale grows, they run into limitations in performance and memory. This session examines the structural limitations of Pandas and explores how Apache Spark addresses them. It also breaks down Spark's distributed processing concepts and explains, from a beginner-friendly perspective, why Spark and Databricks are widely used in real-world data engineering environments. --- 많은 Python 개발자들이 데이터 분석을 위해 Pandas를 사용하지만, 데이터 규모가 커질수록 성능과 메모리 측면에서 한계를 경험하게 됩니다. 본 세션에서는 Pandas가 가진 구조적 한계를 살펴보고, Apache Spark가 이를 어떻게 해결하는지 알아봅니다. 또한 Spark의 분산 처리 개념과 실제 데이터 엔지니어링 환경에서 Spark 및 Databricks가 활용되는 이유를 초보자 관점에서 쉽게 설명합니다. --- Juhyeong Park Computer Science and Engineering, Dongguk University GDG on Campus DGU Organizer --- 박주형 동국대학교 컴퓨터공학전공 GDG on Campus DGU Organizer