Spark: 분산 데이터 처리 프레임워크로, 빅데이터 작업을 빠르게 처리할 수 있습니다. Kubernetes(K8s) 상에서 Spark를 실행하려면 Spark의 Kubernetes 지원 기능을 이용할 수 있습니다. 설치하기 (기본) Spark Docker 이미지 준비하기 Spark 다운로드 및 압축 해제: Docker 이미지 빌드 및 푸시: ./bin/docker-image-tool.sh -r -t v3.1.2 build ./bin/docker-image-tool.sh -r -t v3.1.2 push wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz tar -xvzf spark-3.1.2-bin-hado..

jupyterhub https://github.com/jupyterhub JupyterHub는 여러 사용자가 동시에 Jupyter notebook 서버를 사용할 수 있게 해주는 플랫폼입니다. 각 사용자는 자신만의 격리된 Jupyter notebook 인스턴스를 받게 되며, 이를 통해 코드를 작성하고 실행할 수 있습니다. JupyterHub for kubernetes JupyterHub는 사용자 인증, 사용자별 격리된 환경 제공, 컴퓨팅 리소스 할당 등의 기능을 제공합니다. 또한, Kubernetes와 같은 클라우드 플랫폼에 배포할 수 있어, 대규모 사용자 그룹을 지원하고, 컴퓨팅 리소스를 효율적으로 관리할 수 있습니다. zero-to-jupyterhub https://github.com/jupyterhu..

Jupyter Notebook: 데이터 과학의 필수 도구 Jupyter Notebook은 데이터 과학자들에게 필수적인 도구로, 코드 작성, 결과 시각화, 문서 작성 등을 한 곳에서 할 수 있게 해줍니다. 이 글에서는 Jupyter Notebook의 기능과 사용 방법에 대해 알아보겠습니다. Jupyter Notebook이란? Jupyter Notebook은 웹 기반의 대화형 컴퓨팅 환경으로, 코드, 텍스트, 수식, 그림 등을 포함한 문서를 생성하고 공유할 수 있습니다. Python, R, Julia 등 다양한 프로그래밍 언어를 지원하며, 데이터 분석, 머신러닝, 통계 모델링 등 다양한 분야에서 활용됩니다. Jupyter Notebook의 주요 기능 대화형 코딩: Jupyter Notebook은 코드를 셀 ..