Spark: 분산 데이터 처리 프레임워크로, 빅데이터 작업을 빠르게 처리할 수 있습니다. Kubernetes(K8s) 상에서 Spark를 실행하려면 Spark의 Kubernetes 지원 기능을 이용할 수 있습니다. 설치하기 (기본) Spark Docker 이미지 준비하기 Spark 다운로드 및 압축 해제: Docker 이미지 빌드 및 푸시: ./bin/docker-image-tool.sh -r -t v3.1.2 build ./bin/docker-image-tool.sh -r -t v3.1.2 push wget https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz tar -xvzf spark-3.1.2-bin-hado..
LXC 컨테이너 내부에 Kubernetes를 설치하려면 바로 설치가 되지 않는다. 설치하기 위해 몇 가지 설정을 바꿔야한다. 메인노드 설정 메인노드에서 쉘을 열고 설정한다. vi /etc/sysctl.conf net.ipv4.ip_forward=1 주석 해제 맨아래 vm.swapiness=0 추가 스왑 해제 (스왑 해제하고 재부팅시 스왑 켜지지 않는 명령어) swapoff -a && sed -i '/swap/s/^/#/' /etc/fstab 커널 module 설정 cat
가끔 vi editer 에서 방향키 누를때 "ABCD" 로 써지며 del 키도 안먹히는 경우가 있다. 다음명령어로 설정을 해준다. echo -e "set bs=2\nset nocp" > ~/.exrc set bs=2: 이 명령어는 모든 것을 지우게 하는 백스페이스 동작을 설정합니다. set nocp: 이 명령어는 에디터를 더 많은 기능을 제공하는 Vim(호환성 없음) 모드로 설정합니다.
내부망을 사용하는 윈도우 vm을 하나 만들어서 192.168.1.1 pfSence 웹서비스로 들어간다. ID : admin PW : pfsense 로그인 후 기본 세팅 설정을 완료하면 대시보드가 뜬다 설치 이후 막강한 pfsense의 여러 기능들을 이용하면 됩니다. Package Manager 소개할 만한것중에 Package Manager를 소개해보면 VPN 업계 표준인 OpenVPN 의 대채제로 요즘 핫하게 떠오르고 있는 WireGuard 를 한번 설치해 보도록 한다. WireGuard 를 설치하니 원래 없었던 VPN 탭에 WireGuard 가 생성이 되었다. 당연히 UNIX계열 운영체제인 FreeBSD 기반이고, shall에 접근 가능한 만큼 따로 설치해서 사용을 할 수 있지만 이런식으로 지원하는 P..
가상환경 (예 proxmox) 에서 Virtio 컨트롤러를 사용하면 윈도우 설치 시에 disk가 잡히지 않는다 그것을 해결하는 방법이다. https://pve.proxmox.com/wiki/Windows_VirtIO_Drivers Windows VirtIO Drivers - Proxmox VE Introduction VirtIO Drivers are paravirtualized drivers for kvm/Linux (see http://www.linux-kvm.org/page/Virtio). In short, they enable direct (paravirtualized) access to devices and peripherals for virtual machines using them, inste..
기존 사용하던 공유기를 해체하고 직접 Proxmox 서버를 다이렉트로 인터넷 허브와 연결을 하여서 외부ip를 편하게 사용을 하고 있던 중 내부망의 필요성이 생겼다. 소프트웨어적으로 공유기의 역할을 하는 라우터 를구성을 하려 한다. pfSense 강력한 오픈 소스 방화벽 pfSense는 FreeBSD 기반의 오픈 소스 방화벽 및 라우터 소프트웨어 기업, 전문가, 일반 사용자들에게 신뢰받는 이 소프트웨어는 다양한 네트워킹 기능을 제공함 주요 특징: 상태 지향적 검사, NAT, 포트 포워딩 및 다양한 VPN 지원과 같은 다양한 방화벽 기능, 실시간 및 역사적 그래픽 보고서를 통한 모니터링. DNS 및 DHCP 서버 기능. 사용자 친화적인 웹 인터페이스로 관리 용이. 여러 외부 연결에 대한 로드 밸런싱 및 장애..
HVM(Hardware Virtual Machine)과 PV(Paravirtualization)는 가상화 기술에 관련된 용어입다. HVM(Hardware Virtual Machine): HVM은 전가상화(Full Virtualization)를 의미합니다. 이 방식에서, 가상 머신(VM)은 호스트 하드웨어와 완전히 독립적으로 동작하며, 게스트 운영 체제는 자신이 직접 하드웨어에 접근하는 것처럼 동작합니다. HVM은 하드웨어 가상화를 지원하는 모든 종류의 운영 체제를 실행할 수 있으며, 가상화 오버헤드가 높을 수 있습니다. 장점: 완전한 OS를 가상화할 수 있습니다. 게스트 OS 수정 없이 그대로 사용 가능합니다. 단점: 성능 오버헤드가 발생할 수 있습니다. 가상화 하드웨어 지원이 필요합니다. PV(Para..
"스트로브 펄스(Strobe Pulse)"와 "핸드셰이킹(Handshaking)"은 두 장치나 시스템 사이의 데이터 통신에서 사용되는 비동기적인 데이터 전송 메커니즘을 설명하는 용어입니다. 스트로브 펄스 (Strobe Pulse): 스트로브 펄스 방식은 데이터 전송 요청의 시작과 종료를 알리는 특별한 신호, 즉 "스트로브"를 사용합니다. 송신 장치가 데이터를 전송 준비가 되면 스트로브 신호를 활성화하여 수신 장치에 알립니다. 수신 장치는 이 스트로브 신호를 감지하고 준비된 데이터를 읽습니다. 데이터 읽기가 완료되면 스트로브 신호는 비활성화됩니다. 이 방식은 단순하고 빠르게 데이터를 전송할 수 있지만, 수신 장치가 데이터를 처리할 준비가 되어 있지 않은 경우에 문제가 발생할 수 있습니다. 핸드셰이킹 (Ha..
사용 명령어 모음 exit: 현재 위치 나가기 (상위 설정으로) 기본 사용자 모드 Router> 위처럼 표시되는 기본 모드 enable (en) : 관리자 모드로 진입 관리자 모드 Router# 위처럼 표시되는 관리자 모드 configure terminal (conf t): 전역 구성 모드로 진입 정보 확인과 저장: 1. show interfaces (show in): 인터페이스 정보 확인. 2. show users: 접속한 사용자 정보 확인. 3. show ip route (show ip ro): 라우팅 테이블 정보 확인. 4. show flash (show fl): 플래쉬 메모리 내용 확인. 5. `show processes (show proc): 프로세스 정보 확인. 6. copy running-c..