14편 · 응용분야 — 클러스터·임베디드·가상화·클라우드·빅데이터

학습 경로 · 3과목 3장

← 13편 · 인터넷 활용 (2) 네트워크 서비스와 인터페이스 · 처음으로: 0 · 시험 지도

범위: 3과목 3장 "응용분야" — 리눅스 클러스터링, 임베디드 리눅스, 리눅스 가상화, 클라우드 서비스 모델, 5대 핵심 플랫폼, 빅데이터, 하둡, 리눅스 기반 임베디드 및 특화 시스템.

형광펜 읽는 법: 노랑 핵심 정의·결론 · 빨강 시험에서 헷갈리는 구분·함정 · 파랑 외워야 할 순서·목록

단원 도입

PART 1 · 클러스터와 임베디드

1. 리눅스 클러스터링

핵심 필기

LVS(Linux Virtual Server) 구성

• 로드밸런서(Director): 가상 IP(VIP)로 요청을 받아 실제 서버로 넘긴다. 커널의 IPVS 모듈, 관리 명령 ipvsadm.
• 실제 서버(Real Server): 요청을 처리하는 서버들.
• 전달 방식: LVS-NAT(디렉터가 주소 변환, 응답도 디렉터 경유), LVS-DR(Direct Routing, 응답은 실제 서버가 클라이언트로 직접), LVS-TUN(IP 터널링, 원격지 서버).
• 스케줄링: 라운드 로빈(rr), 가중 라운드 로빈(wrr), 최소 연결(lc), 가중 최소 연결(wlc), 해시 방식(sh·dh) 등.

HA 용어

2. 임베디드 리눅스

핵심 필기

• 임베디드 시스템: 특정 목적의 기능을 수행하도록 하드웨어와 소프트웨어를 묶어 기기 안에 넣은 시스템(셋톱박스, 공유기, 스마트TV, 차량 인포테인먼트…).

구성과 개발 도구

리눅스 기반 모바일·임베디드 플랫폼

PART 2 · 가상화와 클라우드

3. 리눅스 가상화

핵심 필기

전가상화 vs 반가상화

하이퍼바이저(Hypervisor, VMM) 유형

그림 14-1 · 하이퍼바이저 타입 1·2와 컨테이너 — 누르면 원본 크기로 열린다.

대표 가상화 솔루션

$ grep -c -E 'vmx|svm' /proc/cpuinfo    # 0보다 크면 CPU가 VT-x(vmx)·AMD-V(svm) 지원
8
$ lsmod | grep kvm                       # KVM 모듈 적재 확인 (출력 예시)
kvm_intel             409600  0
kvm                  1368064  1 kvm_intel
$ virsh list --all                       # libvirt로 가상 머신 목록
 Id   Name     State
-------------------------
 1    web01    running
 -    db01     shut off

컨테이너 — OS 수준 가상화

• Docker: 이미지(읽기 전용 템플릿) → 컨테이너(실행 인스턴스). 이미지는 Dockerfile로 만들고 Docker Hub(레지스트리)에서 받는다. 여러 컨테이너를 배치·관리하는 오케스트레이션 도구는 쿠버네티스(Kubernetes).

$ docker pull nginx                     # 이미지 내려받기
$ docker images                         # 로컬 이미지 목록
$ docker run -d -p 8080:80 --name web nginx   # 백그라운드(-d) 실행, 호스트 8080 → 컨테이너 80
$ docker ps                             # 실행 중 컨테이너 (-a: 멈춘 것 포함)
$ docker exec -it web /bin/bash         # 실행 중 컨테이너 안에서 셸
$ docker stop web && docker rm web      # 중지 후 삭제 (이미지 삭제는 docker rmi)

4. 클라우드 서비스 모델

핵심 필기

그림 14-2 · 누가 어디까지 관리하나 — IaaS·PaaS·SaaS — 누르면 원본 크기로 열린다.

배포 모델

• 오픈스택(OpenStack): IaaS를 구축하는 대표 오픈소스. 구성 요소 Nova(컴퓨트), Swift(오브젝트 스토리지), Cinder(블록 스토리지), Neutron(네트워크), Keystone(인증), Glance(이미지), Horizon(웹 대시보드). 그 밖에 CloudStack, Eucalyptus.
• 그 밖의 as-a-Service: DaaS(데스크톱), BaaS(백엔드), FaaS(함수 단위, 서버리스 — AWS Lambda).

5. 5대 핵심 플랫폼

PART 3 · 빅데이터와 하둡, 특화 시스템

6. 빅데이터

핵심 필기

• 3V = Volume · Velocity · Variety, 여기에 Veracity · Value를 더하면 5V. (교재에 따라 Variability·Visualization을 넣어 7V로도 말한다.)
• 처리 단계: 수집(Flume, Sqoop, Kafka) → 저장(HDFS, NoSQL) → 처리(MapReduce, Spark) → 분석(Hive, R, 머신러닝) → 시각화.

7. 하둡(Hadoop)

핵심 필기

• 하둡 1에서는 MapReduce가 JobTracker·TaskTracker로 자원 관리까지 했지만, 하둡 2에서 그 일을 YARN으로 분리해 MapReduce 외의 엔진(Spark 등)도 같은 클러스터에서 돌 수 있게 됐다.

그림 14-3 · HDFS와 YARN — 누르면 원본 크기로 열린다.

하둡 에코시스템

$ hdfs dfs -mkdir -p /user/kim/input          # HDFS에 디렉터리 생성
$ hdfs dfs -put access.log /user/kim/input    # 로컬 → HDFS
$ hdfs dfs -ls /user/kim/input                # 목록 (hadoop fs -ls 도 같은 뜻)
$ hdfs dfs -get /user/kim/output/part-r-00000 .   # HDFS → 로컬

8. 리눅스 기반 임베디드·특화 시스템

실전 문제

단원 마무리

책을 덮고 꺼내 보기

• 리눅스 가상 서버 기반 부하 분산 클러스터를 LVS라 하고, 관리 명령은 ipvsadm이다.
• 노드끼리 살아 있음을 확인하는 주기 신호를 하트비트라 한다.
• 게스트 OS를 수정하지 않는 가상화는 전가상화, 수정하는 가상화는 반가상화다.
• KVM은 리눅스 커널 모듈로 동작하며 CPU의 VT-x 또는 AMD-V 지원이 필요하다.
• 컨테이너는 호스트의 커널을 공유해 게스트 OS가 없다.
• HDFS에서 메타데이터는 네임노드가, 실제 블록은 데이터노드가 맡는다.
• 하둡 2에서 자원 관리를 맡는 구성 요소는 YARN이다.

다음으로 갈 기준: 클러스터 3유형, 가상화 2방식·하이퍼바이저 2유형, 클라우드 3모델, 하둡 3구성을 표 없이 말할 수 있으면 14편까지 끝이다. 처음으로 돌아가 전체 암기 코드를 복습한다: 0 · 시험 지도.

정답과 해설

확인 문제 정답

1. 고가용성(HA) 클러스터 — 하트비트로 감시하다 페일오버한다.
2. BusyBox.
3. webOS.
4. 반가상화(Para-virtualization), 대표 솔루션 Xen.
5. 타입 2(Hosted) 하이퍼바이저 — 예: VirtualBox, VMware Workstation.
6. cgroups(자원 제한)와 namespaces(격리).
7. IaaS.
8. 컴퓨트 Nova, 인증 Keystone.
9. 네임노드(NameNode).
10. Sqoop.