IT 끄적이는 물고기

2023.05.30

★ kubeconfig 파일에 몇 개의 클러스터가 정의되어 있는가?

-> 1개

controlplane ~ ➜ kubectl config view 
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://controlplane:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
current-context: kubernetes-admin@kubernetes
kind: Config
preferences: {}
users:
- name: kubernetes-admin
  user:
    client-certificate-data: DATA+OMITTED
    client-key-data: DATA+OMITTED

controlplane ~ ➜

★ kubeconfig 파일에 몇명의 사용자가 정의되어 있는가?

-> 1명

controlplane ~ ➜  kubectl config view 
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://controlplane:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
current-context: kubernetes-admin@kubernetes
kind: Config
preferences: {}
users:
- name: kubernetes-admin
  user:
    client-certificate-data: DATA+OMITTED
    client-key-data: DATA+OMITTED

controlplane ~ ➜

★ kubeconfig 파일에는 몇 개의 컨텍스트가 정의되어 있는가?

-> 1개

controlplane ~ ➜  kubectl config view 
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://controlplane:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
current-context: kubernetes-admin@kubernetes
kind: Config
preferences: {}
users:
- name: kubernetes-admin
  user:
    client-certificate-data: DATA+OMITTED
    client-key-data: DATA+OMITTED

controlplane ~ ➜

★ 컨텍스트에서 구성된 사용자 이름이 무엇인가요?

-> kubernetes-admin

controlplane ~ ➜  kubectl config view 
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://controlplane:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
current-context: kubernetes-admin@kubernetes
kind: Config
preferences: {}
users:
- name: kubernetes-admin
  user:
    client-certificate-data: DATA+OMITTED
    client-key-data: DATA+OMITTED

controlplane ~ ➜

★ 컨텍스트에서 구성된  클러스터 이름이 무엇인가요?

-> kubernetes

controlplane ~ ➜  kubectl config view 
apiVersion: v1
clusters:
- cluster:
    certificate-authority-data: DATA+OMITTED
    server: https://controlplane:6443
  name: kubernetes
contexts:
- context:
    cluster: kubernetes
    user: kubernetes-admin
  name: kubernetes-admin@kubernetes
current-context: kubernetes-admin@kubernetes
kind: Config
preferences: {}
users:
- name: kubernetes-admin
  user:
    client-certificate-data: DATA+OMITTED
    client-key-data: DATA+OMITTED

controlplane ~ ➜

★ my-kube-config 구성된 클러스터는 몇개인가요?

-> 4개

★ my-kube-config 구성된 컨텍스트는 몇개인가요?

-> 4개

★ my-kube-config 구성된 컨텍스트에서 research의 유저는 누구인가요?

-> dev-user

★ my-kube-config 구성된 aws-user의 인증서 파일명은 무엇인가요?

-> aws-user.crt

controlplane ~ ➜  kubectl config view --kubeconfig my-kube-config 
apiVersion: v1
clusters:
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: development
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: kubernetes-on-aws
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: production
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: test-cluster-1
contexts:
- context:
    cluster: kubernetes-on-aws
    user: aws-user
  name: aws-user@kubernetes-on-aws
- context:
    cluster: test-cluster-1
    user: dev-user
  name: research
- context:
    cluster: development
    user: test-user
  name: test-user@development
- context:
    cluster: production
    user: test-user
  name: test-user@production
current-context: test-user@development
kind: Config
preferences: {}
users:
- name: aws-user
  user:
    client-certificate: /etc/kubernetes/pki/users/aws-user/aws-user.crt
    client-key: /etc/kubernetes/pki/users/aws-user/aws-user.key
- name: dev-user
  user:
    client-certificate: /etc/kubernetes/pki/users/dev-user/developer-user.crt
    client-key: /etc/kubernetes/pki/users/dev-user/dev-user.key
- name: test-user
  user:
    client-certificate: /etc/kubernetes/pki/users/test-user/test-user.crt
    client-key: /etc/kubernetes/pki/users/test-user/test-user.key

controlplane ~ ➜

★ my-kube-config 파일에서 현재 컨텍스트가 무엇으로 설정되어 있나요?

-> test-user@development

controlplane ~ ➜  kubectl config current-context --kubeconfig my-kube-config 
test-user@development

controlplane ~ ➜

★ dev-user를 사용하여 test-cluster-1에 접근하려고합니다.  현재 컨텍스트를 올바른 컨텍스트로 설정해주세요.

-> research 컨텍스트로 스위칭

controlplane ~ ➜  kubectl config --kubeconfig=/root/my-kube-config use-context research
Switched to context "research".

controlplane ~ ➜

-> 현재 컨텍스트 확인

controlplane ~ ➜  kubectl config --kubeconfig=/root/my-kube-config current-context 
research

controlplane ~ ➜

★ my-kube-config 파일을 기본 kubeconfig로 설정한다.

-> /.kube/config 파일에다가 복사한다.

controlplane  ➜  mv my-kube-config /root/.kube/config

-> 확인한다.

controlplane ~ ➜  kubectl config view 
apiVersion: v1
clusters:
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: development
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: kubernetes-on-aws
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: production
- cluster:
    certificate-authority: /etc/kubernetes/pki/ca.crt
    server: https://controlplane:6443
  name: test-cluster-1
contexts:
- context:
    cluster: kubernetes-on-aws
    user: aws-user
  name: aws-user@kubernetes-on-aws
- context:
    cluster: test-cluster-1
    user: dev-user
  name: research
- context:
    cluster: development
    user: test-user
  name: test-user@development
- context:
    cluster: production
    user: test-user
  name: test-user@production
current-context: research
kind: Config
preferences: {}
users:
- name: aws-user
  user:
    client-certificate: /etc/kubernetes/pki/users/aws-user/aws-user.crt
    client-key: /etc/kubernetes/pki/users/aws-user/aws-user.key
- name: dev-user
  user:
    client-certificate: /etc/kubernetes/pki/users/dev-user/developer-user.crt
    client-key: /etc/kubernetes/pki/users/dev-user/dev-user.key
- name: test-user
  user:
    client-certificate: /etc/kubernetes/pki/users/test-user/test-user.crt
    client-key: /etc/kubernetes/pki/users/test-user/test-user.key

controlplane ~ ➜

★ 현재 컨텍스트를 연구로 설정한 상태에서 클러스터에 액세스하려고 합니다. 그러나 뭔가 잘못된 것 같습니다. 문제를 식별하고 수정하세요.

-> pod를 확인하려는데 오류 발생 (사용자 인증서를 읽을 수 없음)

controlplane ~ ➜  kubectl get pods
error: unable to read client-cert /etc/kubernetes/pki/users/dev-user/developer-user.crt for dev-user due to open /etc/kubernetes/pki/users/dev-user/developer-user.crt: no such file or directory

controlplane ~ ✖

-> config를 보고 user항목에 키 경로 확인해보기

controlplane ~ ✖ kubectl config view 
users:
- name: aws-user
  user:
    client-certificate: /etc/kubernetes/pki/users/aws-user/aws-user.crt
    client-key: /etc/kubernetes/pki/users/aws-user/aws-user.key
- name: dev-user
  user:
    client-certificate: /etc/kubernetes/pki/users/dev-user/developer-user.crt
    client-key: /etc/kubernetes/pki/users/dev-user/dev-user.key
- name: test-user
  user:
    client-certificate: /etc/kubernetes/pki/users/test-user/test-user.crt
    client-key: /etc/kubernetes/pki/users/test-user/test-user.key

controlplane ~ ➜

->     client-certificate: /etc/kubernetes/pki/users/dev-user/developer-user.crt 고치기

controlplane ~ ➜ kubectl config view

users:
- name: aws-user
  user:
    client-certificate: /etc/kubernetes/pki/users/aws-user/aws-user.crt
    client-key: /etc/kubernetes/pki/users/aws-user/aws-user.key
- name: dev-user
  user:
    client-certificate: /etc/kubernetes/pki/users/dev-user/dev-user.crt
    client-key: /etc/kubernetes/pki/users/dev-user/dev-user.key
- name: test-user
  user:
    client-certificate: /etc/kubernetes/pki/users/test-user/test-user.crt
    client-key: /etc/kubernetes/pki/users/test-user/test-user.key

controlplane ~ ➜

-> pod 확인

controlplane ~ ➜  kubectl get pods -A
NAMESPACE      NAME                                   READY   STATUS    RESTARTS   AGE
kube-flannel   kube-flannel-ds-2mr4z                  1/1     Running   0          54m
kube-system    coredns-787d4945fb-bxctq               1/1     Running   0          54m
kube-system    coredns-787d4945fb-r7hz5               1/1     Running   0          54m
kube-system    etcd-controlplane                      1/1     Running   0          54m
kube-system    kube-apiserver-controlplane            1/1     Running   0          54m
kube-system    kube-controller-manager-controlplane   1/1     Running   0          54m
kube-system    kube-proxy-f27wr                       1/1     Running   0          54m
kube-system    kube-scheduler-controlplane            1/1     Running   0          54m

controlplane ~ ➜

방화벽 기본 옵션 설정

• 방화벽에 기본 설정값과 IPSec 옵션 설정을 할 수 있음.

방화벽 기본 설정값과 IPSec에 사용하는 설정값이 들어있다.
(config)# security parameters

방화벽이 기본 Drop 상태일 때 Drop된 Session 로그 기록시 설정
(config)# audit-default-dropped

방화벽 출발지 IP별 Session 제한 값을 설정
(config)# session-limit 100000

• NexG-UTM 장비는 Default Drop을 기본 정책이므로 기본 정책이 필요
• Local out : UTM 장비 자체에서 패킷이 생성되어 나가는 패킷은 모두 허용됨

DHCP Server에서 사용하는 포트 오픈
(config)# ip rule 16
(config-ip-rule)# description DHCP Server
(config-ip-rule)# source any
(config-ip-rule)# destination any
(config-ip-rule)# protocol udp sport eq 68 dport eq 67
(config-ip-rule)# policy pass
(config-ip-rule)# log connections
(config-ip-rule)# enable

OSPF에서 사용하는 프로토콜 오픈
(config)# ip rule 17
(config-ip-rule)# description Connect Local OSPF
(config-ip-rule)# source any
(config-ip-rule)# destination any
(config-ip-rule)# protocol ospfigp
(config-ip-rule)# inbound interface eth0
(config-ip-rule)# policy pass
(config-ip-rule)# enable

객체 관리

Network-list 설정

• 방화벽 Rule, PBR(Source, Destination)부분 객체 적용 가능.

(config)# network-list [network-list name] [ip address] description [name]


IP 한 개의 Host 객체 생성
(config)# network-list local 192.168.1.100/32 description Server-1
(config)# network-list local 192.168.1.200/32 description User-1

0 ~ 255번 까지의 IP 목록
(config)# network-list server 10.10.10.0/24

1 ~ 10번 까지의 IP 목록
(config)# network-list test 192.168.1.1 192.168.1.10

11 ~ 15번 까지의 IP 목록
(config)# network-list test 192.168.1.11 192.168.1.15

• 객체 변경 수정 발생시 Rule 다시 적용, Network-list 객체 개수 제한 없음.

생성한 Network-list 객체 rule 적용 설정
(config)# ip rule 100
(config-ip-rule)# source network-list test
(config-ip-rule)# source network-list local
(config-ip-rule)# destination network-list server
(config-ip-rule)# policy pass
(config-ip-rule)# enable

Service-list 설정

• 다양한 프로토콜 선택 가능,  객체 개수 제한 없음, 룰별 여러 객체 적용 가능
• service-list 객체에 기본적으로 사용할 수 있는 프로토콜 이름이 있다
• 프로토콜 이름이 없는경우 번호를 입력 

service-list 객체 생성 예시
(config)# service-list test icmp
(config)# service-list test tcp sport any dport eq 80 description http
(config)# service-list test udp sport any dport eq 53 description dns

service-list 객체 적용 예시
(config)# ip rule 100
(config-ip-rule)# source network-list local
(config-ip-rule)# destination network-list server
(config-ip-rule)# service-list test
(config-ip-rule)# policy pass
(config-ip-rule)# enable

IP rule 

차단 정책 설정

• 192.168.1.0/24 대역에서 192.168.2.0/24 대역끼리 icmp를 차단 예시 rule
• Protocol 지정하는 설정이 없으면 모든 Protocol을 선택함.

(config)# ip rule 100
(config-ip-rule)# description TEST rule
(config-ip-rule)# source 192.168.1.0/24
(config-ip-rule)# destination 192.168.2.0/24
(config-ip-rule)# protocol icmp
(config-ip-rule)# policy drop
(config-ip-rule)# log connections
(config-ip-rule)# enable
(config-ip-rule)# end

정책 설정 샘플 예시

PASS (단방향 허용 정책)
(config)# ip rule 1
(config-ip-rule)# source 192.168.1.0/24
(config-ip-rule)# destination 10.10.10.0/24
(config-ip-rule)# policy pass
(config-ip-rule)# enable

PASS (양방향 허용 정책)
(config)# ip rule 2
(config-ip-rule)# source 192.168.1.0/24
(config-ip-rule)# destination 10.10.10.0/24
(config-ip-rule)# policy pass bi-direction
(config-ip-rule)# enable
 
DROP (단방향 차단 정책)
(config)# ip rule 3
(config-ip-rule)# source 192.168.1.0/24
(config-ip-rule)# destination 10.10.10.0/24
(config-ip-rule)# policy drop
(config-ip-rule)# enable

DROP (양방향 차단 정책)
(config)# ip rule 4
(config-ip-rule)# source 192.168.1.0/24
(config-ip-rule)# destination 10.10.10.0/24
(config-ip-rule)# policy drop bi-direction
(config-ip-rule)# enable

정책적 라우팅(Policy Based Routing)

PBR 구문 형식

• Destination 이 없으면 0.0.0.0/0(any) 네트워크가 생략되어 있음(생략 가능)
• policy (번호) : PBR 우선 순위 (라우팅의 AD 값과 비슷함)
• table (번호) : PBR 의 목적지 주소와 GW 아이피 주소 및 인터페이스

(config)# ip route policy [policy_num] table [table_num] source [source] destination [destination] [gateway] [출력 Interface명] [dhcp]

터널 연결용 PBR 설정

유동 IP PBR 설정
(config)# ip route policy 1 table 1 source eth1 eth1 dhcp

고정 IP PBR 설정
(config)# ip route policy 2 table 2 source eth2 192.168.0.254 eth2

일반적인 PBR 설정

192.168.1.100/32 사용자가 10.10.10.10/32 목적지로 갈때 eth1 인터페이스로 나갑니다.
(config)# ip route policy 3 table 3 source 192.168.1.100/32 destination 10.10.10.10/32 eth1 dhcp

192.168.1.200/32 사용자가 10.10.10.10/32 목적지로 갈때 eth2 인터페이스 GW로 나갑니다.
(config)# ip route policy 4 table 4 source 192.168.1.200/32 destination 10.10.10.10/32 172.16.0.254 eth2

Offloading 설정

• offloading을 off시 모든 패킷을 CPU에서 처리 하기 때문에 트래픽이 많은 환경에서는 되도록 off 하지 않도록 권장.
• schedule - 멀티 코어 상태에서 out-of-order를 줄일 수 있도록 세션 기반으로 처리 (기본설정 off)
• reorder - IPS 엔진 통과후 re-orderd 발생을 줄이는 기능 (기본설정 off 권장)

(config)# ip offloading reroder
(config)# ip offloading schedule

(config)# ip offloading schedule all static
(config)# ip offloading reorder all

(config)# no ip offloading

Offloading 동작 상태 확인
# sh ip offloading

Offloading 동작 상태 상세 정보
# sh ip offloading statistics

기본 설정

hostname 설정
(config)# hostname NEXG_VPN

사용자 계정 설정
(config)# username jinsu secret jinsu1234

interface IP 설정

• eth0 은 brige interface로 lan 포트에 대한 switch 포트다.

(config)# interface lo
(config-if)# ip address 192.168.0.1/32
(config-if)# no shutdown
!
(config)# interface eth1
(config-if)# description EXT_Port
(config-if)# ip address 192.168.1.1/30
(config-if)# ip address 192.168.2.1/30 secondary
(config-if)# no shutdown

line vty 설정

• login local - 로컬 계정으로 로그인 허용
• exec-timeout 5 0 - 장비에 접속시 5분동안 반응이 없으면 접속 종료
• local secret digest sha512 - 장비 접속 인증방식 설정

기본 접속 설정 시
(config)# line vty
(config-line)# login local
(config-line)# exec-timeout 5 0
(config-line)# local secret digest sha512

tacacs+ 사용시
(config-line)# local tacacs+ local

웹서버 설정

• HTTP

(config)# ip http port 17877
(config)# ip http server

• HTTPS

(config)# ip http secure-port 17877
(config)# ip http secure-server

SSH 연결 설정

• 장비 시간 설정 변경시 rsa key 재 생성 필요 ( rsa key 지우는 명령 X)

SSH 키 생성
# generate crypto key rsa label jinsu
jinsu 이름으로 crypto key 생성
# show crypto key mypubkey rsa

SSH 설정
(config)# ip ssh rsa keypair-name jinsu
(config)# ip ssh port 2222
(config)# ip ssh server

SSH 서버 상태 확인
# show ip ssh server status

Logging 설정

1. local 로그 저장

• logging local all - 로컬에 모든 로그 저장
• logging local path disk1:/log alert 30 purge 20 stat - 저장공간 30퍼 남으면 알람 20퍼 남으면 삭제

(config)# logging local all
(config)# logging local path disk1:/log alert 30 purge 20 stat

2. remote 로그 저장

(config)# logging remote 192.168.100.1 ips l7filter session appgw-http appgw-mail appgw-im appgw-ftp ipsec system audit vpdn user-identity
(config)# logging source 192.168.0.1

VOS 업그레이드 및 변경

# copy ftp://admin@192.168.100.1/vos-4.6-octeon-150126.bin disk0:/ /f
# boot system vos-4.6-octeon-150126.bin
# reload

수동 백업, 복원, 삭제

• 수동 백업, 복원, 삭제

백업
# copy disk0:/startup-config disk0:/startup-config.bak
# show disk0:/startup-config.bak
복원
# copy disk0:/startup-config.bak disk0:/start-config
# copy disk0:/startup-config.bak disk0:/startup-config /f
삭제
# delete disk0:/startup-config.bak

공장 설정 초기화

# configure reset
[yes/no] yes
# reload
[yes/no] yes

인터페이스 상태 감시

• 회선 연결 장비가 Hang 상태로 통신이 불가능 할 때 회선 링크를 강제로 끊는 기능

1. 고정 IP를 사용하는 경우

• icmp 사용하면 상대 장비에 트래픽을 발생하여 차단하므로 주의해서 사용
• icmp 패킷을 5초 간격으로 3번 응답 실패시 회선 Down

(config)# interface eth1
(config-if)# ip address 10.10.10.1/24 link-timeout 5 3 icmp 10.10.10.254

2. DHCP 를 사용하는 경우

• arp 패킷을 5초 간격으로 3번 응답 실패시 회선 Down

(config)# interface eth2
(config-if)# ip address dhcp link-timeout 5 3 arp

인터페이스 상태 확인
# show ip interface brief

링크 상태 확인
# show link

필수 - 회선이 2개 이상일 경우 PBR 설정 필수

(config)# ip route policy 10 table 10 source eth1 10.10.10.254 eth1
(config)# ip route policy 20 table 20 source eth2 eth2 dhcp

Policy 확인
# show ip route policy

권장
1. link-timeout 5 3 arp ( VDSL, Metro 고속회선에 사용)
2. link-timeout 8 3 icmp ( ADSL 저속 회선 또는 손실이 많은 회선에 사용)

Static 라우팅

(config)# ip route 0.0.0.0/0 10.10.10.254

라우팅 확인
# show ip route

ECMP 라우팅

• 라우팅 뒤에 AD값을 추가하여 Equal Cost 설정

(config)# ip route 0.0.0.0/0 eth1 dhcp
(config)# ip route 0.0.0.0/0 eth2 dhcp 100

NTP 설정

• ntp ignore-offset - 기본 시간 (1000sec) 이상 시간차가 날 경우에도 동기화 설정

자동 설정
(config)# ntp source eth0
(config)# ntp server 203.248.240.140
(config)# ntp server 210.98.16.100
(config)# ntp ignore-offset
(config)# clock timezone KST 9

수동 설정 ( 1회 )
# clock ntpdate 203.248.240.140 

NTP 상태 확인
# show ntp status
# show ntp associations

VLAN 설정

VLAN 생성
(config)# vlan database
(config-vlan)# vlan 10 state enable
(config-vlan)# vlan 20 state enable

인터페이스에 VLAN 선언
(config)# interface eth0
(config-if)# switchport
(config-if)# switchport mode trunk
(config-if)# switchport allowd vlan all
(config-if)# no shutdown

(config)# interface lan1
(config-if)# switchport
(config-if)# switchport access vlan 10
(config-if)# no shutdown

(config)# interface lan2
(config-if)# switchport
(config-if)# switchport access vlan 20
(config-if)# no shutdown

VLAN 가상 인터페이스 설정
(config)# interface vlan0.10
(config-if)# ip addess 10.10.10.1
(config-if)# no shutdown

VLAN 확인
# show vlan brief

DHCP server 설정

내부 사용자 인터페이스
(config)# interface eth1
(config-if)# ip address 192.168.1.1/24
(config-if)# no shutdown

DHCP Pool 설정
(config)# ip dhcp pool jinsu
(dhcp-config)# network 192.168.1.0 255.255.255.0
(dhcp-config)# range 192.168.1.100 192.168.1.200
(dhcp-config)# dns-server 168.126.63.1
(dhcp-config)# dns-server 168.126.63.2
(dhcp-config)# default-router 192.168.1.1

DHCP 사용할 내부 인터페이스
(config)# ip dhcp server eth1

dhcp 확인
# show ip dhcp pool

VRRP 설정

• virtual-ip 192.168.1.1 backup - 가상 GW 설정
• circuit-failover eth2 100 - eth2 인터페이스가 Down되면 priority 100 감소
• arp-send fail-over 3 - 링크가 살거나 장비가 살아올라올때 fail-over 시 GARP 주기 3회

(config)# router vrrp 10 eth1
(config-router)# virtual-ip 192.168.1.1 backup
(config-router)# priority 200
(config-router)# circuit-failover eth2 100
(config-router)# arp-send fail-over 3
(config-router)# enable

VRRP 확인
# show vrrp brief

System 성능 확인

CPU 기본 상태 보기 / 상세 상태 보기, 프로세스 Uptime 상태 확인
# sh process cpu detail

Memory 기본 상태 보기 / 상세 상태 보기, 프로세스 Uptime 상태 확인
# sh process memory detail