7: 2021-09-08 (水) 16:19:04 iseki |
現: 2021-09-15 (水) 13:03:38 iseki |
| - Podによるクラスター構築環境 | | - Podによるクラスター構築環境 |
| - 勉強中 | | - 勉強中 |
| + | |
| + | - [[kubectl>./kubectl]] |
| + | - [[helm>./helm]] |
| + | |
| + | - RANCHER https://qiita.com/suzukihi724/items/00b167c6f5f2ddeca718 |
| #br | | #br |
| - https://qiita.com/ishida0503/items/f3b62b02dec4f6fef42f | | - https://qiita.com/ishida0503/items/f3b62b02dec4f6fef42f |
| #br | | #br |
| + | **** ''Check !!!! 後でチェックする.'' [#f5a64eb5] |
| + | - kubectl config set-context $(kubectl config current-context) --namespace k8sns |
| + | #br |
| + | |
| ** Install (CentOS8)[#zf601099] | | ** Install (CentOS8)[#zf601099] |
| + | - オンプレ用 |
| + | #br |
| | | |
| *** swap を止める [#i460600e] | | *** swap を止める [#i460600e] |
| #br | | #br |
| | | |
- | *** iptables の適用設定 [#k9224b53] | + | *** firewalld を止める. [#k1b76d7b] |
| + | #br |
| + | *** routing の適用設定 [#k9224b53] |
| - /etc/sysctl.d/k8s.conf | | - /etc/sysctl.d/k8s.conf |
| net.bridge.bridge-nf-call-ip6tables = 1 | | net.bridge.bridge-nf-call-ip6tables = 1 |
| -sysctl --system | | -sysctl --system |
| #br | | #br |
| + | |
| *** 本体のインストール [#sabae243] | | *** 本体のインストール [#sabae243] |
| | | |
- | **** K8sリポジトリ(EL7) [#o2437fdb] | + | **** K8sリポジトリ(RHEL7) [#o2437fdb] |
| - /etc/yum.repos.d/kubernetes.repo | | - /etc/yum.repos.d/kubernetes.repo |
| [kubernetes] | | [kubernetes] |
| | | |
| | | |
- | - yum install -y ipvsadm | + | - yum install -y ipvsadm iproute-tc |
| - yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes | | - yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes |
| #br | | #br |
| | | |
- | **** EL7 ではなくて,最新版を手動で入れる. [#dae1dbdf] | + | **** RHEL7 ではなくて,最新版を手動で入れる. [#dae1dbdf] |
| - yum install -y socat iproute-tc ipvsadm conntrack-tools | | - yum install -y socat iproute-tc ipvsadm conntrack-tools |
| - バイナリのダウンロード | | - バイナリのダウンロード |
| Wants=network-online.target | | Wants=network-online.target |
| After=network-online.target | | After=network-online.target |
| + | |
| [Service] | | [Service] |
| ExecStart=/usr/bin/kubelet | | ExecStart=/usr/bin/kubelet |
| StartLimitInterval=0 | | StartLimitInterval=0 |
| RestartSec=10 | | RestartSec=10 |
| + | |
| [Install] | | [Install] |
| WantedBy=multi-user.target | | WantedBy=multi-user.target |
| KUBELET_EXTRA_ARGS="--cgroup-driver=cgroupfs" | | KUBELET_EXTRA_ARGS="--cgroup-driver=cgroupfs" |
| | | |
- | *** 初期化 [#q2a9d75b] | + | - 設定しないと kubeadm が正常に動作しない |
- | - kubeadm init --pod-network-cidr=10.128.0.0/16 | + | #br |
| + | |
| + | *** クラスター構築 [#n5846171] |
| + | |
| + | **** kubeadm [#e750df5b] |
| + | - kubeadm init --pod-network-cidr=10.128.0.0/16 --service-cidr 10.128.0.0/16 --control-plane-endpoint=172.22.1.75:6443 |
| + | -- --control-plane-endpoint は内部 DNSのIP:Port を指定する? |
| + | - 作られるファイル |
| -- /var/lib/etcd/ | | -- /var/lib/etcd/ |
| -- /var/lib/kubelet | | -- /var/lib/kubelet |
| -- /etc/kubernetes | | -- /etc/kubernetes |
| + | -- /etc/cni/net.d |
| + | #br |
| - もう一度設定する場合は,kubeadm reset を行う | | - もう一度設定する場合は,kubeadm reset を行う |
| -- ネットワークインターフェイスを作った場合は,削除して置く.ex) ip link delete flannel.1 | | -- ネットワークインターフェイスを作った場合は,削除して置く.ex) ip link delete flannel.1 |
| -- 何かリセットできない.... 関連ファイル削除,関連プロセス皆殺し... | | -- 何かリセットできない.... 関連ファイル削除,関連プロセス皆殺し... |
| + | #br |
| + | |
| + | **** minikube [#g2baeece] |
| + | - 別のクラスター構築ツール. |
| #br | | #br |
| | | |
| | | |
| *** 仮想ネットワーク設定 CNI(calico) [#aa02daa6] | | *** 仮想ネットワーク設定 CNI(calico) [#aa02daa6] |
| + | **** Create a single-host Kubernetes cluster [#h0381a92] |
| + | - https://docs.projectcalico.org/getting-started/kubernetes/quickstart |
| + | |
| + | kubectl create -f https://docs.projectcalico.org/manifests/tigera-operator.yaml |
| + | wget https://docs.projectcalico.org/manifests/custom-resources.yaml |
| + | vi custom-resources.yaml (correct IP) |
| + | kubectl create -f custom-resources.yaml |
| + | |
| + | watch kubectl get pods -n calico-system |
| + | kubectl taint nodes --all node-role.kubernetes.io/master- (マスタノードでも Podを実行できるようになる) |
| + | kubectl get nodes -o wide |
| + | |
| + | - /etc/NetworkManager/conf.d/calico.conf で以下の設定が必要になるかもしれない |
| + | [keyfile] |
| + | unmanaged-devices=interface-name:cali*;interface-name:tunl*;interface-name:vxlan.calico |
| + | |
| + | **** calicoctl [#t3e4c13e] |
| + | - 各ソフトのバージョンを合わせる. |
| + | - Install calicoctl as a binary on a single host |
| + | cd /usr/local/bin |
| + | curl -o calicoctl -O -L "https://github.com/projectcalico/calicoctl/releases/download/v3.20.0/calicoctl" |
| + | chmod a+rx calicoctl |
| + | ln -s calicoctl kubectl-calico |
| + | -- kubectl calico -h でチェック |
| + | |
| + | - Install calicoctl as a container on a single host |
| + | docker pull calico/ctl:v3.20.0 |
| + | - Install calicoctl as a Kubernetes pod |
| + | kubectl apply -f https://docs.projectcalico.org/manifests/calicoctl.yaml |
| + | - 確認 |
| + | kubectl exec -ti -n kube-system calicoctl -- /calicoctl get profiles -o wide |
| + | #br |
| + | |
| + | ***** 他の方法 [#dba04328] |
| + | - その1 |
| curl -L https://docs.projectcalico.org/manifests/calico.yaml | \ | | curl -L https://docs.projectcalico.org/manifests/calico.yaml | \ |
| sed '/ - name: CALICO_DISABLE_FILE_LOGGING/i\ # ADD' | \ | | sed '/ - name: CALICO_DISABLE_FILE_LOGGING/i\ # ADD' | \ |
| cat - > calico.yaml | | cat - > calico.yaml |
| kubectl apply -f calico.yaml | | kubectl apply -f calico.yaml |
- | #br | + | |
| + | watch kubectl get pods -n calico-system |
| + | kubectl taint nodes --all node-role.kubernetes.io/master- |
| + | kubectl get nodes -o wide |
| + | |
| + | - その2 |
| + | cat <<EOF > /etc/NetworkManager/conf.d/calico.conf |
| + | [keyfile] |
| + | unmanaged-devices=interface-name:cali*;interface-name:tunl*;interface-name:vxlan.calico |
| + | EOF |
| + | wget https://docs.projectcalico.org/v3.15/manifests/calico.yaml |
| + | vi calico.yaml (correct IP) |
| + | kubectl apply -f calico.yaml |
| + | |
| + | watch kubectl get pods -n calico-system |
| + | kubectl taint nodes --all node-role.kubernetes.io/master- |
| + | kubectl get nodes -o wide |
| *** Worker node [#w001f6b1] | | *** Worker node [#w001f6b1] |
| - 初期化で kubeadm join コマンドを打つ. | | - 初期化で kubeadm join コマンドを打つ. |
| -- ex) kubeadm join 172.22.1.75:6443 --token nmtraf.wfzxuqzqti5unh9f --discovery-token-ca-cert-hash sha256:13d681e6bd6466503666bbb... | | -- ex) kubeadm join 172.22.1.75:6443 --token nmtraf.wfzxuqzqti5unh9f --discovery-token-ca-cert-hash sha256:13d681e6bd6466503666bbb... |
| + | - マスタの /etc/kubernetes/admin.conf をコピーすると,kubectl コマンドが打てるようになる. |
| + | #br |
| + | |
| + | *** MetalLB Load Balancer [#eae94dce] |
| + | - https://zaki-hmkc.hatenablog.com/entry/2020/07/10/235944 |
| + | |
| + | kubectl edit configmap -n kube-system kube-proxy |
| + | kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.9.3/manifests/namespace.yaml |
| + | kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.9.3/manifests/metallb.yaml |
| + | kubectl get ns |
| + | kubectl get pod -n metallb-system |
| + | kubectl create secret generic -n metallb-system memberlist --from-literal=secretkey="$(openssl rand -base64 128)" |
| + | vi l2-configuration.yaml |
| + | kubectl apply -f l2-configuration.yaml |
| + | kubectl get service |
| + | |
| + | - [[l2-configuration.yaml>./l2-configuration.yaml]] |
| + | #br |
| + | |
| + | ** Getting first [#o1bbd83d] |
| + | - kubeadm はデフォルト状態では --type=LoadBalancer が使用できないという情報あり? |
| + | -- EXTERNA-IP が pending のままになる. |
| + | #br |
| + | |
| + | *** nginx [#f3a9efea] |
| + | - https://qiita.com/suzukihi724/items/241f7241d297a2d4a55c |
| + | #br |
| + | |
| + | **** MetalLB を使用した場合 [#l6b076d5] |
| + | kubectl run nginx --image=nginx:1.11.3 |
| + | kubectl get pod |
| + | kubectl expose pod nginx --port=80 --type=LoadBalancer --name=nginx |
| + | kubectl get service |
| + | |
| + | NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE |
| + | kubernetes ClusterIP 10.128.0.1 <none> 443/TCP 17m |
| + | nginx LoadBalancer 10.128.44.222 172.22.1.70 80:32606/TCP 3m42s |
| + | |
| + | - 172.22.1.70:80 へのアクセスで Webに接続可 |
| + | #br |
| + | |
| + | *** OLD: nginx [#fe881da9] |
| + | |
| + | **** Start [#x082d3f7] |
| + | kubectl run nginx --image=nginx:1.11.3 |
| + | kubectl get pod |
| + | kubectl expose pod nginx --external-ip=172.22.1.75 --port=80 |
| + | kubectl get service |
| + | |
| + | NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE |
| + | kubernetes ClusterIP 10.128.0.1 <none> 443/TCP 15m |
| + | nginx ClusterIP 10.128.175.104 192.168.27.43 80/TCP 3s |
| + | - access to http://192.168.27.43 |
| + | - IP を自分のもの以外にしても,アクセスポイントはできる.ルーティングしていないから外部からはアクセス不可. |
| + | #br |
| + | |
| + | **** Stop [#k5b28d74] |
| + | kubectl delete service nginx |
| + | kubectl get service |
| + | kubectl delete pod nginx |
| + | kubectl get pod |
| + | #br |
| + | |
| + | **** LoadBalancer [#meaea643] |
| + | - IPを指定した場合,--type=LoadBalancer を付けると,そのまま通る. |
| + | - その場合,ポートは通常の 80番 と LoadBalancerが指定した番号,どちらも使用できる? |
| + | |
| + | # kubectl expose pod nginx --external-ip=172.22.1.75 --port=80 --type=LoadBalancer |
| + | # kubectl get service |
| + | NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE |
| + | kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 80m |
| + | nginx LoadBalancer 10.107.28.138 172.22.1.75 80:32348/TCP 4s |
| + | - --external-ip を指定しない場合は,pending となる |
| + | |
| + | # kubectl expose pod nginx --port=80 --type=LoadBalancer --name=nginx2 |
| + | # kubectl get service |
| + | NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE |
| + | kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 95m |
| + | nginx LoadBalancer 10.107.28.138 172.22.1.75 80:32348/TCP 14m |
| + | nginx2 LoadBalancer 10.107.150.209 <pending> 80:31353/TCP 7s |
| + | - pending 状態のサービスには,kubectl edit service -n .... で pending 部分を編集できる! |
| + | |
| + | spec: |
| + | allocateLoadBalancerNodePorts: true |
| + | clusterIP: 10.128.90.50 |
| + | clusterIPs: |
| + | - 10.128.90.50 |
| + | externalIPs: |
| + | - 192.168.27.43 |
| + | externalTrafficPolicy: Cluster |
| + | |
| + | **** 自分のIP以外でも指定可能 [#i0993ac6] |
| + | # kubectl expose pod nginx --port 80 --external-ip=192.168.27.44 --name=nginx2 |
| + | # kubectl get service |
| + | NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE |
| + | kubernetes ClusterIP 10.128.0.1 <none> 443/TCP 67m |
| + | nginx ClusterIP 10.128.175.104 192.168.27.43 80/TCP 51m |
| + | nginx2 ClusterIP 10.128.175.124 192.168.27.44 80/TCP 4m53s |
| + | #br |
| + | *** JupyterHub [#t5f59cf9] |
| + | - [[JupyterHub>./JupyterHub]] |
| #br | | #br |
- | ** helm [#daa60f7c] | |
- | curl https://raw.githubusercontent.com/helm/helm/HEAD/scripts/get-helm-3 | bash | |