k8s1.23.15集群二进制部署

news/发布时间2024/9/20 9:26:24

一、前言

    二进制部署1.23.15版本k8s集群，etcd集群部署与k8s集群节点复用，手动颁发集群证书

    主机信息如下

主机名称ip地址服务
k8s-master0110.1.60.125docker、etcd、kube-apiserver、kube-schduler、kube-controller-manage、kubelet、kube-proxy
k8s-node0110.1.60.126docker、etcd、kubelet、kube-proxy
k8s-node0210.1.60.127docker、etcd、kubelet、kube-proxy
k8s-node0310.1.60.128docker、kubelet、kube-proxy

二、部署

   集群所有节点主机基础优化

   1.关闭防火墙

    systemctl stop firewalld && systemctl disable firewalld

   2.关闭selinux服务

setenforce 0  #临时关闭

sed -i 's/enforcing/disabled/' /etc/selinux/config #永久关闭

3.关闭系统交换分区

swapoff -a #临时关闭

sed -ri 's/.*swap.*/#&/' /etc/fstab  #永久关闭

4.设置主机名称(三台主机名称不一样按照表格上的主机名填)

hostnamectl set-hostname k8s-master01

5.编辑hosts文件

cat > /etc/hosts << EOF10.1.60.125 k8s-master0110.1.60.126 k8s-node0110.1.60.127 k8s-node0210.1.60.128 k8s-node03EOF

6.配置时间同步

yum -y install chrony

systemctl strat chronyd && systemctl enbale chronyd

7.配置ipvs

cat > /etc/sysconfig/modules/ipvs.modules <<EOF#!/bin/bashmodprobe -- ip_vsmodprobe -- ip_vs_rrmodprobe -- ip_vs_wrrmodprobe -- ip_vs_shmodprobe -- nf_conntrack_ipv4EOF

#授权并生效ipvs配置

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules

yum install -y ipset ipvsadm

cat <<EOF | sudo tee /etc/modules-load.d/k8s.confoverlaybr_netfilterEOF

 sudo modprobe overlay && sudo modprobe br_netfilter

8.将桥接的IPv4流量传递到iptables

cat > /etc/sysctl.d/k8s.conf << EOFnet.bridge.bridge-nf-call-ip6tables = 1net.bridge.bridge-nf-call-iptables = 1net.ipv4.ip_forward = 1EOF

sysctl --system  #配置生效

9.配置所有主机互相免密登录

ssh-keygenssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.60.126   #将公钥拷贝到126主机上，实现免密登录ssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.60.127ssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.60.128

部署k8s集群服务 

安装证书生成工具cfssl

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo

创建证书存储目录

mkdir -p ~/TLS/{etcd,k8s}
cd TLS/etcd

创建证书文件

vi ca-config.json

{"signing": {"default": {"expiry": "87600h"},"profiles": {"www": {"expiry": "87600h","usages": ["signing","key encipherment","server auth","client auth"]}}}
}

vi ca-csr.json

{"CN": "etcd CA","key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen","ST": "ShenZhen"}]
}

生成根证书

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

查看目录下是否生成ca-key.pem和ca.pem这两个根证书

ls *.pem

创建etcd证书申请文件

vi server-csr.json

{"CN": "etcd","hosts": ["10.1.60.125",    #填写etcd集群所有节点的ip地址"10.1.60.126","10.1.60.127"],"key": {"algo": "rsa","size": 2048},"names": [{"C:": "CN","L": "ShenZhen","ST": "ShenZhen"}]
}

 生成etcd证书

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

查看目录下是否生成server-key.pem server.pem这两个证书文件

ls *.pem

部署etcd集群

 查看k8s集群版本对应版本的etcd版本，我这里使用的是3.5.1版本的etcd

安装包下载参考：https://github.com/etcd-io/etcd/releases/download/v3.5.1/etcd-v3.5.1-linux-amd64.tar.gz

创建etcd工作目录并解压安装包 

cd ~
mkdir -p /opt/etcd/{bin,cfg,ssl} 
wget https://github.com/etcd-io/etcd/releases/download/v3.5.1/etcd-v3.5.1-linux-amd64.tar.gz
tar -zxvf etcd-v3.5.1-linux-amd64.tar.gz
mv etcd-v3.5.1-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

创建etcd配置文件

vi /opt/etcd/cfg/etcd.conf

#[Member]
ETCD_NAME="etcd-1"   #etcd集群中的节点名称
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"   #etcd数据目录
ETCD_LISTEN_PEER_URLS="https://10.1.60.125:2380"      #etcd节点通讯地址端口
ETCD_LISTEN_CLIENT_URLS="https://10.1.60.125:2379"    #etcd客户端访问地址端口
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.1.60.125:2380"  #集群通讯地址端口
ETCD_ADVERTISE_CLIENT_URLS="https://10.1.60.125:2379"       #集群客户端通讯地址端口
ETCD_INITIAL_CLUSTER="etcd-1=https://10.1.60.125:2380,etcd-2=https://10.1.60.126:2380,etcd-3=https://10.1.60.127:2380"        #etcd集群所有节点地址和端口
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"   #集群之间通讯的token
ETCD_INITIAL_CLUSTER_STATE="new"          #加入etcd集群的状态，new是新集群，existing是加入已有集群

使用systemd管理etcd服务

vi /usr/lib/systemd/system/etcd.service

[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf    #指定配置文件
ExecStart=/opt/etcd/bin/etcd \--cert-file=/opt/etcd/ssl/server.pem \     #指定证书--key-file=/opt/etcd/ssl/server-key.pem \--peer-cert-file=/opt/etcd/ssl/server.pem \--peer-key-file=/opt/etcd/ssl/server-key.pem \--trusted-ca-file=/opt/etcd/ssl/ca.pem \--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \--logger=zap
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target

拷贝生成的etcd证书到etcd工作目录下

cp ~/TLS/etcd/ca*pem /opt/etcd/ssl/
cp ~/TLS/etcd/server*pem /opt/etcd/ssl/

将节点1上生成的关于etcd的所有文件拷贝到其余两个etcd节点上

#拷贝到etcd节点二上
scp -r /opt/etcd/ root@10.1.60.126:/opt/
scp /usr/lib/systemd/system/etcd.service root@10.1.60.126:/usr/lib/systemd/system/
#拷贝到etcd节点三上
scp -r /opt/etcd/ root@10.1.60.127:/opt/
scp /usr/lib/systemd/system/etcd.service root@10.1.60.127:/usr/lib/systemd/system/

拷贝完成后编辑两个节点的etcd配置文件

vi /opt/etcd/cfg/etcd.conf

#[Member]
ETCD_NAME="etcd-2"        #更改此项为不同的节点名称
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://10.1.60.126:2380"     #更改此项为该节点对应的ip地址
ETCD_LISTEN_CLIENT_URLS="https://10.1.60.126:2379"    #更改此项为该节点对应的ip地址
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://10.1.60.126:2380"  #更改此项为该节点对应的ip地址
ETCD_ADVERTISE_CLIENT_URLS="https://10.1.60.126:2379"    #更改此项为该节点对应的ip地址
ETCD_INITIAL_CLUSTER="etcd-1=https://10.1.60.125:2380,etcd-2=https://10.1.60.126:2380,etcd-3=https://10.1.60.127:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" 
ETCD_INITIAL_CLUSTER_STATE="new"

etcd集群所有节点启动etcd服务

systemctl daemon-reload

systemctl start etcd && systemctl enable etcd

etcd集群所有节点服务启动后查看状态是否正常

ETCDCTL_API=3 /opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://10.1.60.125:2379,https://10.1.60.126:2379,https://10.1.60.127:2379" endpoint health

输出以下信息表面etcd集群状态正常

k8s集群所有节点 安装docker服务

docker版本也需要对应k8s版本，这里选用19.03.9版本

下载参考：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

下载安装包并解压 

cd ~
wget https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz
tar -zxvf docker-19.03.9.tgz
mv docker/* /usr/bin

 使用systemd管理docker服务

vi /usr/lib/systemd/system/docker.service

[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s[Install]
WantedBy=multi-user.target

配置docker镜像加速

mkdir /etc/docker

vi /etc/docker/daemon.json

{"registry-mirrors": ["https://62d7sxch.mirror.aliyuncs.com"]   #配置阿里云镜像加速地址
}

启动docker服务

systemctl daemon-reload

systemctl start docker && systemctl enable docker

创建k8s集群自签证书文件

cd ~/TLS/k8s

vi ca-config.json

{"signing": {"default": {"expiry": "87600h"},"profiles": {"kubernetes": {"expiry": "87600h","usages": ["signing","key encipherment","server auth","client auth"]}}}
}

vi ca-csr.json

{"CN": "kubernetes","key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen","ST": "ShenZhen","O": "k8s","OU": "System"}]
}

生成根证书

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

查看是否生成ca-key.pem和ca.pem这两个根证书

ls *.pem

创建kube-apiserver证书申请文件

vi server-csr.json

{"CN": "kubernetes","hosts": ["20.0.0.1",        #定义k8s集群地址，若是一个局域网中有多个k8s集群，k8s集群地址的网段不能相同，否则会冲突"127.0.0.1","10.1.60.125",    #填写k8s集群节点地址"10.1.60.126","10.1.60.127","10.1.60.128","kubernetes","kubernetes.default","kubernetes.default.svc","kubernetes.default.svc.cluster","kubernetes.default.svc.cluster.local"],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen","ST": "ShenZhen","O": "k8s","OU": "System"}]
}

 生成kube-apiserver证书

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

查看生成的证书

ls server*pem

创建kube-proxy证书申请文件

vi kube-proxy-csr.json

{"CN": "system:kube-proxy","hosts": [],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen","ST": "ShenZhen","O": "k8s","OU": "System"}]
}

 生成kube-proxy证书

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

查看生成的证书

ls kube-proxy*pem

部署master节点所需服务

 在gitlab中下载1.23.10版本的k8s server安装包

参考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.23.md#downloads-for-v12310

 

下载并解压k8s server安装包

cd ~
wget https://dl.k8s.io/v1.23.10/kubernetes-server-linux-amd64.tar.gz
tar -zxvf kubernetes-server-linux-amd64.tar.gz

创建k8s工作目录

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}
cd kubernetes/server/bin
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/

部署kube-apiserver服务

创建kube-apiserver配置文件

vi /opt/kubernetes/cfg/kube-apiserver.conf

KUBE_APISERVER_OPTS="--allow-privileged=true \   #启用授权
--feature-gates=RemoveSelfLink=false \   #K8S1.20后移除了对SelfLink的支持，而NFS需要SelfLink的支持
--etcd-servers=https://10.1.60.125:2379,https://10.1.60.126:2379,https://10.1.60.127:2379 \     #配置etcd集群所有节点地址和客户端端口
--bind-address=10.1.60.125 \    #apiserver服务监听地址
--secure-port=6443 \          #apiserver服务监听端口
--advertise-address=10.1.60.125 \     #k8s集群通讯地址
--service-cluster-ip-range=20.0.0.0/24 \   #k8s集群网络地址段，不能和局域网中的其它k8s集群地址段相同
--enable-admission-plugins=NodeRestriction \     #准入控制插件
--authorization-mode=RBAC,Node \       #授权模式
--enable-bootstrap-token-auth=true \   #启用 bootstrap-tokenren认证，为了让node节点kubelet自由的颁发证书
--token-auth-file=/opt/kubernetes/cfg/token.csv \    #指定token文件
--service-node-port-range=30000-32767 \            #定义nodeport使用端口范围
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \   #指定apiserver访问kubelet客户端的证书
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \     #指定apiserver访问kubelet客户端的证书
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \        #指定apiserver https证书
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \       #指定apiserver https证书
--client-ca-file=/opt/kubernetes/ssl/ca.pem \
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \
--service-account-issuer=api \
--service-account-signing-key-file=/opt/kubernetes/ssl/ca-key.pem \
--etcd-cafile=/opt/etcd/ssl/ca.pem \         #指定连接etcd集群证书
--etcd-certfile=/opt/etcd/ssl/server.pem \
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \
--requestheader-client-ca-file=/opt/kubernetes/ssl/ca.pem \
--proxy-client-cert-file=/opt/kubernetes/ssl/server.pem \
--proxy-client-key-file=/opt/kubernetes/ssl/server-key.pem \
--requestheader-allowed-names=kubernetes \
--requestheader-extra-headers-prefix=X-Remote-Extra- \
--requestheader-group-headers=X-Remote-Group \
--requestheader-username-headers=X-Remote-User \
--enable-aggregator-routing=true \
--audit-log-maxage=30 \
--audit-log-maxbackup=3 \
--audit-log-maxsize=100 \
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"

 拷贝根证书和apiserver证书到k8s工作目录中

cp ~/TLS/k8s/ca*pem /opt/kubernetes/ssl/
cp ~/TLS/k8s/server*pem /opt/kubernetes/ssl/

生成token文件所需的密钥

head -c 16 /dev/urandom | od -An -t x | tr -d ' '

使用生成的密钥编辑token文件

vi /opt/kubernetes/cfg/token.csv

c5cdf6375ed70ce66c52de20eb350bb6,kubelet-bootstrap,10001,"system:node-bootstrapper"

使用systemd管理kube-apiserver服务

vi /usr/lib/systemd/system/kube-apiserver.service

[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver $KUBE_APISERVER_OPTS
Restart=on-failure[Install]
WantedBy=multi-user.target

 启动kube-apiserver服务

systemctl daemon-reload

systemctl start kube-apiserver && systemctl enable kube-apiserver

部署kube-controller-manager服务

编辑kube-controller-manager服务配置文件

vi /opt/kubernetes/cfg/kube-controller-manager.conf

KUBE_CONTROLLER_MANAGER_OPTS="--leader-elect=true \
--kubeconfig=/opt/kubernetes/cfg/kube-controller-manager.kubeconfig \
--bind-address=127.0.0.1 \
--allocate-node-cidrs=true \
--cluster-cidr=20.244.0.0/16 \    #指定k8s pod服务使用的网段
--service-cluster-ip-range=20.0.0.0/24 \    #指定k8s ervice服务使用的网段
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \    #指定kubelet颁发证书所需的根证书
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \
--root-ca-file=/opt/kubernetes/ssl/ca.pem \
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \
--cluster-signing-duration=87600h0m0s"   #指定kubelete颁发证书的有效期

创建controller-manager服务证书配置文件

cd ~/TLS/k8s

vi kube-controller-manager-csr.json

{"CN": "system:kube-controller-manager","hosts": [],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen", "ST": "ShenZhen","O": "system:masters","OU": "System"}]
}

生成证书文件

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-controller-manager-csr.json | cfssljson -bare kube-controller-manager

查看生成的证书文件

ls kube-controller-manager*.pem

创建生成kubeconfig文件脚本

vi kube-controller-manager.sh

KUBE_CONFIG="/opt/kubernetes/cfg/kube-controller-manager.kubeconfig"
KUBE_APISERVER="https://10.1.60.125:6443"   #填写kube-apiserver服务地址和端口kubectl config set-cluster kubernetes \--certificate-authority=/opt/kubernetes/ssl/ca.pem \--embed-certs=true \--server=${KUBE_APISERVER} \--kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials kube-controller-manager \--client-certificate=./kube-controller-manager.pem \--client-key=./kube-controller-manager-key.pem \--embed-certs=true \--kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \--cluster=kubernetes \--user=kube-controller-manager \--kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

赋权执行脚本生成kubeconfig文件

chmod +x kube-controller-manager.shsh kube-controller-manager.sh

使用systemd管理kube-controller-manager服务

vi /usr/lib/systemd/system/kube-controller-manager.service

[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager $KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure[Install]
WantedBy=multi-user.target

启动kube-controller-manager服务

systemctl daemon-reload
systemctl start kube-controller-manager && systemctl enable kube-controller-manager

部署kube-scheduler服务

编辑kube-scheduler服务配置文件

vi /opt/kubernetes/cfg/kube-scheduler.conf

KUBE_SCHEDULER_OPTS="--leader-elect \
--kubeconfig=/opt/kubernetes/cfg/kube-scheduler.kubeconfig \
--bind-address=127.0.0.1"

创建kube-scheduler服务证书配置文件

vi kube-scheduler-csr.json

{"CN": "system:kube-scheduler","hosts": [],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen","ST": "ShenZhen","O": "system:masters","OU": "System"}]
}

生成证书文件

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-scheduler-csr.json | cfssljson -bare kube-scheduler

查看生成的证书文件

ls kube-scheduler*.pem

 编辑生成kubeconfig配置文件脚本

vi kube-scheduler.sh

KUBE_CONFIG="/opt/kubernetes/cfg/kube-scheduler.kubeconfig"
KUBE_APISERVER="https://10.1.60.125:6443"kubectl config set-cluster kubernetes \--certificate-authority=/opt/kubernetes/ssl/ca.pem \--embed-certs=true \--server=${KUBE_APISERVER} \--kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials kube-scheduler \--client-certificate=./kube-scheduler.pem \--client-key=./kube-scheduler-key.pem \--embed-certs=true \--kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \--cluster=kubernetes \--user=kube-scheduler \--kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

赋权执行脚本生成kubeconfig文件

chmod +x kube-scheduler.sh
sh kube-scheduler.sh

使用systemd管理kube-scheduler服务

vi /usr/lib/systemd/system/kube-scheduler.service

[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler $KUBE_SCHEDULER_OPTS
Restart=on-failurea[Install]
WantedBy=multi-user.target

启动kube-scheduler服务

systemctl daemon-reload
systemctl start kube-scheduler && systemctl enable kube-scheduler

创建kubectl证书配置文件

vi admin-csr.json

{"CN": "admin","hosts": [],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen","ST": "ShenZhen","O": "system:masters","OU": "System"}]
}

生成证书文件

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin

查看生成的证书文件

ls admin*.pem

 编辑生成kubeconfig的配置文件脚本

vi kubectl.sh

KUBE_CONFIG="/root/.kube/config"
KUBE_APISERVER="https://10.1.60.125:6443"kubectl config set-cluster kubernetes \--certificate-authority=/opt/kubernetes/ssl/ca.pem \--embed-certs=true \--server=${KUBE_APISERVER} \--kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials cluster-admin \--client-certificate=./admin.pem \--client-key=./admin-key.pem \--embed-certs=true \--kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \--cluster=kubernetes \--user=cluster-admin \--kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

创建kubectl的kubeconfig存放目录

mkdir /root/.kube

赋权执行脚本生成kubeconfig文件

chmod +x kubectl.sh
sh kubectl.sh

使用kubectl命令查看master节点上的组件是否正常运行

kubectl get cs

 授权kubelet-bootstrap用户允许请求证书

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap
#若想删除则使用以下命令
#kubectl delete clusterrolebinding kubelet-bootstrap

部署work节点所需服务

master节点也作为work节点

在master节点拷贝work节点所需的组件服务到k8s工作目录

cd kubernetes/server/bin
cp kubelet kube-proxy /opt/kubernetes/bin    #将work节点所需服务组件拷贝到k8s工作目录

部署kubelet服务

编辑kubelet配置文件

vi /opt/kubernetes/cfg/kubelet.conf

KUBELET_OPTS="--hostname-override=k8s-master01-test \
--network-plugin=cni \
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \
--config=/opt/kubernetes/cfg/kubelet-config.yml \
--cert-dir=/opt/kubernetes/ssl \
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"   #管理Pod网络容器的镜像

创建kubelet定义参数文件

vi /opt/kubernetes/cfg/kubelet-config.yml

kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 20.0.0.2        #定义dns服务的ip地址，后面部署coredns服务会使用到
clusterDomain: cluster.local 
failSwapOn: false
authentication:anonymous:enabled: falsewebhook:cacheTTL: 2m0senabled: truex509:clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:mode: Webhookwebhook:cacheAuthorizedTTL: 5m0scacheUnauthorizedTTL: 30s
evictionHard:imagefs.available: 15%memory.available: 100Minodefs.available: 10%nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110

编辑生成kubeconfig的配置文件脚本

vi kubelet.sh

KUBE_CONFIG="/opt/kubernetes/cfg/bootstrap.kubeconfig"
KUBE_APISERVER="https://10.1.60.125:6443"
TOKEN="c5cdf6375ed70ce66c52de20eb350bb6"   #该token需要和上面生成的token.csv中的token一致kubectl config set-cluster kubernetes \--certificate-authority=/opt/kubernetes/ssl/ca.pem \--embed-certs=true \--server=${KUBE_APISERVER} \--kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials "kubelet-bootstrap" \--token=${TOKEN} \--kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \--cluster=kubernetes \--user="kubelet-bootstrap" \--kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

赋权并执行脚本生成kubeconfig文件

chmod +x kubelet.sh
sh kubelet.sh

使用systemd管理kublete服务

[Unit]
Description=Kubernetes Kubelet
After=docker.service[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet $KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target

启动kubelet服务

systemctl daemon-reload
systemctl start kubelet && systemctl enable kubelet

审批kubelet证书申请并加入集群

kubectl get csr   #将该命令输出的申请名称填入下面命令中审批
kubectl certificate approve node-csr-ldQlmnDLt-PFbwy2w5NIkwNB8eS4uHc3-hGvSu97elo
kubectl get node  #查看集群节点，就会发现有一个master节点

部署kube-proxy服务

编辑kube-proxy配置文件

vi /opt/kubernetes/cfg/kube-proxy.conf

KUBE_PROXY_OPTS="--config=/opt/kubernetes/cfg/kube-proxy-config.yml"

创建kube-proxy定义参数文件

vi /opt/kubernetes/cfg/kube-proxy-config.yml

kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: k8s-master01-test
clusterCIDR: 20.244.0.0/16

创建kube-proxy生成证书的配置文件

vi kube-proxy-csr.json

{"CN": "system:kube-proxy","hosts": [],"key": {"algo": "rsa","size": 2048},"names": [{"C": "CN","L": "ShenZhen","ST": "ShenZhen","O": "k8s","OU": "System"}]
}

生成证书

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

查看生成的证书文件

ls kube-proxy*.pem

 

编辑生成kubeconfig的配置文件脚本

vi kube-proxy.sh

KUBE_CONFIG="/opt/kubernetes/cfg/kube-proxy.kubeconfig"
KUBE_APISERVER="https://10.1.60.125:6443"kubectl config set-cluster kubernetes \--certificate-authority=/opt/kubernetes/ssl/ca.pem \--embed-certs=true \--server=${KUBE_APISERVER} \--kubeconfig=${KUBE_CONFIG}
kubectl config set-credentials kube-proxy \--client-certificate=./kube-proxy.pem \--client-key=./kube-proxy-key.pem \--embed-certs=true \--kubeconfig=${KUBE_CONFIG}
kubectl config set-context default \--cluster=kubernetes \--user=kube-proxy \--kubeconfig=${KUBE_CONFIG}
kubectl config use-context default --kubeconfig=${KUBE_CONFIG}

赋权并执行脚本生成kubeconfig文件

chmod +x kubelet.sh
sh kubelet.sh

使用systemd管理kube-proxy服务

vi /usr/lib/systemd/system/kube-proxy.service

[Unit]
Description=Kubernetes Proxy
After=network.target[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy $KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536[Install]
WantedBy=multi-user.target

启动kube-proxy服务

systemctl daemon-reload
systemctl start kube-proxy  && systemctl enable kube-proxy

部署calico网络组件

参考：k8s集群使用calico网络组件_k8s集群与calico版本对应关系-CSDN博客

授权 apiserver服务访问kubelet

vi /opt/kubernetes/cfg/apiserver-to-kubelet-rbac.yaml

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:annotations:rbac.authorization.kubernetes.io/autoupdate: "true"labels:kubernetes.io/bootstrapping: rbac-defaultsname: system:kube-apiserver-to-kubelet
rules:- apiGroups:- ""resources:- nodes/proxy- nodes/stats- nodes/log- nodes/spec- nodes/metrics- pods/logverbs:- "*"
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:name: system:kube-apiservernamespace: ""
roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: system:kube-apiserver-to-kubelet
subjects:- apiGroup: rbac.authorization.k8s.iokind: Username: kubernetes

work节点加入集群

在其余work节点创建k8s工作目录

mkdir -p /usr/local/k8s/kubernetes/{bin,cfg,ssl,logs}

在master节点上拷贝证书以及组件服务到所有work节点上

scp -r /opt/kubernetes root@10.1.60.126:/opt/
scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@10.1.60.126:/usr/lib/systemd/systemscp -r /opt/kubernetes root@10.1.60.127:/opt/
scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@10.1.60.127:/usr/lib/systemd/systemscp -r /opt/kubernetes root@10.1.60.128:/opt/
scp -r /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@10.1.60.128:/usr/lib/systemd/system

 在拷贝文件后的所有work节点删除kubelet的证书文件和kubeconfig文件

rm -f /opt/kubernetes/cfg/kubelet.kubeconfig 
rm -f /opt/kubernetes/ssl/kubelet*#这些文件是审批后自动生成的，所以每个节点的文件都是不一样的

更改kubelet的配置文件

vi /opt/kubernetes/cfg/kubelet.conf

--hostname-override=k8s-node01   #所有work节点都更改为自身对应的主机名称

更改kube-proxy的定义参数文件 

vi /opt/kubernetes/cfg/kube-proxy-config.yml

hostnameOverride: k8s-node01   #所有work节点都更改为自身对应的主机名称

所有work节点启动kubelet和kube-proxy服务

systemctl daemon-reload
systemctl start kubelet kube-proxy
systemctl enable kubelet kube-proxy

 在master节点审批work节点请求，使得work节点加入集群

kubectl get csr  #查看审批请求，加审批请求的名称填入以下审批命令中
kubectl certificate approve node-csr-RWx2DiMmRgLi8IsrpzwHthGve2W_YpIk3cccs8ZLNIk  #审批请求
kubectl get node  查看集群会发现，节点已加入集群

部署coredns组件

参考：k8s部署coredns_k8s pod怎么绑定coredns-CSDN博客 

至此k8s集群部署完成

集群网络功能验证

 部署busybox

vi busybox.yaml

apiVersion: v1
kind: Pod
metadata:name: busyboxnamespace: default
spec:containers:- name: busyboximage: busybox:1.28command:- sleep- "3600"imagePullPolicy: IfNotPresentrestartPolicy: Always

创建pod

kubectl apply -f busybox.yaml

进入pod验证

kubectl exec -it bosybox /bin/sh
nslookup kubernetes

nslookup kube-dns.kube-system

集群网络解析正常 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.bcls.cn/kgIh/9984.shtml

如若内容造成侵权/违法违规/事实不符，请联系编程老四网进行投诉反馈email:xxxxxxxx@qq.com，一经查实，立即删除！

相关文章

省市区街道/乡镇四级联动vue3

省市区街道/乡镇四级联动vue3

最近优化了一个省.市.区/县、乡镇/街道的四级联动组件&#xff0c;技术栈是element vue3记录一下。 本来是这样的三级联动&#xff1a; 这个三级联动很简单&#xff0c;直接利用el-select组件把地区值带进去就行了&#xff0c;现在要优化成省.市.区/县、乡镇/街道的四级联动&…
阅读更多...
C# 多线程（3）——线程池

C# 多线程（3）——线程池

文章目录 1 定义2 线程池使用3 安全取消线程池中任务 1 定义 线程是计算机宝贵的资源&#xff0c;频繁的创建和销毁线程将会大量的占用计算机资源&#xff08;为每个线程单独分配内存空间&#xff0c;并且多线程下的CPU时间片的切换也会耗费一定的时间&#xff09;。为了充分利…
阅读更多...
LabVIEW眼结膜微血管采集管理系统

LabVIEW眼结膜微血管采集管理系统

LabVIEW眼结膜微血管采集管理系统 开发一套基于LabVIEW的全自动眼结膜微血管采集管理系统&#xff0c;以提高眼结膜微血管临床研究的效率。系统集成了自动化图像采集、图像质量优化和规范化数据管理等功能&#xff0c;有效缩短了图像采集时间&#xff0c;提高了图像质量&#…
阅读更多...
Langchain-Chatchat：离线运行的大模型知识库 | 开源日报 No.182

Langchain-Chatchat：离线运行的大模型知识库 | 开源日报 No.182

chatchat-space/Langchain-Chatchat Stars: 22k License: Apache-2.0 基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现的开源、可离线部署的检索增强生成 (RAG) 大模型知识库项目。该项目是一个可以实现完全本地化推理的知识库增强方案&#xff0c;重点解决数据安全保护…
阅读更多...
Palworld 幻兽帕鲁面板开服教程

Palworld 幻兽帕鲁面板开服教程

介绍 在本文档中&#xff0c;您将学习如何构建 Palworld 服务器。 关于 Palworld 通过设置服务器&#xff0c;您可以与您的 Palworld 好友以及其他玩 Palworld 的人共享同一个世界。 推荐的服务器设置 内存 由于至少一次内存泄漏&#xff0c;服务器需要大约 16-32GB RAM。…
阅读更多...
FPGA之16：1复选器

FPGA之16：1复选器

每个slice 都有一个F8MUX。F8MUX原语&#xff1a; MUXF8 MUXF8_inst&#xff08; .0&#xff08;0&#xff09;&#xff0c;Il Output of MUX to general routing .I0&#xff08;10&#xff09;&#xff0c;//Input&#xff08;tie to MUXF7L/LO out&#xff09; .I1&#xf…
阅读更多...
纽约纳斯达克大屏投放受众群体有哪些-大舍传媒

纽约纳斯达克大屏投放受众群体有哪些-大舍传媒

纽约纳斯达克大屏投放受众群体有哪些-大舍传媒 1. 纳斯达克大屏的概述 纳斯达克大屏是全球金融市场中最出名的电子交易平台之一。作为一个重要的金融信息传递渠道&#xff0c;纳斯达克大屏吸引了来自全球的投资者的目光。在这个巨大的投放平台上&#xff0c;大舍传媒希望为客…
阅读更多...
1.QT简介（介绍、安装，项目创建等）

1.QT简介（介绍、安装，项目创建等）

1. QT介绍 Qt&#xff08;官方发音 [kju:t]&#xff09;是一个跨平台的C开发库&#xff0c;主要用来开发图形用户界面&#xff08;Graphical User Interface&#xff0c;GUI&#xff09;程序 Qt 是纯 C 开发的&#xff0c;正常情况下需要先学习C语言、然后在学习C然后才能使用…
阅读更多...
计算机设计大赛 深度学习实现行人重识别 - python opencv yolo Reid

计算机设计大赛 深度学习实现行人重识别 - python opencv yolo Reid

文章目录 0 前言1 课题背景2 效果展示3 行人检测4 行人重识别5 其他工具6 最后 0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; **基于深度学习的行人重识别算法研究与实现 ** 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c…
阅读更多...
【前端素材】推荐优质后台管理系统cassie平台模板（附源码）

【前端素材】推荐优质后台管理系统cassie平台模板（附源码）

一、需求分析 1、系统定义 后台管理系统是一种用于管理网站、应用程序或系统的管理界面&#xff0c;通常由管理员和工作人员使用。它提供了访问和控制网站或应用程序后台功能的工具和界面&#xff0c;使其能够管理用户、内容、数据和其他各种功能。 2、功能需求 后台管理系…
阅读更多...
【JavaEE】_前端使用GET请求的queryString向后端传参

【JavaEE】_前端使用GET请求的queryString向后端传参

目录 1. GET请求的query string 2. 关于query string的urlencode 1. GET请求的query string 1. 在HttpServletRequest请求中&#xff0c;getParameter方法用于在服务器这边获取到请求中的参数&#xff0c;主要在query string中&#xff1b; query string中的键值对都是程序…
阅读更多...
Docker容器（3）单容器管理

Docker容器（3）单容器管理

一、单容器 1.1概念简介 Docker三个重要概念: 仓库(Repository); 镜像(Image); 容器(Container). *Docker的三个重要概念是仓库(Repository)、镜像(Image)和容器(Container)**。具体如下&#xff1a; **镜像(Image)**&#xff1a;Docker镜像是创建容器的基础&#xff0c;它类似…
阅读更多...
SpringCloud(17)之SpringCloud Stream

SpringCloud(17)之SpringCloud Stream

一、Spring Cloud Stream介绍 Spring Cloud Stream是一个框架&#xff0c;用于构建与共享消息系统连接的高度可扩展的事件驱动微服务。该框架提供了一个灵活的编程模型&#xff0c;该模型建立在已经建立和熟悉的Spring习惯用法和最佳实践之上&#xff0c;包括对持久发布/子语义…
阅读更多...
《读写算》杂志社读写算杂志社2024年第2期目录

《读写算》杂志社读写算杂志社2024年第2期目录

教育资讯 教育部印发通知部署&#xff1a;做好2024年寒假期间校外培训治理工作 1《读写算》投稿&#xff1a;cn7kantougao163.com 北京提升学校心理健康工作水平——每校至少配备一名专职心理健康教育教师 1 湖北孝感&#xff1a;2026年达成小学毕业时人人会游泳 2…
阅读更多...
C语言编程安全规范

C语言编程安全规范

目的 本规范旨在加强编程人员在编程过程中的安全意识&#xff0c;建立编程人员的攻击者思维&#xff0c;养成安全编码的习惯&#xff0c;编写出安全可靠的代码。 2 宏 2.1 用宏定义表达式时&#xff0c;要使用完备的括号 2.2 使用宏时&#xff0c;不允许参数发生变化 3 变量 …
阅读更多...
关于页表,页号,物理块号的例题

关于页表,页号,物理块号的例题

课本上的图解 题目:在分页系统中地址结构长度为16位&#xff0c;页面大小为2K&#xff0c;作业地址空间为6K&#xff0c;该作业的各页依次存放在2、3、6号物理块中&#xff0c;相对地址2500处有一条指令store 1, 4500&#xff0c;请给出该作业的页表&#xff0c;该指令的物理单…
阅读更多...
css5定位

css5定位

css 一.定位1.概念&#xff08;定位定位模式边位移&#xff09;2.静态位移static&#xff08;不常用&#xff09;3.相对定位relative&#xff08;不脱标&#xff09;&#xff08;占位置&#xff09;4.绝对定位absolute&#xff08;脱标&#xff09;&#xff08;不占位置&#x…
阅读更多...
Thomson（汤姆森）简化了其螺旋千斤顶产品的CAD选型配置

Thomson（汤姆森）简化了其螺旋千斤顶产品的CAD选型配置

线性运动控制解决方案提供商Thomson在其在线工程设计工具中添加了独特的螺旋千斤顶配置和选择工具。新的Thomson螺旋千斤顶产品选型器可帮助设计工程师优化和选定螺旋千斤顶&#xff0c;以满足高达100吨的负载应用。 Thomson螺旋千斤顶产品系列负责人Mitch Katona说&#xff1…
阅读更多...
Java学习--学生管理系统(残破版)

Java学习--学生管理系统(残破版)

代码 Main.java import java.util.ArrayList; import java.util.Scanner;public class Main {public static void main(String[] args) {ArrayList<Student> list new ArrayList<>();loop:while (true) {System.out.println("-----欢迎来到阿宝院校学生管理系…
阅读更多...
docker （十二）-私有仓库

docker （十二）-私有仓库

docker registry 我们可以使用docker push将自己的image推送到docker hub中进行共享&#xff0c;但是在实际工作中&#xff0c;很多公司的代码不能上传到公开的仓库中&#xff0c;因此我们可以创建自己的镜像仓库。 docker 官网提供了一个docker registry的私有仓库项目&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站 尧图建网站 广利置业