简述
持续构建与发布是我们日常工作中必不可少的一个步骤,目前大多公司都采用 Jenkins 集群来搭建符合需求的 CI/CD 流程,然而传统的 Jenkins Slave 一主多从方式会存在一些痛点,比如:
- 主 Master 发生单点故障时,整个流程都不可用了
- 每个 Slave 的配置环境不一样,来完成不同语言的编译打包等操作,但是这些差异化的配置导致管理起来非常不方便,维护起来也是比较费劲
- 资源分配不均衡,有的 Slave 要运行的 job 出现排队等待,而有的 Slave 处于空闲状态
- 资源有浪费,每台 Slave 可能是物理机或者虚拟机,当 Slave 处于空闲状态时,也不会完全释放掉资源。
正因为上面的这些种种痛点,我们渴望一种更高效更可靠的方式来完成这个 CI/CD 流程,而 Docker 虚拟化容器技术能很好的解决这个痛点,又特别是在 Kubernetes 集群环境下面能够更好来解决上面的问题,下图是基于 Kubernetes 搭建 Jenkins 集群的简单示意图:
从图上可以看到 Jenkins Master 和 Jenkins Slave 以 Pod 形式运行在 Kubernetes 集群的 Node 上,Master 运行在其中一个节点,并且将其配置数据存储到一个 Volume 上去,Slave 运行在各个节点上,并且它不是一直处于运行状态,它会按照需求动态的创建并自动删除。
这种方式的工作流程大致为:当 Jenkins Master 接受到 Build 请求时,会根据配置的 Label 动态创建一个运行在 Pod 中的 Jenkins Slave 并注册到 Master 上,当运行完 Job 后,这个 Slave 会被注销并且这个 Pod 也会自动删除,恢复到最初状态。
使用jenkins动态slave的优势:
- 服务高可用,当 Jenkins Master 出现故障时,Kubernetes 会自动创建一个新的 Jenkins Master 容器,并且将 Volume 分配给新创建的容器,保证数据不丢失,从而达到集群服务高可用。
- 动态伸缩,合理使用资源,每次运行 Job 时,会自动创建一个 Jenkins Slave,Job 完成后,Slave 自动注销并删除容器,资源自动释放,而且 Kubernetes 会根据每个资源的使用情况,动态分配 Slave 到空闲的节点上创建,降低出现因某节点资源利用率高,还排队等待在该节点的情况。
- 扩展性好,当 Kubernetes 集群的资源严重不足而导致 Job 排队等待时,可以很容易的添加一个 Kubernetes Node 到集群中,从而实现扩展。
创建命名空间
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl create namespace kube-ops namespace/kube-ops created [root@iZ0jl4dahgopda92qitm77Z ~]# [root@iZ0jl4dahgopda92qitm77Z ~]# kubectl get namespace NAME STATUS AGE default Active 79m ingress-nginx Active 76m kube-node-lease Active 79m kube-ops Active 15s kube-public Active 79m kube-system Active 79m kubernetes-dashboard Active 76m
部署
- 创建PV、PVC,为Jenkins提供数据持久化
[root@iZ0jl4dahgopda92qitm77Z ~]# vim pvc.yaml apiVersion: v1 kind: PersistentVolume metadata: name: opspv spec: capacity: storage: 3Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Recycle storageClassName: nfs nfs: server: 172.21.212.155 path: /home/www.centoscn.vip --- apiVersion: v1 kind: PersistentVolumeClaim metadata: name: opspvc namespace: kube-ops spec: accessModes: - ReadWriteMany storageClassName: nfs resources: requests: storage: 3Gi
- 创建需要用到的 PVC 对象:
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl create -f pvc.yaml persistentvolume/opspv created persistentvolumeclaim/opspvc created
- 创建RBAC,授权
[root@iZ0jl4dahgopda92qitm77Z ~]# vim rbac.yaml apiVersion: v1 kind: ServiceAccount metadata: name: jenkins namespace: kube-ops --- kind: ClusterRole apiVersion: rbac.authorization.k8s.io/v1beta1 metadata: name: jenkins rules: - apiGroups: ["extensions", "apps"] resources: ["deployments"] verbs: ["create", "delete", "get", "list", "watch", "patch", "update"] - apiGroups: [""] resources: ["services"] verbs: ["create", "delete", "get", "list", "watch", "patch", "update"] - apiGroups: [""] resources: ["pods"] verbs: ["create","delete","get","list","patch","update","watch"] - apiGroups: [""] resources: ["pods/exec"] verbs: ["create","delete","get","list","patch","update","watch"] - apiGroups: [""] resources: ["pods/log"] verbs: ["get","list","watch"] - apiGroups: [""] resources: ["secrets"] verbs: ["get"] --- apiVersion: rbac.authorization.k8s.io/v1beta1 kind: ClusterRoleBinding metadata: name: jenkins namespace: kube-ops roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: jenkins subjects: - kind: ServiceAccount name: jenkins namespace: kube-ops
- 创建 rbac 相关的资源对象
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl create -f rbac.yaml serviceaccount/jenkins created clusterrole.rbac.authorization.k8s.io/jenkins created clusterrolebinding.rbac.authorization.k8s.io/jenkins created
创建jenkins master
- 新建一个 Deployment:(jenkins.yaml)
[root@iZ0jl4dahgopda92qitm77Z ~]# vim jenkins.yaml
--- apiVersion: apps/v1 kind: Deployment metadata: name: jenkins namespace: kube-ops spec: selector: matchLabels: app: jenkins template: metadata: labels: app: jenkins spec: terminationGracePeriodSeconds: 10 serviceAccount: jenkins containers: - name: jenkins image: jenkins/jenkins:lts imagePullPolicy: IfNotPresent ports: - containerPort: 8080 name: web protocol: TCP - containerPort: 50000 name: agent protocol: TCP resources: limits: cpu: 1000m memory: 1Gi requests: cpu: 500m memory: 512Mi livenessProbe: httpGet: path: /login port: 8080 initialDelaySeconds: 60 timeoutSeconds: 5 failureThreshold: 12 readinessProbe: httpGet: path: /login port: 8080 initialDelaySeconds: 60 timeoutSeconds: 5 failureThreshold: 12 volumeMounts: - name: jenkinshome subPath: jenkins mountPath: /var/jenkins_home env: - name: LIMITS_MEMORY valueFrom: resourceFieldRef: resource: limits.memory divisor: 1Mi - name: JAVA_OPTS value: -Xmx$(LIMITS_MEMORY)m -XshowSettings:vm -Dhudson.slaves.NodeProvisioner.initialDelay=0 -Dhudson.slaves.NodeProvisioner.MARGIN=50 -Dhudson.slaves.NodeProvisioner.MARGIN0=0.85 -Duser.timezone=Asia/Shanghai securityContext: fsGroup: 1000 volumes: - name: jenkinshome persistentVolumeClaim: claimName: opspvc --- apiVersion: v1 kind: Service metadata: name: jenkins namespace: kube-ops labels: app: jenkins spec: selector: app: jenkins type: NodePort ports: - name: web port: 8080 targetPort: web nodePort: 30002 - name: agent port: 50000 targetPort: agent
这里为了方便,通过 NodePort 的形式来暴露 Jenkins 的 web 服务,固定为30002端口,另外还需要暴露一个 agent 的端口,这个端口主要是用于 Jenkins 的 master 和 slave 之间通信使用的。
- 创建 Jenkins 服务
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl create -f jenkins.yaml deployment.apps/jenkins created service/jenkins created
排错
- 创建完成后,要去拉取镜像可能需要等待一会儿,查看下 Pod 的状态:
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl get pods -n kube-ops NAME READY STATUS RESTARTS AGE jenkins-85f6b6c6db-mkpc8 0/1 CrashLoopBackOff 1 65s
- 查看pod
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl describe pod jenkins-85f6b6c6db-mkpc8 -n kube-ops Name: jenkins-85f6b6c6db-mkpc8 Namespace: kube-ops Priority: 0 Node: k8s-node2/172.21.212.157 Start Time: Tue, 08 Dec 2020 23:46:18 +0800 Labels: app=jenkins pod-template-hash=85f6b6c6db Annotations: <none> Status: Running IP: 10.244.1.2 IPs: Events: Type Reason Age From Message ---- ------ ---- ---- ------- Events: Type Reason Age From Message ---- ------ ---- ---- ------- Normal Scheduled <unknown> default-scheduler Successfully assigned kube-ops/jenkins-85f6b6c6db-227ct to k8s-node1 Normal Pulling 58s kubelet, k8s-node1 Pulling image "jenkins/jenkins:lts" Normal Pulled 22s kubelet, k8s-node1 Successfully pulled image "jenkins/jenkins:lts" Normal Created 20s (x2 over 20s) kubelet, k8s-node1 Created container jenkins Normal Pulled 20s kubelet, k8s-node1 Container image "jenkins/jenkins:lts" already present on machine Normal Started 19s (x2 over 20s) kubelet, k8s-node1 Started container jenkins Warning BackOff 10s (x4 over 19s) kubelet, k8s-node1 Back-off restarting failed container
可以看到上面的 Warning 信息,健康检查没有通过,具体原因是什么引起的呢?可以通过查看日志进一步了解
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl logs -f jenkins-85f6b6c6db-227ct -n kube-ops touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied Can not write to /var/jenkins_home/copy_reference_file.log. Wrong volume permissions?
很明显可以看到上面的错误信息,意思就是我们没有权限在 jenkins 的 home 目录下面创建文件,这是因为默认的镜像使用的是 jenkins 这个用户,而我们通过 PVC 挂载到 nfs 服务器的共享数据目录下面却是 root 用户的,所以没有权限访问该目录,要解决该问题,也很简单,我只需要在 nfs 共享数据目录下面把我们的目录权限重新分配下即可:
[root@iZ0jl4dahgopda92qitm76Z ~]# chown -R 1000 /data1/k8s
- 重新创建
[root@iZ0jl4dahgopda92qitm77Z ~]# kubectl delete -f jenkins.yaml deployment.apps "jenkins" deleted service "jenkins" deleted [root@iZ0jl4dahgopda92qitm77Z ~]# kubectl create -f jenkins.yaml deployment.apps/jenkins created service/jenkins created [root@iZ0jl4dahgopda92qitm77Z ~]# kubectl get pods -n kube-ops NAME READY STATUS RESTARTS AGE jenkins-85f6b6c6db-l4x86 0/1 Running 0 6s
访问
- 等到服务启动成功后,可以根据Node节点的 IP:30002 端口就可以访问 jenkins 服务了,可以根据提示信息进行安装配置即可:
- 从Dashboard上查看
- 初始化的密码可以在 jenkins 的容器的日志中进行查看,也可以直接在 nfs 的共享数据目录中查看:
[root@iZ0jl4dahgopda92qitm75Z ~]# cat /data1/k8s/jenkins/secrets/initialAdminPassword 0c7fd352ce294e10acc4559e9ed305e6
- 然后选择安装推荐的插件即可。
- 安装完成后添加管理员帐号即可进入到 jenkins 主界面
- 安装kubernetes 插件
- 更新源地址为清华源https://mirrors.tuna.tsinghua.edu.cn/jenkins/updates/update-center.json
- 安装插件
插件配置
点击 Manage Jenkins —> 系统配置 —> (拖到最下方)Add a new cloud —> 选择 Kubernetes,然后填写 Kubernetes 和 Jenkins 配置信息。
另外需要注意,如果这里 Test Connection 失败的话,很有可能是权限问题,这里就需要把 jenkins 的 serviceAccount 对应的 secret 添加到这里的 Credentials 里面。
- 我的QQ
- QQ扫一扫
-
- 我的头条
- 头条扫一扫
-
评论