跳到主要内容

集群巡检

平台巡检是一种监测和评估底层系统运行状况的工具，可帮助您快速发现系统中存在的潜在风险并给出相应修复建议。该工具可用于扫描集群中的各个方面，包括系统性能瓶颈、业务组件运行状态、配置问题和镜像安全漏洞等，以提高系统的性能、稳定性和可用性。

主要功能​

巡检主要支持 K8s 集群巡检、Rainbond 服务巡检、运行巡检、配置巡检和安全巡检这五类巡检项目。以下篇幅将详细介绍这五类巡检项。

K8s 集群巡检​

当对 K8s 集群进行巡检时，通常会检查节点状态、核心组件状态、以及一些资源使用状况。

description

description

节点健康状态​

  • 检查集群中所有节点的健康状态，包括节点的运行状态、节点可用性、节点文件系统状态等。此外，还需要检查节点内核是否有死锁、docker 是否正常等，以确保整个集群的稳定性和可用性。

K8s 核心组件状态​

  • K8s 中的核心组件包括 kube-apiserver 、kube-controller-manager 、kube-scheduler 和 etcd 等。对这些核心组件的状态进行检查，可以确保Kubernetes集群的核心功能正常运行。此外，还需要对 K8s 集群证书过期时间进行检查，避免证书过期导致集群问题。

节点资源状况​

  • K8s 是一个高度动态的系统，它需要确保节点资源的可用性以支持应用程序的正常运行。因此，在对集群进行巡检时，需要检查节点的资源使用情况，包括CPU、内存和磁盘等。通过检查资源使用情况，可以确保节点资源的可用性和可扩展性，并及时发现可能会影响应用程序性能的问题。

Rainbond 服务巡检​

当对 Rainbond 底层服务进行巡检时，主要检查各个核心组件的状态以及重启状况。

description

运行状态​

  • 检查 Rainbond 底层的核心组件，如 api 服务、网关服务、构建服务、应用运行时服务等组件的运行状态，以确保 Rainbond 的正常运行。

重启状况​

  • 检查 Rainbond 底层组件的重启情况，如重启次数、重启原因等，可以确保及时发现 Rainbond 自身组件的问题并进行修复。

运行巡检​

运行巡检主要针对于平台上运行的业务进行巡检，当进行运行巡检时，主要检查组件 pod 的运行状态和重启状况。

description

运行状态​

  • 检查集群内各个 Pod 的运行状态，例如 Pod 是否处于 Running 状态、Pod 是否处于 CrashLoopBackOff 状态、Pod 是否处于 Pending 状态等，以确保及时发现异常 Pod。

重启状况​

  • 检查集群内各个 Pod 的重启情况，如重启次数、重启原因等，以确保及时发现 Pod 的问题并进行修复。

配置巡检​

配置巡检主要针对于平台上运行的业务资源配置、健康检测配置等进行巡检。主要检查容器镜像标签、容器运行时参数、资源限制设置、存储挂载设置、容器健康检测设置。

description

容器镜像标签​

  • 检查容器镜像的标签是否合规，包括是否使用了 latest 标签、是否使用了明确的版本号等。

容器运行时参数​

  • 检查容器运行时参数是否安全，包括是否禁止使用特权模式、是否开启了安全策略等。

资源限制设置​

  • 检查容器资源限制设置是否合理，包括 CPU 和内存限制是否设置合理。

存储卷挂载设置​

  • 检查容器存储卷挂载设置是否合理，包括是否禁止了对主机文件系统的挂载、是否使用了 ReadOnlyRootFilesystem 等。

容器健康检测设置​

  • 检查容器健康检测设置是否合理，包括是否设置了 liveness 和 readiness 探针、探针的检测间隔是否设置合理等。
  • 通过对这些配置进行扫描和分析，生成的配置巡检报告可以给出针对每个组件的配置建议和优化方案，帮助用户提高系统的安全性和可靠性。

安全巡检​

安全巡检主要针对于平台上运行的业务镜像进行扫描，并对镜像中的各类安全漏洞，给出详细信息链接，以便用户进行修复。具体来说，安全巡检主要包含了扫描镜像安全漏洞、漏洞报告、建议和解决方案、自动化定期检测。

description

扫描镜像安全漏洞​

  • 通过对集群内已部署的业务镜像进行扫描，获取镜像存在的安全漏洞信息。

分析漏洞影响​

  • 对扫描出的安全漏洞进行分析，评估其对业务的影响程度，并给出相应的风险评级。

提供建议和解决方案​

  • 根据扫描出的安全漏洞和评估结果，给出相应的建议和漏洞详细信息，帮助用户修复漏洞，提升业务的安全性。

定期检测和自动化​

  • 安全巡检需要定期进行，以保持业务的安全性。目前，安全巡检支持自动化运行，针对每个新部署的业务组件均会自动进行检测，并生成相关报告。

使用手册​

在具体使用当中，可以选择指定巡检项进行扫描，根据扫描的结果可以对问题进行排查修复。

集群巡检​

在进入平台巡检页面后，点击底部的巡检按钮，平台将开始自动巡检并给出巡检结果。巡检结果分 K8s集群巡检、Rainbond 服务巡检、运行巡检、配置巡检和安全巡检五类展示，每一类都会根据风险程度以错误数、警告数、正常数的形式进行展示。点击右侧查看报告将会列出详细信息。

问题修复​

针对各项巡检结果，需要对已有问题进行排查和修复，常见问题有节点不健康、集群核心组件异常、rainbond组件异常及重启、业务组件异常或重启、业务组件配置、镜像漏洞等。

节点不健康​

  • 如果节点不健康，查找内核日志或节点 Events 信息进行修复。
  • 如果节点上的磁盘空间不足，可以删除不必要的文件或移动文件到其他存储位置来释放磁盘空间。

K8s 核心组件异常​

  • 如果 kube-apiserver 、kubelet、 kube-controller-manager 、kube-scheduler 等组件状态异常，可以查看相关日志或尝试重启相应服务进行修复。
  • 如果证书即将过期，请及时更新集群证书。

Rainbond 组件运行异常​

  • 查看 Rainbond 组件的日志信息、Events 信息等方式，排查组件启动失败、无法访问等问题。

Rainbond 组件异常重启​

  • 通过排查上一次组件异常退出日志进行修复。

平台上业务组件运行异常​

  • 在 Rainbond 组件视图，查看业务的日志信息、Events 信息等方式，排查组件启动失败、无法访问等问题。

平台上业务组件异常重启​

  • 通过排查上一次业务组件异常退出日志进行修复。

平台上业务配置问题​

  • 检查容器镜像的标签是否合规，包括是否使用了 latest 标签、是否使用了明确的版本号等，
  • 检查容器运行时参数是否安全，包括是否禁止使用特权模式、是否开启了安全策略等。未设置的可以在组件视图-安全进行设置。
  • 检查容器资源限制设置是否合理，包括 CPU 和内存限制是否设置合理。
  • 检查容器存储卷挂载设置是否合理，包括是否禁止了对主机文件系统的挂载、是否使用了 ReadOnlyRootFilesystem 等。
  • 检查容器健康检测设置是否合理，包括是否设置了 liveness 和 readiness 探针、探针的检测间隔是否设置合理等。

平台上业务镜像安全漏洞问题​

  • 通过升级底层基础镜像版本进行解决。