kubernetes HPA

Kubernetes弹性伸缩简介

通过手工执行 kubectl scale 命令或者通过修改deployment的replicas数量,可以实现Pod扩缩容。我们还可以通过定时任务的方式在一些可预见的业务高峰场景实现Pod的定时伸缩。然而在更多的应用场景当中,业务的请求量峰值其实是不可控的。这就需要我们借助一些自动伸缩的手段,例如通过监控Pod的资源使用率、访问的QPS等指标来实现自动的弹性伸缩。

Kubernetes从两个维度上支持自动的弹性伸缩:

  • Cluster AutoScaler:处理kubernetes集群node节点的伸缩,其严重依赖IaaS厂商提供的云主机服务和资源监控服务
  • HPA(Horizontal Pod Autoscaler):处理Pod副本集的自动弹性伸缩,其依赖监控服务采集到的资源监控指标数据

HPA简介

HPA本质上也是Kubernetes的一种资源对象。通过周期性检查Deployment控制的目标Pod 的相关监控指标的变化情况,来确定是否需要针对性地调整目标Pod的副本数。

通常应用的扩缩容都是由cpu或内存的使用率实现的。事实上在早期的kubernetes版本当中,hpa只支持基于cpu使用的率的扩缩容,而hpa获取到的cpu使用率指标则来源于kubernetes自带的监控系统heapster。

而从kubernetes 1.8版本开始,资源的使用指标改为通过metrics api获取。而heapster当前已经废弃。

Kubernetes将资源指标分为了两种:

  • core metrics(核心指标): 采集每个节点上的kubelet公开的summary api中的指标信息,通常只包含cpu、内存使用率信息
  • custom metrics(自定义指标):允许用户从外部的监控系统当中采集自定义指标,如应用的qps等

在autoscaling/v1版本中只支持CPUUtilizationPercentage一种指标,在autoscaling/v2beta1中增加支持custom metrics,autoscaling/v2beta2支持自定义指标

下面以cpu使用率指标来说明hpa是如何来根据指标使用伸缩的:

CPUUtilizationPercentage即cpu使用率的百分比。hpa判断的标准是目标Pod所有副本自身的CPU利用率的平均值。一个Pod自身的CPU利用率是该Pod当前的CPU的使用量除以它的CPU Request的值。

比如定义一个Pod的CPU Request为0.4,而当前的Pod的CPU使用量为0.2,则它的CPU使用率为 50%,这样计算一个Deployment的所有Pod的cpu使用率的平均值。如果某一刻该值超过80%,则意味着当前的Pod 副本数很可能不足以支撑接来下更多的请求,需要进行动态扩容,而当前请求高峰时段过去后,Pod的 CPU 利用率又会降下来,此时对应的Pod副本数应该自动减少到一个合理的水平。

CPUUtilizationPercentage计算过程中使用到的Pod的CPU使用量通常是1min内的平均值。

Metrics Server

前面我们说到,核心指标的采集是通过metrics api获取,而Metrics Server实现了Resurce Metrics API。Metrics Server 是集群范围资源使用数据的聚合器。由Metrics Server从每个节点上的Kubelet公开的Summary API 中采集指标信息。也就是说,如果需要使用kubernetes的HPA功能,需要先安装Metrics Server。

1. 生成metrics-server证书

创建metrics-server-csr.json文件,内容如下:

{
  "CN": "aggregator",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "Hubei",
      "L": "Wuhan",
      "O": "k8s",
      "OU": "System"
    }
  ]
}

生成metrics-server证书和密钥

cfssl gencert --ca ca.pem --ca-key ca-key.pem --config ca-config.json --profile kubernetes metrics-server-csr.json | cfssljson --bare metrics-server

关于生成证书指令中,使用的ca.pem ca-key.pem以及ca-config.json,可参考 《手动部署一个单节点kubernetes》

2. 修改kubernetes master 配置文件

在kube-apiserver的启动指令中添加如下参数:

kube-apiserver
  ...
  --requestheader-client-ca-file=/etc/kubernetes/ssl/ca.pem
  --requestheader-allowed-names=aggregator
  --requestheader-extra-headers-prefix=X-Remote-Extra-
  --requestheader-group-headers=X-Remote-Group
  --requestheader-username-headers=X-Remote-User
  --proxy-client-cert-file=/etc/kubernetes/ssl/metrics-server.pem
  --proxy-client-key-file=/etc/kubernetes/ssl/metrics-server-key.pem

在kube-controller-manager的启动指令中添加如下参数:

kube-controller-manager
  ...
  --horizontal-pod-autoscaler-use-rest-clients=true \
  --horizontal-pod-autoscaler-downscale-delay=5m0s \
  --horizontal-pod-autoscaler-upscale-delay=1m0s \
  --horizontal-pod-autoscaler-sync-period=20s \
  ...

配置项说明:

  • horizontal-pod-autoscaler-use-rest-clients: 开启基于rest-clients的自动伸缩
  • horizontal-pod-autoscaler-sync-period:自动伸缩的检测周期为20s,默认为30s
  • horizontal-pod-autoscaler-upscale-delay:当检测到满足扩容条件时,延迟多久开始缩容,即该满足的条件持续多久开始扩容,默认为3分钟
  • horizontal-pod-autoscaler-downscale-delay:当检测到满足缩容条件时,延迟多久开始缩容,即该满足条件持续多久开始缩容,默认为5分钟

3. 安装metrics-server

metrics-server代码仓库地址: https://github.com/kubernetes-incubator/metrics-server

当前最新的release版本为v0.3.6,下载最新版本。然后执行如下操作:

cd deploy/1.8+/

sed -i 's@k8s.gcr.io/metrics-server-amd64:v0.3.6@gcr.azk8s.cn/google_containers/metrics-server-amd64:v0.3.6@g' metrics-server-deployment.yaml

kubectl apply -f ./

以上操作会在kube-system命名空间启动一个名为metrics-server的pods以提供实时的数据采集。

HPA配置示例

下面是 HPA 定义的一个具体例子:

apiVersion: autoscaling/v2beta2
kind: HorizontalPodAutoscaler
metadata:
  name: php-apache
  namespace: default
spec:
  maxReplicas: 10
  minReplicas: 4
  scaleTargetRef:
    kind: Deployment
    name: nginx-demo
  targetCPUUtilizationPercentage: 90

上面定义了一个HPA对象,控制的目标对象为一个名叫nginx-demo的Deployment 里的Pod副本,当这些Pod副本的CPUUtilizationPercentage的值超过request限制的90%时会触发自动动态扩容行为,扩容或缩容时必须满足一个约束条件是Pod的副本数要介于4与10之间。

除了可以通过之间定义 YAML 文件并且调用 kubectl create 的命令来创建一个 HPA 资源对象的方式,还能通过下面的简单命令直接创建等价的 HPA 对象:

kubectl autoscale deployment php-apache --cpu-percent=90 --min=1 --max=10
我来评几句
登录后评论

已发表评论数()

相关站点

热门文章