Metrics Server collecte les métriques kubernetes

Metrics Server est venue remplacer rapidement Heapster et permet de collecter et d’aggreger des metriques de consommation en provenance des nodes et des pods du cluster Kubernetes.

Prérequis

Pour que Metrics Server fonctionne correctement il faut au préalable activer la diffustion des certificats généré par kubelet, pour les faire signer par l’autorité de certification du cluster. Si vous ne faites pas cela vous obtiendrez des erreurs dans les logs du pods metrics-server avec ce genre de contenu :

"Failed to scrape node" err="Get \"https://192.168.121.106:10250/stats/summary?only_cpu_and_memory=true\": x509: cannot validate certificate for 192.168.121.106 because it doesn't contain any IP SANs" node="master1"

On pourrait désactiver le controle des certificats mais j’aime pas ça. Donc dans un premier il faut éditer le configmap kubelet-config appartenant au namespace kube-system :

source <(kubectl completion bash) # Activation de l'autocompletion
kubectl -n kube-system get configmaps
NAME                                 DATA   AGE
calico-config                        4      79m
coredns                              1      5h49m
extension-apiserver-authentication   6      5h49m
kube-proxy                           2      5h49m
kube-root-ca.crt                     1      5h49m
kubeadm-config                       1      5h49m
kubelet-config-1.23                  1      5h49m
kubectl -n kube-system edit configmaps kubelet-config-1.23

Rechercher la ligne contenant kind: KubeletConfiguration et ajouter juste en dessous ceci :

    kind: KubeletConfiguration
    serverTLSBootstrap: true

Comme sous vi :wq

Ensuite sur tous les noeuds du cluster (master et worker) éditer de la même façon le fichier /var/lib/kubelet/config.yaml. Je fourni les exemples de commande à réaliser dans ma CKASandBox :

ssh master1
vagrant@master1:~$ sudo su
root@master1:/home/vagrant# vi /var/lib/kubelet/config.yaml

De la même manière que précédement :

    kind: KubeletConfiguration
    serverTLSBootstrap: true

Sauvegardez et quittez. Il faut ensuite relancer le service kubelet

root@master1:/home/vagrant# systemctl restart kubelet

Répétez l’opération sur tous les noeuds du cluster !

Maintenant nous allons signer les certificats.

kubectl get csr
NAME        AGE     SIGNERNAME                                    REQUESTOR                 REQUESTEDDURATION   CONDITION
csr-fjfpn   2m17s   kubernetes.io/kubelet-serving                 system:node:worker1       <none>              Approved,Issued
csr-mh2vl   4s      kubernetes.io/kubelet-serving                 system:node:master1       <none>              Pending
csr-t6nxf   10m     kubernetes.io/kube-apiserver-client-kubelet   system:bootstrap:kh6206   <none>              Approved,Issued

Pour tous les certificats en status pending :

kubectl certificate approve csr-mh2vl
certificatesigningrequest.certificates.k8s.io/csr-mh2vl approved

Installation de Metrics Server

C’est assez simple il suffit de lancer cette commande kubectl :

kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
serviceaccount/metrics-server created
clusterrole.rbac.authorization.k8s.io/system:aggregated-metrics-reader created
clusterrole.rbac.authorization.k8s.io/system:metrics-server created
rolebinding.rbac.authorization.k8s.io/metrics-server-auth-reader created
clusterrolebinding.rbac.authorization.k8s.io/metrics-server:system:auth-delegator created
clusterrolebinding.rbac.authorization.k8s.io/system:metrics-server created
service/metrics-server created
deployment.apps/metrics-server created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created

Vérifions le status du pod metrics-server :

kubectl get pod -A
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE
kube-system   calico-kube-controllers-647d84984b-pl26z   1/1     Running   0          8m20s
kube-system   calico-node-bl2cw                          1/1     Running   0          8m21s
kube-system   calico-node-cfqvd                          1/1     Running   0          8m21s
kube-system   coredns-64897985d-kbf5d                    1/1     Running   0          4h38m
kube-system   coredns-64897985d-xtv92                    1/1     Running   0          4h38m
kube-system   etcd-master1                               1/1     Running   5          4h38m
kube-system   kube-apiserver-master1                     1/1     Running   5          4h38m
kube-system   kube-controller-manager-master1            1/1     Running   5          4h38m
kube-system   kube-proxy-2h652                           1/1     Running   0          4h38m
kube-system   kube-proxy-6sz96                           1/1     Running   0          8m42s
kube-system   kube-scheduler-master1                     1/1     Running   5          4h38m
kube-system   metrics-server-6c49cf6978-hxcsw            0/1     Running   0          8s

Si au bout de quelques minutes il n’est pas Ready (1/1). Alors consulter ces logs :

kubectl -n kube-system logs -f metrics-server-6c49cf6978-hxcsw

Consultation des metriques remontées par Metrics Server

Kubectl permet d’afficher et d’exploiter les informations stockées dans metrics-server.

Pour les nodes :

kubectl top node
NAME      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%
master1   147m         7%     1116Mi          68%
worker1   58m          5%     572Mi           64%

Pour les pods

kubectl top pod -A
NAMESPACE     NAME                                       CPU(cores)   MEMORY(bytes)
kube-system   calico-kube-controllers-647d84984b-pl26z   2m           15Mi
kube-system   calico-node-bl2cw                          24m          122Mi
kube-system   calico-node-cfqvd                          26m          126Mi
kube-system   coredns-64897985d-kbf5d                    2m           20Mi
kube-system   coredns-64897985d-xtv92                    1m           17Mi
kube-system   etcd-master1                               13m          52Mi
kube-system   kube-apiserver-master1                     38m          310Mi
kube-system   kube-controller-manager-master1            16m          55Mi
kube-system   kube-proxy-2h652                           1m           18Mi
kube-system   kube-proxy-6sz96                           1m           16Mi
kube-system   kube-scheduler-master1                     3m           24Mi
kube-system   metrics-server-6c49cf6978-hxcsw            3m           16Mi

Ces informations vont vous permettre de mettre en place des limites de ressources à chacun des composants de kubernetes.

Plus loin avec Metrics Server

Metrics-Server ne propose aucune historisation des données collectées. Pour cela il faut installer par exemple Prometheus, pour le stockage et Grafana, pour la visualisation des données collectées. Cela fera le sujet d’un prochain billet.

Autre point Metrics Server intègre un outil d’autoscaling Horizontal qui fera aussi le sujet d’un autre billet.