kubectl命令——故障排查篇

故障排查思路

故障排查的第一步是先给问题分类。
这个问题是哪个资源对象出了问题？node、pod、service、configmap、…？

参考文档：

• 阿里云ACK - 故障排除
• 阿里云ACK - 节点异常问题排查
• 腾讯云TKE - 故障处理
• 腾讯云TKE - Pod 异常排查概述
• 应用故障排查
• Kubernetes 网络异常分类及排错指南
• k8s实践指南-排错案例-分析 ExitCode 定位 Pod 异常退出原因

Node排查

查看Node详细信息

kubectl describe node $node_name

Pod排查

查看Pod详细信息

kubectl get pods $pod_name -n $namespace -oyaml
kubectl describe pods $pod_name -n $namespace 

查看容器日志

查看容器日志

kubectl logs $pod_name -n $namespace 
kubectl logs $pod_name -c $container_name -n $namespace
kubectl logs --tail=100 $pod_name -c $container_name -n $namespace
kubectl logs -f $pod_name -c $container_name -n $namespace

查看crashed容器日志

kubectl logs --previous $pod_name -c $container_name -n $namespace 

查看容器内部日志

kubectl exec $pod_name -n $namespace -- cat /var/log/cassandra/system.log
kubectl exec $pod_name -c $container_name -n $namespace -- cat /var/log/cassandra/system.log

Deployment排查

查看deployment信息

kubectl get deployment $controller_name -n $namespace -oyaml
kubectl describe deployment $controller_name -n $namespace

Service排查

查看service信息

kubectl get service $service_name -n $namespace
kubectl get service $service_name -n $namespace -oyaml

查看endpoints资源，service选择到了哪些pod和端口

kubectl get endpoints $service_name

查看集群信息

查看集群信息

kubectl cluster-info
kubectl cluster-info dump

查看集群状态

kubectl get cs
kubectl get componentstatuses

NAME                 STATUS      MESSAGE                                                                                       ERROR
controller-manager   Unhealthy   Get "http://127.0.0.1:10252/healthz": dial tcp 127.0.0.1:10252: connect: connection refused
scheduler            Unhealthy   Get "http://127.0.0.1:10251/healthz": dial tcp 127.0.0.1:10251: connect: connection refused
etcd-0               Healthy     {"health":"true"}

如果看到上面的信息，不要紧张。通过kubeadm安装的k8s集群，都是这样，可以忽略。
如果非要解决，那么可以修改kube-controller-manager.yaml和kube-scheduler.yaml中的command启动参数，添加address参数。

spec:
  containers:
  - command:
    - kube-scheduler
    - --authentication-kubeconfig=/etc/kubernetes/scheduler.conf
    - --authorization-kubeconfig=/etc/kubernetes/scheduler.conf
    - --bind-address=127.0.0.1
    - --kubeconfig=/etc/kubernetes/scheduler.conf
    - --leader-elect=true
    - --port=0
    - --address=127.0.0.1

查看Node资源使用

kubectl top node

查看集群事件

kubectl get ev

Pod测试

为了验证dns解析是否正确、service访问是否正常，最好的方法就是在k8s集群中启动一个pod进行测试。

启动测试Pod

#kubectl run test --image=busybox:1.25 --command sleep 3600

kubectl run test --image=alpine:3.7.3 --command sleep 3600

kubectl run test --image=debian:buster --command sleep 3600

注意：用于测试的容器镜像不要使用busybox镜像，测试结果可能不准确。
比如，使用最新版busybox的nslookup解析可能解析失败，但是换个低版本的busybox可能就正常了；使用telnet的测试端口提示Connection closed by foreign host，nc测试也是没有结果，但是换成其他镜像就可以正常连接。

自制测试镜像

1、准备Dockerfile

FROM debian:buster
RUN sed -i 's#http://deb.debian.org#http://mirrors.tuna.tsinghua.edu.cn#g' /etc/apt/sources.list
RUN sed -i 's#http://security.debian.org/debian-security#http://mirrors.tuna.tsinghua.edu.cn/debian-security#g' /etc/apt/sources.list
RUN apt update && apt install -y telnet netcat curl

2、构建镜像&上传镜像

docker build -t voidking/debian:buster .
docker push voidking/debian:buster

3、启动测试pod

kubectl run test --image=voidking/debian:buster --command sleep 3600

Pod交互

执行命令

1、登录容器

kubectl exec -it pod-name /bin/bash
kubectl exec -it pod-name -c container-name /bin/bash
kubectl exec -it pod-name -c container-name sh

2、直接执行命令

kubectl exec pod-name env
kubectl exec pod-name -- env
kubectl exec pod-name -it -- env
kubectl exec -n default pod-name -it -- env
# 命令带参数时必须加双横线
kubectl exec pod-name -- sh -c 'echo ${LANG}'

拷贝文件

拷贝pod内容到宿主机

kubectl cp $podname:/tmp/$filename .

拷贝宿主机内容到pod

kubectl cp $filename $podname:/tmp/

前提是容器里需要有tar命令，否则执行会报错：

OCI runtime exec failed: exec failed: unable to start container process: exec: "tar": executable file not found in $PATH: unknown
command terminated with exit code 126

查看IP范围

service cidr

怎样查看一个k8s集群的service ip范围？

kubeadm config view | grep Subnet
kubectl get pods -n kube-system kube-apiserver-master -oyaml | grep service-cluster-ip-range

pod cidr

怎样查看一个k8s集群的pod ip范围？

kubeadm config view | grep Subnet
kubectl cluster-info dump | grep -i cidr

如果上面两个方法都找不到，那么还可以通过网络组件的日志来查看，以weave为例。

docker ps | grep weave
docker logs <weave-container-id> | grep ipalloc-range

查看资源使用情况

查看Node资源使用

kubectl top nodes
kubectl top nodes --sort-by='cpu'
kubectl top nodes --sort-by='memory'

查看Pod资源使用

kubectl top pods -A
kubectl top pods -A --sort-by='cpu'
kubectl top pods -A --sort-by='memory'

查看Pod资源申请

kubectl get po -A \
-o custom-columns="name:metadata.name,namespace:metadata.namespace,requests-cpu:spec.containers[*].resources.requests.cpu,requests-memory:spec.containers[*].resources.requests.memory"

kubectl get po -A --field-selector status.phase==Running \
-o custom-columns="name:metadata.name,namespace:metadata.namespace,requests-cpu:spec.containers[*].resources.requests.cpu,requests-memory:spec.containers[*].resources.requests.memory"

kubectl get po -A --field-selector status.phase==Running,spec.nodeName=worker0 \
-o custom-columns="name:metadata.name,namespace:metadata.namespace,requests-cpu:spec.containers[*].resources.requests.cpu,requests-memory:spec.containers[*].resources.requests.memory"

kubectl get po -A \
-o=jsonpath="{range .items[*]}{.metadata.namespace}:{.metadata.name}{'\n'}{range .spec.containers[*]}  {.name}:{.resources.requests.cpu}{'\n'}{end}{'\n'}{end}"

kubectl get po -A \
-o=jsonpath="{range .items[*]}{.metadata.namespace}:{.metadata.name}{'\n'}{range .spec.containers[*]}  {.name}:{.resources.requests.memory}{'\n'}{end}{'\n'}{end}"

查看Pod资源限制

kubectl get po -A \
-o custom-columns="name:metadata.name,namespace:metadata.namespace,limits-cpu:spec.containers[*].resources.limits.cpu,limits-memory:spec.containers[*].resources.limits.memory"

kubectl get po -A --field-selector status.phase==Running \
-o custom-columns="name:metadata.name,namespace:metadata.namespace,limits-cpu:spec.containers[*].resources.limits.cpu,limits-memory:spec.containers[*].resources.limits.memory"

kubectl get po -A --field-selector status.phase==Running,spec.nodeName=worker0 \
-o custom-columns="name:metadata.name,namespace:metadata.namespace,limits-cpu:spec.containers[*].resources.limits.cpu,limits-memory:spec.containers[*].resources.limits.memory"

kubectl get po -A \
-o=jsonpath="{range .items[*]}{.metadata.namespace}:{.metadata.name}{'\n'}{range .spec.containers[*]}  {.name}:{.resources.limits.cpu}{'\n'}{end}{'\n'}{end}"

kubectl get po -A \
-o=jsonpath="{range .items[*]}{.metadata.namespace}:{.metadata.name}{'\n'}{range .spec.containers[*]}  {.name}:{.resources.limits.memory}{'\n'}{end}{'\n'}{end}"

后记

阿里云ACK - 故障排除文档非常具有参考价值，值得反复阅读。