K8S问题记录

前言

本文记录使用K8S过程中遇到的问题和解决办法。
问题排查方法参考《kubectl命令——故障排查篇》。

kubelet不停重启

问题描述

K8S的一个worker节点磁盘不足，关机进行磁盘扩容，物理扩容后开机，执行esize2fs /dev/vdb，扩容完成。

docker ps，发现没有容器被启动。
kubectl status kubelet，发现kubelet不停进行重启，每次都启动失败。
kubectl status docker，正常docker正常running。

重启机器，问题依旧。

排查解决

journalctl -xeu kubelet -r
journalctl -xeu docker -r

kubelet日志没有报错，docker日志中报错：

level=error msg="xxx cleanup: failed to delete container from containerd: no such container

FROM ChatGPT：
该错误日志表示 Docker 清理容器时失败，原因是没有找到相应的容器。

可能原因及解决方法：

1. 容器不存在：检查容器是否已被删除或者已经退出，如果是则不需要处理该错误。
2. 容器正在运行：如果容器正在运行，可能是由于正在执行某些任务而无法清理。此时可以尝试停止容器后再进行清理。
3. Docker daemon 出现故障：在某些情况下，Docker daemon 可能会出现故障导致无法清理容器。尝试重启 Docker daemon 可能会解决问题。
4. 操作系统出现故障：在某些情况下，操作系统可能会出现故障导致无法清理容器。尝试重启操作系统可能会解决问题。

解决办法：手动清理容器，然后重启机器。

docker container prune
reboot