前言
本文记录使用K8S过程中遇到的问题和解决办法。
问题排查方法参考《kubectl命令——故障排查篇》。
kubelet不停重启
问题描述
K8S的一个worker节点磁盘不足,关机进行磁盘扩容,物理扩容后开机,执行esize2fs /dev/vdb
,扩容完成。
docker ps
,发现没有容器被启动。kubectl status kubelet
,发现kubelet不停进行重启,每次都启动失败。kubectl status docker
,正常docker正常running。
重启机器,问题依旧。
排查解决
1 | journalctl -xeu kubelet -r |
kubelet日志没有报错,docker日志中报错:
1 | level=error msg="xxx cleanup: failed to delete container from containerd: no such container |
FROM ChatGPT:
该错误日志表示 Docker 清理容器时失败,原因是没有找到相应的容器。
可能原因及解决方法:
- 容器不存在:检查容器是否已被删除或者已经退出,如果是则不需要处理该错误。
- 容器正在运行:如果容器正在运行,可能是由于正在执行某些任务而无法清理。此时可以尝试停止容器后再进行清理。
- Docker daemon 出现故障:在某些情况下,Docker daemon 可能会出现故障导致无法清理容器。尝试重启 Docker daemon 可能会解决问题。
- 操作系统出现故障:在某些情况下,操作系统可能会出现故障导致无法清理容器。尝试重启操作系统可能会解决问题。
解决办法:手动清理容器,然后重启机器。
1 | docker container prune |