0%

K8S问题记录

前言

本文记录使用K8S过程中遇到的问题和解决办法。
问题排查方法参考《kubectl命令——故障排查篇》

kubelet不停重启

问题描述

K8S的一个worker节点磁盘不足,关机进行磁盘扩容,物理扩容后开机,执行esize2fs /dev/vdb,扩容完成。

docker ps,发现没有容器被启动。
kubectl status kubelet,发现kubelet不停进行重启,每次都启动失败。
kubectl status docker,正常docker正常running。

重启机器,问题依旧。

排查解决

1
2
journalctl -xeu kubelet -r
journalctl -xeu docker -r

kubelet日志没有报错,docker日志中报错:

1
level=error msg="xxx cleanup: failed to delete container from containerd: no such container

FROM ChatGPT:
该错误日志表示 Docker 清理容器时失败,原因是没有找到相应的容器。

可能原因及解决方法:

  1. 容器不存在:检查容器是否已被删除或者已经退出,如果是则不需要处理该错误。
  2. 容器正在运行:如果容器正在运行,可能是由于正在执行某些任务而无法清理。此时可以尝试停止容器后再进行清理。
  3. Docker daemon 出现故障:在某些情况下,Docker daemon 可能会出现故障导致无法清理容器。尝试重启 Docker daemon 可能会解决问题。
  4. 操作系统出现故障:在某些情况下,操作系统可能会出现故障导致无法清理容器。尝试重启操作系统可能会解决问题。

解决办法:手动清理容器,然后重启机器。

1
2
docker container prune
reboot
  • 本文作者: 好好学习的郝
  • 本文链接: https://www.voidking.com/dev-k8s-problem/
  • 版权声明: 本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!源站会及时更新知识点及修正错误,阅读体验也更好。欢迎分享,欢迎收藏~