wKL9pR.jpg

由于某些不可名状的因素导致我们原来的镜像私服仓库不能用了，所以将镜像都存放在了阿里云的容器镜像服务。然后然在服务发布时发现pull镜像有问题，此文档用于记录问题解决过程。

问题现象

  • 容器拉取镜像失败
1
2
3
4

$ kubectl describe pods bxpp-6426-657b7ff794-gppfv
......
Warning  Failed     2s (x2 over 17s)  kubelet, 172.16.77.189  Failed to pull image "registry.cn-hangzhou.aliyuncs.com/cotte-internal/bl-trex-bxpp-dev:9311": rpc error: code = Unknown desc = Error response from daemon: pull access denied for registry.cn-hangzhou.aliyuncs.com/cotte-internal/bl-trex-bxpp-dev, repository does not exist or may require 'docker login'
......

报错信息为访问被拒绝，需要登录仓库，但是在pod所在的node节点已经登录了，而且使用docker pull是可以拉取的，如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

$ [root@k8s-77-189 ~]# docker pull registry.cn-hangzhou.aliyuncs.com/cotte-internal/bl-trex-bxpp-dev:9311
9311: Pulling from cotte-internal/bl-trex-bxpp-dev
b8e0383d5f94: Already exists
dbfdecf77fbc: Already exists
c422ba8ef74a: Already exists
b1694b232e8c: Already exists
a3cbd3004bf0: Already exists
27fa098e67c0: Already exists
d44aa4b2cfed: Already exists
7ce0daded1f5: Already exists
f7426546b5c4: Already exists
ef745c7a9450: Already exists
54d66b1b14e6: Already exists
2177c4e892bd: Pull complete
1dfaf8ad1ef8: Pull complete
ae4bf6fc0e55: Pull complete
c2d967a1704b: Pull complete
74fb1d311005: Pull complete
d4b854d780f8: Extracting [==============================>                    ]  64.62MB/107MB

问题解决

方案一

查看官方文档，发现kubelet在提取镜像时会读取${home}/.docker/config.json中的认证密钥，但是上述报错情况，显然没有读取到/root/.docker/config.json的密钥，重启kubelet也没有效果。根据官方文档所写，将${home}/.docker/config.json文件复制到/var/lib/kubelet下。如下操作：

1
2

$ cp ${home}/.docker/config.json /var/lib/kubelet/
$ systemctl restart kubelet.service

执行完以上操作之后，再重新部署服务，就可以正常拉取镜像了。

方案二

参考github上一个issues,以root用户登录docker仓库(一登录)，在kubelet的systemd unit文件中加入User=root，重启kubelet。

1
2
3
4
5
6
7
8
9

#注意，我这里是用二进制安装的集群，如果你是用kubeadm安装的，需要找到对应的文件
$ vim /etc/systemd/system/kubelet.service
......
[Service]
User=root  #加入此行
......

$ systemctl daemon-reload
$ systemctl restart kubelet

执行完以上操作之后，再重新部署服务，就可以正常拉取镜像了。

方案三

创建docker registry认证的Secret。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

# 注意secret不会同步到所有的命名空间  如果是多个命名空间 需要单独都创建
$ kubectl create secret docker-registry aliyunregistry --docker-server=XXXXXXX --docker-username=xxxx --docker-password=xxxxx --docker-email=test@gmail.com
$ vim bxpp.yaml
......
    spec:
      imagePullSecrets:  # 加入这个参数
      - name: aliyunregistry
      containers:
......
$ kubectl apply -f bxpp-test.yaml

执行完以上操作之后，再重新部署服务，就可以正常拉取镜像了。

参考链接

官方文档

官方issues