K8S中安装使用Ingress

Ingress简介

ingress是k8s中的一个七层的负载均衡，可以把流量路由到service。
如果没有ingress，我们可以通过外部的nginx、haproxy等也可以实现七层负载均衡，但是配置nginx比较麻烦，因为想要配置nginx的upstream必须先查询service的ip，那如果使用service的name，还要维护一个dns；如果想要换成haproxy，成本也比较高。而有了ingress，实际上就是把nginx等七层负载均衡集成到了k8s中，配置就更加简单也更加通用。

它的工作原理是ingress服务作为流量的入口，收到请求后，根据host、path等规则，匹配到对应的service和端口，然后把流量转发到service的端口，service再转发流量给pod。

参考文档：

• Ingress
• Ingress Controllers

安装Ingress Controller

本节中，我们使用helm在K8S集群中安装Ingress NGINX Controller。

参考文档：

• Set up Ingress on Minikube with the NGINX Ingress Controller
• Ingress NGINX Controller
• Ingress NGINX Controller - Installation Guide
• 使用Helm安装Ingress-nginx

官方推荐一键安装：

helm upgrade --install ingress-nginx ingress-nginx \
  --repo https://kubernetes.github.io/ingress-nginx \
  --namespace ingress-nginx --create-namespace

因为郝同学喜欢安装指定版本，并且对配置做一些了解，因此本节使用稍微麻烦一点的方式。

1、添加chart仓库

helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update
helm repo list

2、导出配置，chart4.1.4 对应 app1.2.1

helm search repo ingress-nginx/ingress-nginx -l
helm show values ingress-nginx/ingress-nginx --version 4.1.4 > values-4.1.4.yaml

3、修改配置
values-4.1.4.yaml按需修改，这里主要修改一下镜像：

• controller.image.registry ，改为registry.cn-hangzhou.aliyuncs.com
• controller.image.image，改为google_containers/nginx-ingress-controller
• controller.image.tag，保持不变v1.2.1
• 注释掉 controller.image.digest 和 controller.image.digestChroot

4、安装ingress nginx controller

kubectl create ns ingress-nginx
helm install ingress-nginx ingress-nginx/ingress-nginx -f values-4.1.4.yaml -n ingress-nginx

5、查看安装

kubectl get all -n ingress-nginx
kubectl get ingressclass

KS中的Ingress Controller

如果k8s集群中安装了kubesphere，那么可以直接启用kubesphere的网关，本质也是ingress nginx controller。
开启办法：admin用户登录控制台，集群设置，网关设置，启用网关。

参考文档：

• Guide to Kubernetes Ingress Controllers
• Canary Release in Kubernetes with Nginx Ingress
• 集群网关
• 项目网关
• 应用路由

配置Ingress

参考文档：

• Ingress
• Default IngressClass

Ingress Controller配置

可以认为Ingress Controller就是一个K8S内部的Nginx。
查看 Ingress Controller 的 service 配置，找到80和433端口对应的NodePort，用于访问Nginx。
假设一个节点IP为192.168.56.102，service的80端口对应30490，443端口对应30499。

创建测试服务

1、创建测试服务

kubectl create deployment test --image=nginx --dry-run=client -oyaml > deployment.yaml
kubectl create service clusterip test --tcp=80:80 --tcp=443:443 --dry-run=client -oyaml > service.yaml
kubectl apply -f deployment.yaml
kubectl apply -f service.yaml

2、查看测试服务

kubectl get pods
kubectl get svc

创建Ingress

1、准备 minimal-ingress.yaml

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minimal-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  ingressClassName: nginx
  rules:
  - http:
      paths:
      - path: /testpath
        pathType: Prefix
        backend:
          service:
            name: test
            port:
              number: 80

其中，ingressClassName可以省略，省略后会使用默认的ingressClass。

2、创建ingress

kubectl apply -f minimal-ingress.yaml
kubectl get ingress

3、通过ingress controller访问测试服务

curl 192.168.56.102:30490/testpath

支持https

1、创建secret

kubectl create secret tls cert \
--cert=tls.crt=/etc/letsencrypt/live/voidking.com/fullchain.pem \
--key=tls.key=/etc/letsencrypt/live/voidking.com/privkey.pem \
--dry-run=client \
-oyaml > secret.yaml

apiVersion: v1
data:
  tls.crt: xxx
  tls.key: yyy
kind: Secret
metadata:
  name: cert
type: Opaque

其中，tls.crt是base64加密后的证书，tls.key是base64加密后的

2、ingress添加tls定义

spec:
  ingressClassName: nginx
  rules:
  - host: test.voidking.com
    http:
      paths:
      - path: /testpath
        pathType: Prefix
        backend:
          service:
            name: test
            port:
              number: 80
    tls:
    - hosts:
      - test.voidking.com
      secretName: cert

支持websocket

配置方法一：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minimal-ingress
  annotations:
    nginx.ingress.kubernetes.io/proxy-http-version: "1.1"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "3600"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "3600"

配置方法二：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minimal-ingress
  annotations:
    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_set_header Upgrade "websocket";
      proxy_set_header Connection "Upgrade";

参考文档：

• ingress-nginx Websockets
• ingress-nginx Annotations

支持泛域名

spec:
  ingressClassName: nginx
  rules:
  - host: *.voidking.com
    http:
      paths:
      - path: /testpath
        pathType: Prefix
        backend:
          service:
            name: test
            port:
              number: 80
  tls:
    - hosts:
      - '*.voidking.com'
      secretName: cert

参考文档：

• Ingress 证书配置

批量修改域名证书

需求描述：假设k8s集群中，使用ingress配置了很多*.intl.voidking.com域名，例如 test1.intl.voidking.com 和 test2.intl.voidking.com ，如果*.intl.voidking.com域名证书过期的话，那就需要批量修改k8s中的域名证书。

1、准备脚本 patch.sh

#!/bin/bash
domain=$1
if [[ -z "$domain" ]];then
  echo "domain can not be null!"
  exit 1
fi
crt="/etc/letsencrypt/live/${domain}/fullchain.pem"
key="/etc/letsencrypt/live/${domain}/privkey.pem"
if [[ ! (-e $crt && -e $key) ]];then
  echo "$crt or $key does not exist!"
  exit 1
fi
tlscrt=$(cat $crt | base64 | tr -d '\n')
tlskey=$(cat $key | base64 | tr -d '\n')

kubectl get ingress -A | grep "$domain" | awk '{print $1" "$2" "$4}' > ingress.txt
cat ingress.txt
read -p "is the content right？[Y/N]" input
if [[ ! ($input = "y" || $input = "Y") ]];then
  "exit!"
  exit 0
fi

while read line;do
    echo "$line"
    namespace=$(echo "$line" | awk '{print $1}')
    ingressname=$(echo "$line" | awk '{print $2}')
    secretname=$(kubectl get ingress $ingressname -n $namespace -o=jsonpath='{.spec.tls[0].secretName}')
    echo "secret: $secretname"
    if [[ -z "$secretname" ]];then
      "ingress $ingressname does not link secret!"
      continue
    fi
    kubectl patch secret $secretname \
    -p "{\"data\": {\"tls.crt\": \"$tlscrt\"}}" \
    -n $namespace
    kubectl patch secret $secretname \
    -p "{\"data\": {\"tls.key\": \"$tlskey\"}}" \
    -n $namespace
done < ingress.txt

2、执行脚本

bash patch.sh intl.voidking.com

多个Ingress Controller

怎样在k8s集群中配置多个Ingress Controller？
答：多个Ingress Controller的--controller-class和--ingress-class设置成不同的值。

如果k8s集群中存在多个Ingress Controller，哪个会生效呢？
答：在Ingress的spec中指定ingressClassName，或者在Ingress的annotations中指定kubernetes.io/ingress.class（即将废弃）。
如果不指定，那么将会使用默认的ingressClass，默认的ingressClass中会包含一个annotations：

annotations:
  ingressclass.kubernetes.io/is-default-class: "true"

Ingress NGINX Controller的--controller-class默认值为k8s.io/ingress-nginx，--ingress-class的默认值为nginx。

参考文档：

• Ingress
• Default IngressClass
• Multiple Ingress controllers
• kubernetes部署多个ingress controller（ingress controller分组部署）实践
• 部署多个Ingress Controller
• 同一kubernetes部署多个Nginx Ingress Controller

Ingress推荐链路

Domain -> Nginx -> Ingress -> Service -> Pod
Domain -> LB -> Ingress -> Service -> Pod
Domain -> LB(Ingress) -> Service -> Pod