【K8s+Docker技术全解】02.k8s搭建环境准备-准备DNS服务

# k8s搭建环境准备 配置5台虚拟机，IP信息如下 | 主机名 | IP | 用途、软件及监听端口 | | ------------------------ | -------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | k8s99-101 | 192.168.99.101 | DNS服务：bind9【53(udp/tcp)】、四层负载均衡->kube-apiserver：nginx【7443】、Nginx高可用主VIP：keepalived【vrrp】、七层代理->traefik：nginx【80】、 七层代理->dashboard：nginx【443】 | | k8s99-102 | 192.168.99.102 | 主etcd节点：etcd【2379,2380】、四层负载均衡->kube-apiserver：nginx【7443】、Nginx高可用备VIP：keepalived【vrrp】、七层代理->traefik：nginx【80】、 七层代理->dashboard：nginx【443】 | | k8s99-151 | 192.168.99.151 | Docker：docker-ce、备etcd节点：etcd【2379,2380】、kube-apiserver【6443】、controller-manager【10252,10257】、kube-scheduler【10251,10259】、kubelet【10250,10255】、kube-proxy【10256】、CNI网络插件：flannel【2401】、服务发现插件：coredns、服务暴露插件：traefik【81】 | | k8s99-152 | 192.168.99.152 | Docker：docker-ce、备etcd节点：etcd【2379,2380】、kube-apiserver【6443】、controller-manager【10252,10257】、kube-scheduler【10251,10259】、kubelet【10250,10255】、kube-proxy【10256】、CNI网络插件：flannel【2401】、服务暴露插件：traefik【81】、GUI资源管理插件：dashboard【443】 | | k8s99-200（运维管理主机） | 192.168.99.200 | 证书签发：cfssl、Docker：docker-ce、本地Docker仓库：harbor【180(tcp)】、七层代理Harbor：nginx【80】 | | VIP | 192.168.99.100 | keepalived的vip in 101&102 |   ## 环境依赖配置 暂时关闭所有系统的firewall：`systemctl stop firewalld`，也可以不关，注意开放端口访问 安装eple源：`yum install epel-release -y` 安装常用工具：`yum install wget net-tools telnet tree nmap sysstat lrzsz dos2unix bind-utils -y` 使用`hostname set-hostname k8s99-101`设置主机名，修改`/etc/sysconfig/network-scripts/ifcfg-ens33`设置ip ## 99.101搭建DNS服务 部署自建DNS系统，域的名字和IP地址做绑定，通过服务的名字在集群内进行服务相互访问。 ### 为什么要部署DNS kubernetes 提供了 service 的概念可以通过 VIP（Service IP 是 virtual IP(VIP)） 访问 pod 提供的服务，但是在使用的时候还有一个问题：怎么知道某个应用的 VIP？比如我们有两个应用，一个 app，一个 是 db，每个应用使用 rc或deployment进行管理，并通过 service 暴露出端口提供服务。app 需要连接到 db 应用，我们只知道 db 应用的名称，但是并不知道它的 VIP 地址。这就涉及到了“服务发现”的问题了。 针对以上问题，k8s提供了三种“服务发现”的方法： - 方法1.通过kubernetes 提供的 API 查询 该方法较为简单，但问题较多。首先每个应用都要在启动的时候编写查询依赖服务的逻辑，这本身就是重复和增加应用的复杂度；其次这也导致应用需要依赖 kubernetes，不能够单独部署和运行（当然如果通过增加配置选项也是可以做到的，但这又是增加复杂度）。 - 方法2.环境变量 K8S默认支持，这一方法是参照docker的。每个 pod 启动时候，k8s会将之前存在的所有服务的 IP 和 port 信息通过环境变量的形式写入到新启动的pod中，这样 pod中的应用可以通过读取环境变量来获取依赖服务的地址信息。但是有个很大的问题：依赖的服务必须在 pod 启动之前就存在，不然就不会出现在环境变量中。 - 方法3.DNS（最理想的方案） 应用只需要知道服务的具体名字，不需要关心服务的实际的 ip 地址，中间的“服务名--IP”转换由DNS自动完成。名字和 ip 之间的转换就是 DNS 系统的功能。 ### 99.101安装bind9 ```bash [root@k8s99-101 ~]# yum install bind -y [root@k8s99-101 ~]# rpm -qa bind bind-9.11.4-16.P2.el7_8.3.x86_64 ``` #### 主配置文件 ```bash [root@k8s99-101 ~]# vim /etc/named.conf # 修改option中的设置 # listen-on port 53 { 127.0.0.1; };# 修改监听IP listen-on port 53 {192.168.99.101; }; # listen-on-v6 port 53 { ::1; };# 不使用ipv6 # ... # allow-query { localhost; };# 只允许本机查询dns allow-query { any; }; # 添加一行 forwarders { 192.168.99.2; }; # 本机未查到往上级查询，配置为VMware NAT的网关 # ... recursion yes; # 以递归方式进行查询（查询方式有递归和迭代） # dnssec-enable yes; # dnssec-validation yes; # 实验环境可以关闭dns安全相关 dnssec-enable no; dnssec-validation no; ``` 检查dns配置 ```bash [root@k8s99-101 ~]# named-checkconf # 如果没有报错，表明dns配置正确 ``` #### 区域配置文件 需要配置主机域（域名自定义，假的域）和业务域，主机域不应该业务域的域名相同。 生产环境规划主机名最好与业务无关，推荐使用地域+IP段的后两组 编辑配置文件，在后面添加下面两个域 ```bash [root@k8s99-101 ~]# vim /etc/named.rfc1912.zones # ... zone "host.com" IN { type master; file "host.com.zone"; allow-update { 192.168.99.101; }; }; zone "study.com" IN { type master; file "study.com.zone"; allow-update { 192.168.99.101; }; }; ``` `host.com`为主机域，`study.com`为业务域，注意格式一定要正确。 `allow-update`表示只允许本机更新。 #### 区域数据文件 编辑主机域区域文件 ```bash [root@k8s99-101 ~]# vim /var/named/host.com.zone # 写入以下内容 $ORIGIN host.com. $TTL 600 ; 过期时间10分钟 @ IN SOA dns.host.com. dnsadmin.host.com. ( 2020020201 ; serial 10800 ; refresh（3小时） 900 ; retry（15分钟） 604800 ; expire（1周） 86400 ) ; minimum（1天） NS dns.host.com. $TTL 60 ; 过期时间1分钟 dns A 192.168.99.101 k8s99-101 A 192.168.99.101 k8s99-102 A 192.168.99.102 k8s99-151 A 192.168.99.151 k8s99-152 A 192.168.99.152 k8s99-200 A 192.168.99.200 ``` 编辑业务域配置文件 ```bash [root@k8s99-101 ~]# vim /var/named/study.com.zone $ORIGIN study.com. $TTL 600 ; 过期时间10分钟 @ IN SOA dns.study.com. dnsadmin.study.com. ( 2020020201 ; serial 10800 ; refresh（3小时） 900 ; retry（15分钟） 604800 ; expire（1周） 86400 ) ; minimum（1天） NS dns.study.com. $TTL 60 ; 过期时间1分钟 dns A 192.168.99.101 ``` serial需要为10位，表示改日期的第一条记录。分裂有SOA、NS、A记录 检查配置文件 ```bash [root@k8s99-101 ~]# named-checkconf # 无报错 ``` #### 启动dns服务并查看named状态 ```bash [root@k8s99-101 ~]# systemctl start named [root@k8s99-101 ~]# systemctl status named ● named.service - Berkeley Internet Name Domain (DNS) Loaded: loaded (/usr/lib/systemd/system/named.service; disabled; vendor preset: disabled) Active: active (running) since 一 2020-06-01 17:38:41 CST; 7s ago Process: 1665 ExecStart=/usr/sbin/named -u named -c ${NAMEDCONF} $OPTIONS (code=exited, status=0/SUCCESS) Process: 1662 ExecStartPre=/bin/bash -c if [ ! "$DISABLE_ZONE_CHECKING" == "yes" ]; then /usr/sbin/named-checkconf -z "$NAMEDCONF"; else echo "Checking of zone files is disabled"; fi (code=exited, status=0/SUCCESS) Main PID: 1667 (named) CGroup: /system.slice/named.service └─1667 /usr/sbin/named -u named -c /etc/named.conf 6月 01 17:38:41 k8s99-101 named[1667]: zone study.com/IN: loaded serial 2020020201 6月 01 17:38:41 k8s99-101 named[1667]: zone 1.0.0.127.in-addr.arpa/IN: loaded serial 0 6月 01 17:38:41 k8s99-101 named[1667]: zone localhost/IN: loaded serial 0 6月 01 17:38:41 k8s99-101 named[1667]: zone host.com/IN: loaded serial 2020020201 6月 01 17:38:41 k8s99-101 named[1667]: zone localhost.localdomain/IN: loaded serial 0 6月 01 17:38:41 k8s99-101 named[1667]: all zones loaded 6月 01 17:38:41 k8s99-101 named[1667]: running 6月 01 17:38:41 k8s99-101 systemd[1]: Started Berkeley Internet Name Domain (DNS). 6月 01 17:38:41 k8s99-101 named[1667]: resolver priming query complete 6月 01 17:38:41 k8s99-101 named[1667]: managed-keys-zone: No DNSKEY RRSIGs found for '.': success ``` #### 设置named开机启动 ```bash [root@k8s99-101 ~]# systemctl enable named Created symlink from /etc/systemd/system/multi-user.target.wants/named.service to /usr/lib/systemd/system/named.service. ``` #### 防火墙允许named端口 ```bash # 查看监听的端口 [root@k8s99-101 ~]# netstat -luntp | grep :53 tcp 0 0 192.168.99.101:53 0.0.0.0:* LISTEN 1667/named udp 0 0 192.168.99.101:53 0.0.0.0:* 1667/named # 需要允许53的tcp和udp端口才能被访问 [root@k8s99-101 ~]# firewall-cmd --zone=public --add-port=53/tcp --permanent success [root@k8s99-101 ~]# firewall-cmd --zone=public --add-port=53/udp --permanent success [root@k8s99-101 ~]# firewall-cmd --reload success ``` 使用dig检查主机域和业务域 ```bash [root@k8s99-101 ~]# dig -t A k8s99-101.host.com @192.168.99.101 +short 192.168.99.101 [root@k8s99-101 ~]# dig -t A k8s99-152.host.com @192.168.99.101 +short 192.168.99.152 ``` ### 修改所有主机的DNS #### 修改named服务本机的DNS 将本机的DNS地址修改为配置了DNS的主机IP `192.168.99.101` ```bash [root@k8s99-101 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 [root@k8s99-101 ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens33 | grep DNS DNS1=192.168.99.101 [root@k8s99-101 ~]# systemctl restart network # 测试解析内网和公网服务 [root@k8s99-101 ~]# systemctl restart network [root@k8s99-101 ~]# nslookup www.baidu.com Server: 192.168.99.101 Address: 192.168.99.101#53 Non-authoritative answer: www.baidu.com canonical name = www.a.shifen.com. Name: www.a.shifen.com Address: 39.156.66.18 Name: www.a.shifen.com Address: 39.156.66.14 [root@k8s99-101 ~]# nslookup k8s99-151.host.com Server: 192.168.99.101 Address: 192.168.99.101#53 Name: k8s99-151.host.com Address: 192.168.99.151 ``` #### 配置主机域的短域名 也就是直接使用`ping 主机名`而不是`ping 主机名.host.com` ```bash # 配置短域名，添加search host.com [root@k8s99-101 ~]# vim /etc/resolv.conf [root@k8s99-101 ~]# cat /etc/resolv.conf # Generated by NetworkManager nameserver 192.168.99.101 search host.com # ping短域名也可以可以的 [root@k8s99-101 ~]# ping -c 1 k8s99-101 PING k8s99-101.host.com (192.168.99.101) 56(84) bytes of data. 64 bytes from k8s99-101 (192.168.99.101): icmp_seq=1 ttl=64 time=0.008 ms [root@k8s99-101 ~]# ping -c 1 k8s99-101.host.com PING k8s99-101.host.com (192.168.99.101) 56(84) bytes of data. 64 bytes from k8s99-101 (192.168.99.101): icmp_seq=1 ttl=64 time=0.009 ms ``` 对于短域名，可以直接使用`ping 主机名`，主机域使用短域名较多，而业务域往往不使用短域名，因为业务域太多了，比如多个域名`www.ts.com`、`www.sm.com`，这时用`ping www`肯定不行的，所以业务域需要使用域名名称。 然后修改另外几台 ```bash [root@k8s99-102 ~]# sed -i 's/DNS1=114.114.114.114/DNS1=192.168.99.101/g' /etc/sysconfig/network-scripts/ifcfg-ens33 && cat /etc/sysconfig/network-scripts/ifcfg-ens33 | grep DNS && systemctl restart network DNS1=192.168.99.101 [root@k8s99-102 ~]# sed -i '2a search host.com' /etc/resolv.conf && grep 'search' /etc/resolv.conf search host.com [root@k8s99-151 ~]# sed -i 's/DNS1=114.114.114.114/DNS1=192.168.99.101/g' /etc/sysconfig/network-scripts/ifcfg-ens33 && cat /etc/sysconfig/network-scripts/ifcfg-ens33 | grep DNS && systemctl restart network DNS1=192.168.99.101 [root@k8s99-151 ~]# sed -i '2a search host.com' /etc/resolv.conf && grep 'search' /etc/resolv.conf search host.com [root@k8s99-152 ~]# sed -i 's/DNS1=114.114.114.114/DNS1=192.168.99.101/g' /etc/sysconfig/network-scripts/ifcfg-ens33 && cat /etc/sysconfig/network-scripts/ifcfg-ens33 | grep DNS && systemctl restart network DNS1=192.168.99.101 [root@k8s99-152 ~]# sed -i '2a search host.com' /etc/resolv.conf && grep 'search' /etc/resolv.conf search host.com [root@k8s99-200 ~]# sed -i 's/DNS1=114.114.114.114/DNS1=192.168.99.101/g' /etc/sysconfig/network-scripts/ifcfg-ens33 && cat /etc/sysconfig/network-scripts/ifcfg-ens33 | grep DNS && systemctl restart network DNS1=192.168.99.101 [root@k8s99-200 ~]# sed -i '2a search host.com' /etc/resolv.conf && grep 'search' /etc/resolv.conf search host.com ``` #### 重启网卡短域名失效问题 ！！！如果使用`systemctl restart network`或重启主机后`/etc/resolv.conf`中的`search`丢失，参考[这篇文章](https://www.cnblogs.com/forever521Lee/p/12011871.html)进行配置 也可以在CentOS开机自动添加，在`/etc/rc.d/rc.local`中设置 ```bash [root@k8s99-101 ~]# vim /etc/rc.d/rc.local [root@k8s99-101 ~]# cat /etc/rc.d/rc.local | grep resolv # 最后添加一行 sed -i '2a search host.com' /etc/resolv.conf # 因为在centos7中/etc/rc.d/rc.local的权限被降低了，所以需要赋予其可执行权 [root@k8s99-101 ~]# chmod +x /etc/rc.d/rc.local ``` 这样每次系统启动时就会执行这一条语句。 其他主机也需要做此操作 ```bash [root@k8s99-102 ~]# echo "sed -i '2a search host.com' /etc/resolv.conf" >> /etc/rc.d/rc.local && cat /etc/rc.d/rc.local | grep resolv && chmod +x /etc/rc.d/rc.local && reboot [root@k8s99-151 ~]# echo "sed -i '2a search host.com' /etc/resolv.conf" >> /etc/rc.d/rc.local && cat /etc/rc.d/rc.local | grep resolv && chmod +x /etc/rc.d/rc.local && reboot [root@k8s99-152 ~]# echo "sed -i '2a search host.com' /etc/resolv.conf" >> /etc/rc.d/rc.local && cat /etc/rc.d/rc.local | grep resolv && chmod +x /etc/rc.d/rc.local && reboot [root@k8s99-200 ~]# echo "sed -i '2a search host.com' /etc/resolv.conf" >> /etc/rc.d/rc.local && cat /etc/rc.d/rc.local | grep resolv && chmod +x /etc/rc.d/rc.local && reboot ```

明人不说暗话 领红包就是支持！！！ 来都来了，再到页面底部看下呗~ ↓ ↓ ↓

本文地址： http://blog.starmeow.cn/detail/06138bc5af6023646ede0e1f7c1eac75/

很赞哦！ (2)