木之陽兮 卿云烂兮

0%

使用Docker+Nginx模拟负载均衡

Posted on In ,

一直听说Nginx的强大，它不仅可以作为Web服务器，按照调度规则实现动态、静态页面的分离；还可以作为反向代理服务器，构建服务集群，按轮询、权重等多种方式对后端服务器做负载均衡。以及自动剔除因故障负载均衡列表中宕机的服务器。这两天折腾了一下Nginx的安装、配置，并通过Docker模拟出Nginx在多服务器提供服务的状态下的负载均衡。

(一) 系统环境

操作系统 Docker Nginx
Ubuntu 16 1.12.1 1.8.0

(二) 准备Nginx环境

　　使用Docker这种容器技术，可以很方便地将所需要的环境打包和快速部署。所以我将Nginx的环境做成Docker镜像，当需要多个Nginx服务时，只需要通过镜像启动多个容器。

  • 镜像已经PUSH到Docker Hub上，如果需要，可以直接在Docker拉取配置好nginx环境的镜像docker pull raomengnan/ubuntu:nginx-1.8.0

  • raomengnan/ubuntu:nginx-1.8.0 包含的基础环境： nginx，zsh，vim，ssh，python

Dockerfile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
# Ubuntu with Nginx
# Author raomengnan
FROM raomengnan/ubuntu-base
MAINTAINER raomengnan

# 安装升级gcc
RUN rm -rf /var/lib/apt/lists/*
RUN apt-get update

# 添加相关的src
RUN apt-get -y install build-essential
RUN apt-get -y install supervisor
RUN mkdir -p /usr/local/temp

COPY supervisor.conf /etc/supervisor/conf.d/supervisord.conf

RUN wget http://nginx.org/download/nginx-1.8.0.tar.gz && tar -zxvf nginx-1.8.0.tar.gz -C /usr/local/temp
RUN wget http://zlib.net/zlib-1.2.8.tar.gz && tar -zxvf zlib-1.2.8.tar.gz -C /usr/local/temp
RUN wget http://www.openssl.org/source/openssl-1.0.1q.tar.gz && tar -zxvf openssl-1.0.1q.tar.gz -C /usr/local/temp
RUN wget http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gz && tar -zxvf pcre-8.37.tar.gz -C /usr/local/temp

RUN rm *.tar.gz

# 安装
RUN ls /usr/local/temp/nginx-1.8.0
RUN cd /usr/local/temp/nginx-1.8.0 \
      && ./configure --sbin-path=/usr/local/nginx-1.8.0/nginx --conf-path=/usr/local/nginx-1.8.0/nginx.conf --pid-path=/usr/local/nginx-1.8.0/nginx.pid --with-http_ssl_module --with-pcre=/usr/local/temp/pcre-8.37 --with-zlib=/usr/local/temp/zlib-1.2.8 --with-openssl=/usr/local/temp/openssl-1.0.1q \
      && make \
      && make install

# 设置nginx是非daemon启动，否则nginx无法启动
RUN echo "\ndaemon off;" >> /usr/local/nginx-1.8.0/nginx.conf
RUN echo 'master_process off;' >> /usr/local/nginx-1.8.0/nginx.conf
RUN echo 'error_log  logs/error.log;' >> /usr/local/nginx-1.8.0/nginx.conf

RUN rm -rf /usr/local/temp/*

ENV NGINX_HOME /usr/local/nginx-1.8.0

# 将nginx添加到command
update-alternatives --install /usr/bin/nginx nginx /usr/local/nginx-1.8.0/nginx 300

EXPOSE 80
# 使用supervisor来管理多个进程同时启动
# 若不想使用supervisor，可以使用：
#   CMD nginx $/NGINX_HOME/nginx.conf
#   或者进入容器手动启动nginx
CMD ["/usr/bin/supervisord"]

supervisor.conf

1
2
3
4
5
6
7
8
[supervisord]
nodaemon=true

[program:sshd]
command=/usr/sbin/sshd -D

[program:nginx]
command=/usr/local/nginx-1.8.0/nginx -c /usr/local/nginx-1.8.0/nginx.conf

(三) 启动Nginx服务

启动nginx时，可以提供Nginx的welcome页面的访问服务，可以通过这个页面简单地尝试nginx提供的负载均衡。

通过镜像启动三个nginx服务

1
2
3
4
5
docker run --name ser1 -p 8881:80 raomengnan/ubuntu:nginx-1.8.0

docker run --name ser2 -p 8882:80 raomengnan/ubuntu:nginx-1.8.0

docker run --name ser3 -p 8883:80 raomengnan/ubuntu:nginx-1.8.0

-p参数将容器的80端口映射到宿主机的888×端口上

以ser1作为主服务器，进入容器内修改nginx配置文件

使用docker inspect ser1便可以看到容器的详细信息，其中注意NetworkSetting下的这一段信息就可以知道容器的网关和ip地址

1
2
3
4
"Gateway": "172.17.0.1",
"GlobalIPv6Address": "",
"GlobalIPv6PrefixLen": 0,
"IPAddress": "172.17.0.3",

docker exec -it ser1 bash进入容器内部
nginx安装目录在’/usr/local/nginx-1.8.0’下，vim /usr/local/nginx-1.8.0/nginx.conf编辑配置文件:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#user  nobody;
worker_processes  1;
events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;

    client_header_buffer_size    1k;
    large_client_header_buffers  4 4k;

    # 配置负载均衡，weight代表权重，权重越高，分配到的可能就越搭
    upstream 172.17.0.2 {

           server 172.17.0.2:8888 weight=5;
           server 172.17.0.3:80   weight=4;
           server 172.17.0.4:80   weight=3;
    }
    # 配置反向代理
    server {
           listen 80;
           server_name 172.17.0.2;
           location /{
              # 反向代理的主机头
              proxy_pass  http://172.17.0.2;
              proxy_set_header Host   $host;
              proxy_set_header   X-Real-IP        $remote_addr;
              proxy_set_header   X-Forwarded-For  $proxy_add_x_forwarded_for;
           }
    }

    # 侦听本地8888端口，以便为反向代理到本地的请求提供服务
    server {
           listen       8888;
           server_name  localhost;
           # 如过没有对代理的链接形式有特殊要求，可以直接将root和index写在server中
           location / {
               root   /home/html;
               index  index.html index.htm;
           }
          error_page   500 502 503 504  /50x.html;
          location = /50x.html {
                 root   /home/html;
         }
       }
}

在ser1这个容器中配置反向代理，要关注server 172.17.0.2:8888 weight=5;这一行，之所以反向代理到本机的8888端口，很好理解，因为若再次代理到80端口，永远不能代理到本机的服务中，陷入死循环。

以ser×作为服务器

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

#user  nobody;
worker_processes  1;
events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;

    client_header_buffer_size    1k;
    large_client_header_buffers  4 4k;

    server {
           listen       80;
           server_name  172.17.0.2;
           # 如过没有对代理的链接形式有特殊要求，可以直接将root和index写在server中
           location / {
               root   /home/html;
               index  index.html index.htm;
           }
          error_page   500 502 503 504  /50x.html;
          location = /50x.html {
                 root   /home/html;
         }
       }
}

serx和ser1的区别就在于http的设置，没有upstream，server_name 为要负载的服务器的ip。修改好配置文件后，使用nginx -s reload重新载入配置。

(四) 刷新网页测试

  • 修改三个ser中的index.html,方便观察
  • 在浏览器中打开 localhost:8881 或者 172.17.0.2，刷新网页

    不断刷新，可以看到会打开不同容器中的index页面，说明服务被Nginx均衡地分配到不同的service上，这就是Nginx的负载均衡的作用。