FastDFS 集群部署

关于 FastDFS 的介绍就先不说了,直接上干货。

环境准备

  • 六台服务器,两台 Tracker(10.170.0.6,10.170.0.7),四台 Storage(10.170.0.2,10.170.0.3,10.170.0.4,10.170.0.5)
  • 统一系统环境为 CentOS Linux release 7.5.1804

架构示意图

架构图

安装 FastDFS

需要在所有的环境上都安装 FastDFS。

首先需要安装依赖包。

1
2
yum -y install gcc gcc-c++ libstdc++-devel pcre-devel zlib-devel wget make
yum -y groupinstall 'Development Tools'

安装 libfastcommon。FastDFS 5.x 取消了对 libevent 的依赖,添加了对 libfastcommon 的依赖。这里选择直接克隆源代码项目,保证使用的代码都是最新的。

1
2
3
4
git clone https://github.com/happyfish100/libfastcommon.git /app/libfastcommon
cd /app/libfastcommon
./make.sh
./make.sh install

安装 FastDFS。这里同样克隆最新的源代码编译安装。

1
2
3
4
git clone https://github.com/happyfish100/fastdfs.git /app/fastdfs
cd /app/fastdfs
./make.sh
./make.sh install

安装完成之后,可以在 /usr/bin/ 下看到一些以 fdfs 开头的命令。

配置 Tracker

两台 Tracker 的配置过程相同,首先修改 tracker.conf 配置文件。

1
2
3
4
:: 首先创建存储日志和数据的根目录
mkdir -p /app/nekolr/fastdfs

vi /app/fastdfs/conf/tracker.conf

这里重点只需要修改 base_path (创建存储日志和数据的根目录)即可。

1
base_path=/app/nekolr/fastdfs

同时配置文件中还有几个参数,可以根据需要调整。

1
2
3
4
5
6
7
8
# 是否启用配置文件,false 表示启用
disabled=false
# tracker 的端口号
port=22122
# tracker 的数据文件和日志目录,这个目录需要手动创建
base_path=/app/nekolr/fastdfs
# http 服务端口号
http.server_port=9090

配置完毕后,就可以通过配置文件来启动 tracker 了。

1
/usr/bin/fdfs_trackerd /app/fastdfs/conf/tracker.conf start

如果没有报错,则可以查看 22122 端口是否被监听来确认启动成功。

1
2
3
4
5
6
7
8
# ps -ef|grep fdfs

root 14395 1 0 05:40 ? 00:00:00 /usr/bin/fdfs_trackerd /app/fastdfs/conf/tracker.conf start
root 14411 1438 0 05:41 pts/0 00:00:00 grep --color=auto fdfs

# netstat -tunlp|grep fdfs

tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 14395/fdfs_trackerd

也可以通过日志查看启动是否成功。

1
2
3
# cat /app/nekolr/fastdfs/logs/trackerd.log

INFO - FastDFS v5.11, base_path=/app/nekolr/fastdfs, run_by_group=,...

配置 Storage

将四台存储节点分成两组,其中 group1 为 10.170.0.2 和 10.170.0.3,group2 为 10.170.0.4 和 10.170.0.5。

四台 Storage 的配置也是类似的,首先修改 storage.conf 配置文件。

1
2
3
4
:: 首先创建存储日志和数据的根目录
mkdir -p /app/nekolr/fastdfs

vi /app/fastdfs/conf/storage.conf

主要修改 base_path、store_path、group_name 和 tracker_server。

1
2
3
4
5
6
7
8
9
10
11
# 组名(第一组为 group1,第二组为 group2,依次类推)
group_name=group1
# 数据和日志文件存储根目录
base_path=/app/nekolr/fastdfs
# 第一个存储目录,第二个存储目录起名为:store_path1=xxx,其它存储目录名依次类推
store_path0=/app/nekolr/fastdfs
# 存储路径个数,需要和 store_path 个数匹配
store_path_count=1
# tracker 服务器 IP 和端口,有几个 tracker 就要配置几个
tracker_server=10.170.0.6:22122
tracker_server=10.170.0.7:22122

配置完成后,就可以通过配置来启动了。

1
/usr/bin/fdfs_storaged /app/fastdfs/conf/storage.conf start

与 tracker 相同,可以通过查看端口监听或者日志来确认启动是否成功。如果启动成功,可以验证一下 storage 是否登记到了 tracker 上。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
:: 该命令可以在任意一台 Storage 上使用
# /usr/bin/fdfs_monitor /app/fastdfs/conf/storage.conf

server_count=2, server_index=1
tracker server is 10.170.0.7:22122
group count: 1

Group 1:
group name = group1
disk total space = 10229 MB
disk free space = 7712 MB
trunk free space = 0 MB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0

Storage 1:
id = 10.170.0.2
ip_addr = 10.170.0.2 (common1.c.avalon-192611.internal) ACTIVE
http domain =
version = 5.12
join time = 2018-10-26 07:40:54
up time = 2018-10-27 06:08:42
...

可以看到 Storage 的状态为 active,说明 Storage 服务器已经成功登记到 Tracker 服务器上了。

在 Storage 上安装 nginx

注意:需要在所有的 Storage 上都按照下面的步骤操作。

FastDFS 将 Storage 服务器分组,相同组下的存储服务器之间需要进行文件的同步,这会有同步延迟的问题。假如客户端向 Tracker 服务器发送上传文件指令,Tracker 服务器经过选择,将文件上传到了 10.170.0.2,上传成功后将文件的 ID 返回给了客户端,此时 FastDFS 会将这个文件同步到同组的 10.170.0.3,在文件还没有复制完成的情况下,客户端如果使用这个 ID 在 10.170.0.3 上取文件就会出现无法访问的错误。fastdfs-nginx-module 模块就是为了解决这个问题的,它可以将文件链接重定向到源服务器,避免由于复制延迟导致的客户端无法访问文件的错误。

首先获取 fastdfs-nginx-module 和 nginx,如果要开启 https,nginx 需要依赖 openssl 库。

1
2
3
4
5
6
7
git clone https://github.com/happyfish100/fastdfs-nginx-module.git /app/fastdfs-nginx-module

wget -P /app http://nginx.org/download/nginx-1.15.5.tar.gz
wget -P /app https://www.openssl.org/source/openssl-1.1.1.tar.gz

tar -zxvf /app/nginx-1.15.5.tar.gz -C /app
tar -zxvf /app/openssl-1.1.1.tar.gz -C /app

接下来开始安装 nginx,需要添加 fastdfs-nginx-module 模块。

1
2
3
cd /app/nginx-1.15.5
./configure --add-module=../fastdfs-nginx-module/src
make && make install

nginx 安装完成后,查看版本以及模块安装情况。

1
2
3
4
5
# /usr/local/nginx/sbin/nginx -V

nginx version: nginx/1.15.5
built by gcc 4.8.5 20150623 (Red Hat 4.8.5-28) (GCC)
configure arguments: --add-module=../fastdfs-nginx-module/src

接下来需要配置 fastdfs-nginx-module,修改 md_fastdfs.conf 文件。

1
2
3
4
5
:: 将 mod_fastdfs.conf 配置文件复制到 /etc/fdfs/ 下
# cp /app/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

:: 编辑配置文件
# vi /etc/fdfs/mod_fastdfs.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 保存日志的目录
base_path=/app/nekolr/fastdfs
# tracker 服务器
tracker_server=10.170.0.6:22122
tracker_server=10.170.0.7:22122
# storage 服务器的端口号
storage_server_port=23000
# 当前服务器的 group 名
group_name=group1
# 文件 url 中是否有 group 名
url_have_group_name = true
# 存储路径个数,需要和 store_path 个数匹配
store_path_count=1
# 存储路径
store_path0=/app/nekolr/fastdfs
# 设置组的个数
group_count = 2

再在配置文件的末尾增加两个组的具体信息。

1
2
3
4
5
6
7
8
9
10
11
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/app/nekolr/fastdfs

[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/app/nekolr/fastdfs

建立 M00 至存储目录的符号连接。

1
2
ln -s /app/nekolr/fastdfs/data /app/nekolr/fastdfs/data/M00
ll /app/nekolr/fastdfs/data/M00

接下来再配置 nginx,修改 nginx.conf 配置文件。

1
2
3
4
5
6
7
8
9
10
11
12
:: 修改配置文件
# vi /usr/local/nginx/conf/nginx.conf

:: 下面是需要修改的地方的配置
user root;
server {
listen 8080;
location ~/group[1-2]/M00 {
root /app/nekolr/fastdfs/data;
ngx_fastdfs_module;
}
}
1
2
:: 复制 fastdfs 中的 http.conf、mime.types 文件到 /etc/fdfs
cp /app/fastdfs/conf/http.conf /app/fastdfs/conf/mime.types /etc/fdfs

配置完成后,接下来将添加防火墙的放行策略,启动 nginx。

1
/usr/local/nginx/sbin/nginx

在 Tracker 上安装 nginx

注意:需要在所有的 Tracker 上都按照下面的步骤操作。

在 Tracker 上安装 nginx 主要是为了提供 http 访问的反向代理、负载均衡以及缓存服务。

首先安装 nginx。

1
2
3
4
5
6
7
8
9
10
11
12
wget -P /app http://nginx.org/download/nginx-1.15.5.tar.gz
wget -P /app https://www.openssl.org/source/openssl-1.1.1.tar.gz

tar -zxvf /app/nginx-1.15.5.tar.gz -C /app
tar -zxvf /app/openssl-1.1.1.tar.gz -C /app

cd /app/nginx-1.15.5
./configure --prefix=/usr/local/nginx
make && make install

:: 修改配置文件
vi /usr/local/nginx/conf/nginx.conf

配置反向代理、负载均衡。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
events {
# 最大连接数
worker_connections 65535;
# 新版本的 Linux 可使用 epoll 加快处理性能
use epoll;
}
http {
# 设置 group1 的服务器
upstream fdfs_group1 {
server 10.170.0.2:8080 weight=1 max_fails=2 fail_timeout=30s;
server 10.170.0.3:8080 weight=1 max_fails=2 fail_timeout=30s;
}
# 设置 group2 的服务器
upstream fdfs_group2 {
server 10.170.0.4:8080 weight=1 max_fails=2 fail_timeout=30s;
server 10.170.0.5:8080 weight=1 max_fails=2 fail_timeout=30s;
}

server {
# 设置服务器端口
listen 8080;
# 设置 group1 的负载均衡参数
location /group1/M00 {
proxy_pass http://fdfs_group1;
}
# 设置 group2 的负载均衡参数
location /group2/M00 {
proxy_pass http://fdfs_group2;
}
}

}

配置完成后,启动 nginx。

1
2
3
4
5
6
# /usr/local/nginx/sbin/nginx

:: 查看监听
# netstat -tunlp | grep nginx

tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 7328/nginx: master

上传测试

配置完成后,集群的情况可以在任意一台 Storage 上使用命令查看。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
# /usr/bin/fdfs_monitor /app/fastdfs/conf/storage.conf

server_count=2, server_index=1
tracker server is 10.170.0.7:22122
group count: 2

Group 1:
group name = group1
disk total space = 10229 MB
disk free space = 7711 MB
trunk free space = 0 MB
storage server count = 2
active server count = 2
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0

Storage 1:
id = 10.170.0.2
ip_addr = 10.170.0.2 (common1.c.avalon-192611.internal) ACTIVE
http domain =
version = 5.12
...
Storage 2:
id = 10.170.0.3
ip_addr = 10.170.0.3 (common2.c.avalon-192611.internal) ACTIVE
http domain =
version = 5.12
...
Group 2:
group name = group2
disk total space = 10229 MB
disk free space = 8164 MB
trunk free space = 0 MB
storage server count = 2
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 256
current write server index = 0
current trunk file id = 0

Storage 1:
id = 10.170.0.4
ip_addr = 10.170.0.4 (common3.c.avalon-192611.internal) ACTIVE
http domain =
version = 5.12
...
Storage 2:
id = 10.170.0.5
ip_addr = 10.170.0.5 (common4.c.avalon-192611.internal) ACTIVE
http domain =
version = 5.12
...

此时可以通过修改某个 Tracker 上的客户端 client.conf 配置,然后再通过上传文件命令来测试。

1
2
3
4
5
6
7
8
9
10
11
cp /app/fastdfs/conf/client.conf  /etc/fdfs

:: 修改客户端配置
# vi /etc/fdfs/client.conf

# 日志存放路径
base_path=/app/nekolr/fastdfs
# tracker 服务器
tracker_server=192.168.53.85:22122
tracker_server=192.168.53.86:22122
http.tracker_server_port=8080

使用命令上传文件。

1
2
3
4
5
:: 上传文件
# /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /app/favicon.png

:: 返回的地址
group2/M00/00/00/CqoABFvUnLmAAhVgAAGMpR-vGEI079.png

接下来就可以通过任意一台 Tracker 来访问该文件了。这里使用 10.170.0.6 这台来访问:http://10.170.0.6:8080/group2/M00/00/00/CqoABFvUnLmAAhVgAAGMpR-vGEI079.png

这里直接使用内网地址来访问的,如果有公网地址,可以在任意能够连接互联网的地方通过 Tracker 的公网 IP 来访问。

除了在 Tracker 上直接使用指令上传文件,还可以通过 FastDFS 提供的客户端来上传文件,目前支持 PHP 和 Java。

参考

FastDFS 集群 安装 配置