昨天升级了php为5.6.29结果就出现页面乱码，无法指定编码的情况。找了半天发现页面响应头被指定了编码Content-Typetext/html; charset=UTF-8，继续查找在配置文件php.ini中设置了default_charset = “UTF-8″。
得出结论是：不指定default_charset的时候，页面编码由页面自己的meta标签指定。如果注释掉了， 默认还是utf8，可以设置为空default_charset = “”，这样就没默认了。
解决mysql5.6 GTID同步出现The incident LOST_EVENTS occured on the master.
今天在mysql5.6生产环境上做测试，结果应该是执行了grant语句给一账户复制库的权限导致所有从库同步出现一样的错误。
执行：mysql> show slave status\G;
显示同步已经断开，报The incident LOST_EVENTS occured on the master. Message: error writing to the binary log错误！！！！
网上搜索结果竟然是5.6才有的bug，5.5不会有这样的问题，这是什么鬼。
使用二进制日志同步可以使用以下方法解决：
1)使用sql_slave_skip_counter跳过事件，但此方法只适用于基于二进制日志原理的复制，不适用于基于GTID原理的复制。
2)使用slave_skip_errors跳过错误。
3)在从库上做change master操作，重新切换master_log_file和master_log_pos。（由于无效的grant语句执行后会创建新的二进制日志，所以可以指定主库show master status的master_log_file和master_log_pos）
GTID方式同步
网上大部分说重做，如果你确认真的丢失了日志文件而无法恢复那只能重做。如果仅仅是这种需要跳过grant导致的问题，或者你基本可以忽略的同步丢失一点点数据，那就不需要重做了，只要重新设置下同步的位置即可。
首先查询以下两个参数。
Retrieved_Gtid_Set项：记录了relay日志从Master获取了binlog日志的位置
Executed_Gtid_Set项：记录本机执行的binlog日志位置（如果是从机，包括Master的binlog日志位置和slave本身的binlog日志位置）
查到Executed_Gtid_Set：6f723299-523b-11e5-a5bf-00163e0007c9:1-88703056′ 错误的地方，这时候需要跳过它。gtid_purged官方文档可以知道该变量中记录的是本机上已经执行过，但是已经被purge binary logs to命令清理的gtid_set。执行的时候需要加1变成88703057
然后在mysql命令行下执行以下语句：
stop slave;
reset master;
reset slave all;
set global gtid_purged = ‘6f723299-523b-11e5-a5bf-00163e0007c9:1-88703057’;
change master to master_host = ‘x.x.x.x’,master_port = 3306,master_user = ‘user’,master_password=’pwd’,master_auto_position = 1;
start slave;
如果在重新同步的过程中还出现错误的话，可以使用 gtid_next来跳过错误，参数从Retrieved_Gtid_Set上获取，如88703058-88716569只要取后面的即可，不然可能出现can’t无法设置的提示。
stop slave;
set gtid_next=”6f723299-523b-11e5-a5bf-00163e0007c9:88716569″;
begin;commit;
set gtid_next=”AUTOMATIC”;
start slave;
show slave status\G;
看看是否正常了。
Mongodb操作符$exists包含或不包含某个字段
$exists语法
{ “field”: { “$exists”: <boolean> } }
说明
当<boolean>的值为true时，则匹配数据库中含有field这个字段的文档，也包括field这个字段为空的文档。如果<boolean>的值为false，那么查询只返回不包括该field该字段的文档。简单的说，$exists 就是判断一个字段是否存在。
MongoDB中的 $exists 和SQL操作符 exists 不是一个等同的概念。对于SQL的 exists ，涉及到了 $in 这个操作符的概念。
实例
查看下面的例子：
db.test.find({a:{$exists:true,$nin:[5,15]}})
上面这个查询输出test数据库中存在a这个字段，而且qty的值不等于5或15的所有文档。
存在Null值时
假设records数据库中存在如下文档：
{ a: 5, b: 5, c: null }
{ a: 3, b: null, c: 8 }
{ a: null, b: 3, c: 9 }
{ a: 1, b: 2, c: 3 }
{ a: 2, c: 5 }
{ a: 3, b: 2 }
{ a: 4 }
{ b: 2, c: 4 }
{ b: 2 }
{ c: 6 }
用 $exists: true 查询
用 $exists 操作符对字段 a 进行查询：
>db.records.find( { a: { $exists: true } } )
上面的查询将输出包含字段 a 或者字段 a 的值为null的文档结果：
{ a: 5, b: 5, c: null }
{ a: 3, b: null, c: 8 }
{ a: null, b: 3, c: 9 }
{ a: 1, b: 2, c: 3 }
{ a: 2, c: 5 }
{ a: 3, b: 2 }
{ a: 4 }
用 $exists: false 查询
用 $exists 操作符对字段 b 进行查询：
db.records.find( { b: { $exists: false } } )
上面的查询将输出不包含字段 b 的文档：
{ a: 2, c: 5 }
{ a: 4 }
{ c: 6 }
安装fastdfs-nginx-module后nginx运行循环卡死
测试fastdfs的时候，在安装完nginx扩展fastdfs-nginx-module模块后，nginx正常重启，可是出现刷新页面进入死循环卡死状态，之后会504错误，经过后来多次寻找答案发现只要观察nginx_error.log就可以发现错误所在，记住不是查看access.log日志。
FastDFS 同步文件及目录结构
FastDFS同步相关文件：
192.168.0.2_23000.mark
内容如下： binlog_index=0 binlog_offset=1334 need_sync_old=1 sync_old_done=1 until_timestamp=1457542256 scan_row_count=23 sync_row_count=11 解释： binlog_index：对应于哪个binlog binlog_offset：binlog.xxx的偏移量，可以直接这个偏移量获取下一行记录 need_sync_old：本storage是否是对侧storage(192.168.0.2)的源结点，同时是否需要从起点同步所有的记录 sync_old_done：是否同步完成过 until_timestamp：上次同步时间结点 scan_row_count：总记录数 sync_row_count：已同步记录数 b)binlog.000 内容如下 1457547668 C M00/00/00/CmRCUVbgaZSAGzKjAACkimfedYQ366.jpg 解释： 1457547668：同步时间戳 C：标记文件类型：C 源创建；A 源追加； D 源删除； T 源Truncate。 对应的小写字母则为副本，如c 副本创建。 M00/00/00/CmRCUVbgaZSAGzKjAACkimfedYQ366.jpg：文件名 c)binlog.index 内容如下 0 解释：现有binlog数。
新增结点同步流程图
注意事项：
对于非源storage，只上传指定时间结点后的源文件给新增结点，副本文件不处理。
对于源结点，需要把时间结点前所有文件(源和副)传给新结点。
同步完成后，B主动发消息给tracker，修改tracker中A的状态记录。
A心跳获取到tracker发过来的消息，修改自身状态。
Storage的状态的主要意义，给tracker用来判定哪些active的结点可以服务。
启动同步过程中，源结点状态不改变，可以正常存储文件。
正常文件同步流程图
注意事项：
正常文件上传完成后，就记录近binlog缓存中，系统定时刷入binlog文件。
系统有线程定时读取binlog文件，当有新增行时，判断该记录是源文件记录还是副本文件记录。
系统只主动发送源文件，副本文件不做处理(非启动时流程)。
图中A的binlog中记录的是源创建(C)，B中记录的是副本创建(c)。
FastDFS服务器端运行时目录结构如下：
${base_path}
|__data：存放数据文件
|__logs：存放日志文件
其中，${base_path}由配置文件中的参数“base_path”设定。
一、tracker server
tracker server目录及文件结构：
${base_path}
|__data
| |__storage_groups.dat：存储分组信息
| |__storage_servers.dat：存储服务器列表
|__logs
|__trackerd.log：tracker server日志文件
数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（/n）分隔，字段之间以西文逗号（,）分隔。
storage_groups.dat中的字段依次为：
1. group_name：组名
2. storage_port：storage server端口号
storage_servers.dat中记录storage server相关信息，字段依次为：
1. group_name：所属组名
2. ip_addr：ip地址
3. status：状态
4. sync_src_ip_addr：向该storage server同步已有数据文件的源服务器
5. sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）
6. stat.total_upload_count：上传文件次数
7. stat.success_upload_count：成功上传文件次数
8. stat.total_set_meta_count：更改meta data次数
9. stat.success_set_meta_count：成功更改meta data次数
10. stat.total_delete_count：删除文件次数
11. stat.success_delete_count：成功删除文件次数
12. stat.total_download_count：下载文件次数
13. stat.success_download_count：成功下载文件次数
14. stat.total_get_meta_count：获取meta data次数
15. stat.success_get_meta_count：成功获取meta data次数
16. stat.last_source_update：最近一次源头更新时间（更新操作来自客户端）
17. stat.last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）
二、storage server
storage server目录及文件结构：
${base_path}
|__data
| |__.data_init_flag：当前storage server初始化信息
| |__storage_stat.dat：当前storage server统计信息
| |__sync：存放数据同步相关文件
| | |__binlog.index：当前的binlog（更新操作日志）文件索引号
| | |__binlog.###：存放更新操作记录（日志）
| | |__${ip_addr}_${port}.mark：存放向目标服务器同步的完成情况
| |
| |__一级目录：256个存放数据文件的目录，目录名为十六进制字符，如：00, 1F
| |__二级目录：256个存放数据文件的目录，目录名为十六进制字符，如：0A, CF
|__logs
|__storaged.log：storage server日志文件
.data_init_flag文件格式为ini配置文件方式，各个参数如下：
# storage_join_time：本storage server创建时间
# sync_old_done：本storage server是否已完成同步的标志（源服务器向本服务器同步已有数据）
# sync_src_server：向本服务器同步已有数据的源服务器IP地址，没有则为空
# sync_until_timestamp：同步已有数据文件截至时间（UNIX时间戳）
storage_stat.dat文件格式为ini配置文件方式，各个参数如下：
# total_upload_count：上传文件次数
# success_upload_count：成功上传文件次数
# total_set_meta_count：更改meta data次数
# success_set_meta_count：成功更改meta data次数
# total_delete_count：删除文件次数
# success_delete_count：成功删除文件次数
# total_download_count：下载文件次数
# success_download_count：成功下载文件次数
# total_get_meta_count：获取meta data次数
# success_get_meta_count：成功获取meta data次数
# last_source_update：最近一次源头更新时间（更新操作来自客户端）
# last_sync_update：最近一次同步更新时间（更新操作来自其他storage server）
binlog.index中只有一个数据项：当前binlog的文件索引号
binlog.###，###为索引号对应的3位十进制字符，不足三位，前面补0。索引号基于0，最大为999。一个binlog文件最大为1GB。记录之间以换行符（/n）分隔，字段之间以西文空格分隔。字段依次为：
1. timestamp：更新发生时间（Unix时间戳）
2. op_type：操作类型，一个字符
3. filename：操作（更新）的文件名，包括相对路径，如：5A/3D/FE_93_SJZ7pAAAO_BXYD.S
${ip_addr}_${port}.mark：ip_addr为同步的目标服务器IP地址，port为本组storage server端口。例如：10.0.0.1_23000.mark。文件格式为ini配置文件方式，各个参数如下：
# binlog_index：已处理（同步）到的binlog索引号
# binlog_offset：已处理（同步）到的binlog文件偏移量（字节数）
# need_sync_old：同步已有数据文件标记，0表示没有数据文件需要同步
# sync_old_done：同步已有数据文件是否完成标记，0表示未完成，1表示已完成
# until_timestamp：同步已有数据截至时间点（UNIX时间戳）
# scan_row_count：已扫描的binlog记录数
# sync_row_count：已同步的binlog记录数
数据文件名由系统自动生成，包括三部分：当前时间（Unix时间戳）、文件大小（字节数）和随机数。文件名长度为16字节。文件按照PJW Hash算法hash到65536（256*256）个目录中分散存储
centos安装FastDFS+nginx+fastdfs-nginx-module+php扩展
最近折腾了FastDFS最新版本5.0.8，记录下FastDFS+Nginx+fastdfs-nginx-module安装配置的安装过程，希望对网友能有所帮助。
新版本需要libfastcommon支持：
这里必须下载master.zip版本，1.0.7安装过程会出错，不知道为什么，还是个发布版！
libfastcommon安装
wget https://github.com/happyfish100/libfastcommon/archive/master.zip unzip master.zip cd libfastcommon-master/ ./make.sh ./make.sh install
FastDFS安装
wget https://github.com/happyfish100/fastdfs/archive/V5.08.tar.gz tar -xvzf ./V5.08.tar.gz cd fastdfs-5.08/ ./make.sh ./make.sh install
修改配置文件
cd /etc/fdfs/ 会看到三个配置文件: client.conf.sample, tracker.conf.sample,storage.conf.sample 复制,然后配置: cp client.conf.sample client.conf cp tracker.conf.sample tracker.conf cp storage.conf.sample storage.conf mkdir -p /data/fastdfs
配置storage.conf 详细看：FastDFS配置文件(storage.conf)
注意：同一个组内的不同的storage的配置要相同(方便同步文件) 配置storage属于哪个group： group_name=group1 (因为现在先只是配一个组,所以这里就为group1) 配置base_path: 原来 base_path=/home/yuqing/fastdfs 这里需要改为自己的文件路径， 如：base_path=/data/fastdfs (这里的文件目录如果没有，要自己新建， 不然会报错) 配置store_path0: 这里 store_path0=/home/yuqing/fastdfs 也要改为自己的文件路径 如: store_path0=/data/fastdfs (建议与bast_path一样) 配置tracker_server: 还有：tracker_server要改为自己的trakcer_server的ip 如：tracker_server=192.168.0.1:22122 (若有特殊要求可查看文档根据实际情况配置)
配置tracker.conf 详细看：FastDFS配置文件(tracker.conf)
配置base_path: 原来 base_path=/home/yuqing/fastdfs 这里需要改为自己的文件路径， 如：base_path=/data/fastdfs (这里的文件目录如果没有，要自己新建， 不然会报错) (若有特殊要求可查看文档根据实际情况配置)
配置client.conf
配置base_path: 原来 base_path=/home/yuqing/fastdfs 这里需要改为自己的文件路径， 如：base_path=/data/fastdfs (这里的文件目录如果没有，要自己新建， 不然会报错) 配置tracker_server: 还有：tracker_server要改为自己的trakcer_server的ip 如：tracker_server=192.168.1.1:22122 (若有特殊要求可查看文档根据实际情况配置)
启动服务程序
启动tracker server
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
启动storage server
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart
参数status查看状态
常用命令
FastDFS的STORAGE SERVER的7种状态和问题
查看集群状态：/usr/bin/fdfs_monitor /etc/fdfs/client.conf
上传文件：/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/wwwroot/123.jpg
删除文件：/usr/bin/fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wKhdglhsVC6AFKf9AAKZMwsher8772.jpg
安装fastdfs-nginx-module
下载地址：https://github.com/happyfish100/fastdfs-nginx-module/
fastdfs-nginx_module作用:在storage之间同步数据时候,还没同步完全时候就发生下载时,直接从源数据storage下载
将fastdfs-nginx-module压缩包解压,并记录下它的路径,因为安装的时候要用到
进入nginx的安装包的源目录，然后编译和安装fastdfs-nginx-module
注意：要先关闭所有的nginx进程，在进行下面这一步骤
cd /user/local/src wget https://github.com/happyfish100/fastdfs-nginx-module/archive/master.zip unzip ./fastdfs-nginx-module.zip cd /user/local/nginx ./configure --add-module=/user/local/src/fastdfs-nginx-module/src make make install
配置nginx.conf
(默认nginx.conf是在目录/usr/local/nginx/conf/ 里面的) 命令: cd /usr/local/nginx/conf/ vi nginx.conf
只有一个group默认配置
最简单的配置：当mod_fastdfs.conf 配置文件中只有一个group1, 且配置了 url_have_group_name = false 时，即访问地址不使用分组名称，那么只需在nginx的配置文件中增加以下配置即可:
在nginx.conf里面的server{里面添加location /M00……}，添加下面的几行：
location /M00 {
root /data/fastdfs/data;
ngx_fastdfs_module;
}
多个group的配置
当配置多个组，且mod_fastdfs.conf 里面指定了url_have_group_name= true 时，配置方式:
location ~ /group([0-9]) /M00 {
root /data/fastdfs/data;
ngx_fastdfs_module;
}
比如:在group1上的 nginx 的nginx.conf 配置是
location /group1 /M00 {
root /data/fastdfs/data;
ngx_fastdfs_module;
}
比如:在group2上的 nginx 的nginx.conf 配置是
location /group2 /M00 {
root /data/fastdfs/data;
ngx_fastdfs_module;
}
创建/M00软连接
命令：ln -s /data/fastdfs/data /data/fastdfs/data/M00
修改mod_fastdfs.conf
将/user/loacal/src//fastdfs-nginx-module-master/src(位置看自己将解压到哪里) 里面的mod_fastdfs.conf复制到/etc/fdfs/里面 1.更改tracker_server的IP如：tracker_server=192.168.0.1:22122 2.更改store_path0这个要与storaged的配置一致,如：store_path0=/data/fastdfs
重新启动Nginx
将FastDFS配置目录下的2个文件复制到/etc/fdfs目录下：
cp /usr/local/fastdfs/conf/http.conf /etc/fdfs/ cp /usr/local/fastdfs/conf/mime.types /etc/fdfs/
命令：
/usr/local/nginx/sbin/nginx -s stop /usr/local/nginx/sbin/nginx
注意：要实现HTTP下载必须要求Nginx和fastdfs-nginx-module起来
FastDFS常见配置和安装错误问题
php FastDFS扩展安装
cd /fastdfs-5.08/php_client/
phpize
./configure --with-php-config=/user/loacal/php/bin/php-config
make
make install
cat /fastdfs-5.08/php_client/fastdfs_client.ini >> /user/loacal/php/etc/php.ini
重启php
phpinfo看到：fastdfs_client v5.08 support enabled
然后网上找例子或/php_client/里有
结合：nginx_lua_graphicmagick搭建图片处理服务器 可以做缩略图
再结合ngx_cache_purge可以做个前段缓存
如有其它问题可以留言相互学习！
FastDFS配置文件(tracker.conf)
# ===============基本配置================
# 该配置文件是否生效
# false：生效
# true：无效
disabled=false
# 绑定IP
# 后面为绑定的IP地址 (常用于服务器有多个IP但只希望一个IP提供服务)。
# 如果不填则表示所有的(一般不填就OK),相信较熟练的SA都常用到类似功能,
# 很多系统和应用都有
bind_addr=
# 服务端口
port=22122
# 连接超时(秒)
# 默认值 30s
connect_timeout=30
# 网络超时(秒)
# 默认值 30s
network_timeout=60
# Tracker数据/日志目录地址
# ${base_path}
# |__data
# | |__storage_groups.dat：存储分组信息
# | |__storage_servers.dat：存储服务器列表
# |__logs
# |__trackerd.log：tracker server日志文件
base_path=/home/yuqing/fastdfs
# 数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符（\n）分隔，字段之间以西文逗号（,）分隔。
# storage_groups.dat中的字段依次为：
# 1. group_name：组名
# 2. storage_port：storage server端口号
#
# storage_servers.dat中记录storage server相关信息，字段依次为：
# 1. group_name：所属组名
# 2. ip_addr：ip地址
# 3. status：状态
# 4. sync_src_ip_addr：向该storage server同步已有数据文件的源服务器
# 5. sync_until_timestamp：同步已有数据文件的截至时间（UNIX时间戳）
# 6. stat.total_upload_count：上传文件次数
# 7. stat.success_upload_count：成功上传文件次数
# 8. stat.total_set_meta_count：更改meta data次数
# 9. stat.success_set_meta_count：成功更改meta data次数
# 10. stat.total_delete_count：删除文件次数
# 11. stat.success_delete_count：成功删除文件次数
# 12. stat.total_download_count：下载文件次数
# 13. stat.success_download_count：成功下载文件次数
# 14. stat.total_get_meta_count：获取meta data次数
# 15. stat.success_get_meta_count：成功获取meta data次数
# 16. stat.last_source_update：最近一次源头更新时间（更新操作来自客户端）
# 17. stat.last_sync_update：最近一次同步更新时间（更新操作来自其他storage server的同步）
# 最大连接数
max_connections=256
# w线程数，通常设置CPU数,值 <= 最大连接数
# 默认值 4
work_threads=4
# 上传文件的选组方式,如果在应用层指定了上传到一个固定组,那么这个参数被绕过
# 0: 表示轮询
# 1: 表示指定组
# 2: 表示存储负载均衡（选择剩余空间最大的组）
store_lookup=2
# 指定上传的组，如果在应用层指定了具体的组，那么这个参数将不会起效。
# 另外如果store_lookup如果是0或2，则此参数无效
store_group=group2
# 选择哪个storage server 进行上传操作
# 一个文件被上传后，这个storage server就相当于这个文件的storage server源，
# 会对同组的storage server推送这个文件达到同步效果
# 0: 轮询方式（默认）
# 1: 根据ip 地址进行排序选择第一个服务器（IP地址最小者）
# 2: 根据优先级进行排序（上传优先级由storage server来设置，参数名为upload_priority），优先级值越小优先级越高。
store_server=0
# 上传路径的选择方式。storage server可以有多个存放文件的base path（可以理解为多个磁盘）
# 0: 轮流方式，多个目录依次存放文件
# 2: 选择剩余空间最大的目录存放文件（注意：剩余磁盘空间是动态的，因此存储到的目录或磁盘可能也是变化的）
store_path=0
# 选择哪个 storage server 作为下载服务器
# 0: 轮询方式，可以下载当前文件的任一storage server
# 1: 哪个为源storage server就用哪一个,就是之前上传到哪个storage server服务器就是哪个了
download_server=0
# storage server上保留的空间，保证系统或其他应用需求空间。
# 可以用绝对值或者百分比（V4开始支持百分比方式）
# 如果同组的服务器的硬盘大小一样,以最小的为准
# a group <= reserved_storage_space,
# no file can be uploaded to this group.
# bytes unit can be one of follows:
### G or g for gigabyte(GB)
### M or m for megabyte(MB)
### K or k for kilobyte(KB)
### no unit for byte(B)
### XX.XX% as ratio such as reserved_storage_space = 10%
reserved_storage_space = 10%
# 选择日志级别
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info
# 指定运行该程序的用户组(不填 就是当前用户组,哪个启动进程就是哪个)
run_by_group=
# 操作系统运行FastDFS的用户 (不填 就是当前用户,哪个启动进程就是哪个)
run_by_user=
# 可以连接到此 tracker server 的ip范围（对所有类型的连接都有影响，包括客户端，storage server）
# “*” means match all ip addresses, can use range like this: 10.0.1.[1-15,20] or
# host[01-08,20-25].domain.com, for example:
# allow_hosts=10.0.1.[1-15,20]
# allow_hosts=host[01-08,20-25].domain.com
allow_hosts=*
# 同步或刷新日志信息到硬盘的时间间隔，单位为秒
# 注意：tracker server 的日志不是时时写硬盘的，而是先写内存。
sync_log_buff_interval = 10
# 检测 storage server 存活的时间隔，单位为秒。
# storage server定期向tracker server 发心跳，
# 如果tracker server在一个check_active_interval内还没有收到storage server的一次心跳，
# 那边将认为该storage server已经下线。所以本参数值必须大于storage server配置的心跳时间间隔。
# 通常配置为storage server心跳时间间隔的2倍或3倍。
check_active_interval = 120
# 线程栈的大小。FastDFS server端采用了线程方式。
# 更正一下，tracker server线程栈不应小于64KB，不是512KB。
# 线程栈越大，一个线程占用的系统资源就越多。如果要启动更多的线程可以适当降低本参数值。
thread_stack_size = 64KB
# 这个参数控制当storage server IP地址改变时，集群是否自动调整。
# 注：只有在storage server进程重启时才完成自动调整。
storage_ip_changed_auto_adjust = true
# ===========================同步======================================
# V2.0引入的参数。存储服务器之间同步文件的最大延迟时间，缺省为1天。根据实际情况进行调整
# 注：本参数并不影响文件同步过程。本参数仅在下载文件时，判断文件是否已经被同步完成的一个阀值（经验值）
# default value is 86400 seconds (one day)
storage_sync_file_max_delay = 86400
# V2.0引入的参数。存储服务器同步一个文件需要消耗的最大时间，缺省为300s，即5分钟。
# 注：本参数并不影响文件同步过程。本参数仅在下载文件时，作为判断当前文件是否被同步完成的一个阀值（经验值）
storage_sync_file_max_time = 300
# ===========================trunk 和 slot============================
# V3.0引入的参数。是否使用小文件合并存储特性，缺省是关闭的。
use_trunk_file = false
# V3.0引入的参数。
# trunk file分配的最小字节数。比如文件只有16个字节，系统也会分配slot_min_size个字节。
# the min slot size, should <= 4KB
# default value is 256 bytes
slot_min_size = 256
# V3.0引入的参数。
# 只有文件大小<=这个参数值的文件，才会合并存储。
# 如果一个文件的大小大于这个参数值，将直接保存到一个文件中（即不采用合并存储方式）。
slot_max_size = 16MB
# V3.0引入的参数。
# 合并存储的trunk file大小，至少4MB，缺省值是64MB。不建议设置得过大。
trunk_file_size = 64MB
# 是否提前创建trunk file。只有当这个参数为true，下面3个以trunk_create_file_打头的参数才有效。
# default value is false
# since V3.06
trunk_create_file_advance = false
# 提前创建trunk file的起始时间点（基准时间），02:00表示第一次创建的时间点是凌晨2点
# the time format: HH:MM
# default value is 02:00
# since V3.06
trunk_create_file_time_base = 02:00
# 创建trunk file的时间间隔，单位为秒。如果每天只提前创建一次，则设置为86400
# default value is 38400 (one day)
# since V3.06
trunk_create_file_interval = 86400
# 提前创建trunk file时，需要达到的空闲trunk大小
# 比如本参数为20G，而当前空闲trunk为4GB，那么只需要创建16GB的trunk file即可。
# default value is 0
# since V3.06
trunk_create_file_space_threshold = 20G
# trunk初始化时，是否检查可用空间是否被占用
# if check trunk space occupying when loading trunk free spaces
# the occupied spaces will be ignored
# default value is false
# since V3.09
# NOTICE: set this parameter to true will slow the loading of trunk spaces
# when startup. you should set this parameter to true when neccessary.
trunk_init_check_occupying = false
# 是否无条件从trunk binlog中加载trunk可用空间信息
# FastDFS缺省是从快照文件storage_trunk.dat中加载trunk可用空间，
# 该文件的第一行记录的是trunk binlog的offset，然后从binlog的offset开始加载
# if ignore storage_trunk.dat, reload from trunk binlog
# default value is false
# since V3.10
# set to true once for version upgrade when your version less than V3.10
trunk_init_reload_from_binlog = false
# 是否使用server ID作为storage server标识
# since V4.00
use_storage_id = false
# use_storage_id 设置为true，才需要设置本参数
# 在文件中设置组名、server ID和对应的IP地址，参见源码目录下的配置示例：conf/storage_ids.conf
# since V4.00
storage_ids_filename = storage_ids.conf
# 存储服务器的文件名中的id类型，取值如下
## IP：存储服务器的IP地址
## id：被存储服务器的服务器标识
# 只有当use_storage_id设置为true时此参数是有效的
# 默认值是IP
# since V4.03
id_type_in_filename = ip
# 存储从文件是否采用symbol link（符号链接）方式
# 如果设置为true，一个从文件将占用两个文件：原始文件及指向它的符号链接。
# if store slave file use symbol link
# default value is false
# since V4.01
store_slave_file_use_link = false
# 是否定期轮转error log，目前仅支持一天轮转一次
# if rotate the error log every day
# default value is false
# since V4.02
rotate_error_log = false
# error log定期轮转的时间点，只有当rotate_error_log设置为true时有效
# rotate error log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.02
error_log_rotate_time=00:00
# error log按大小轮转
# 设置为0表示不按文件大小轮转，否则当error log达到该大小，就会轮转到新文件中
# rotate error log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_error_log_size = 0
# 是否使用连接池
# default value is false
# since V4.05
use_connection_pool = false
# 连接的空闲时间超过这个时间将被关闭，单位：秒
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600
# ===========================HTTP 相关=================================
# HTTP是否生效
# true 失效
# false 生效
http.disabled=false
# tracker server上的HTTP服务器端口号
http.server_port=8090
# 检查storage http server存活的间隔时间，单位为秒
# <= 0 for never check
# default value is 30
http.check_alive_interval=30
# 检查storage http server存活的方式
# tcp：连接到storage server的http端口，不进行request和response。
# http：storage check alive url must return http status 200.
#note：只有http.disabled=false时才生效
# default value is tcp
http.check_alive_type=tcp
# 检查storage http server是否alive的uri/url
# NOTE: storage embed HTTP server support uri: /status.html
http.check_alive_uri=/status.html
# 如果需要查找的内容类型格式的文件扩展名
http.need_find_content_type=true
# HTTP服务的其他配置文件
#include http.con
FastDFS配置文件(storage.conf)
# 该配置文件是否生效
# false：生效
# true：无效
disabled=false
# 本storage server所属组名
group_name=group1
# 绑定IP
# 后面为绑定的IP地址 (常用于服务器有多个IP但只希望一个IP提供服务)。
# 如果不填则表示所有的(一般不填就OK),相信较熟练的SA都常用到类似功能,
# 很多系统和应用都有
bind_addr=
# bind_addr通常是针对server的。当指定bind_addr时，本参数才有效。
# 本storage server作为client连接其他服务器（如tracker server、其他storage server），是否绑定bind_addr。
# if bind an address of this host when connect to other servers
# (this storage server as a client)
# true for binding the address configed by above parameter: “bind_addr”
# false for binding any address of this host
client_bind=true
# storage server服务端口
port=23000
# 连接超时(秒)
# 默认值 30s
connect_timeout=30
# 网络超时(秒)
# 默认值 30s
network_timeout=60
# 心跳间隔时间，单位为秒 (这里是指主动向tracker server 发送心跳)
heart_beat_interval=30
# storage server向tracker server报告磁盘剩余空间的时间间隔，单位为秒。
stat_report_interval=60
# base_path目录地址,根目录必须存在子目录会自动生成
# 注 :这里不是上传的文件存放的地址,之前是的,在某个版本后更改了
base_path=/home/yuqing/fastdfs
# 最大连接数
# default value is 256
# more max_connections means more memory will be used
max_connections=256
# the buff size to recv / send data
# 该参数必须大于8KB
# 默认值是64KB
# since V2.00
buff_size = 256KB
# w线程数，通常设置CPU数,值 <= 最大连接数 # 默认值 4 # since V2.00 work_threads=4 # V2.09引入本参数。设置为true，表示不使用操作系统的文件内容缓冲特性。 # 如果文件数量很多，且访问很分散，可以考虑将本参数设置为true # if read / write file directly # if set to true, open file will add the O_DIRECT flag to avoid file caching # by the file system. be careful to set this parameter. # default value is false disk_rw_direct = false # 磁盘IO读写是否分离，缺省是分离的。 # if disk read / write separated ## false for mixed read and write ## true for separated read and write # default value is true # since V2.00 disk_rw_separated = true # 针对单个存储路径的读线程数，缺省值为1。 # 读写分离时，系统中的读线程数 = disk_reader_threads * store_path_count # 读写混合时，系统中的读写线程数 = (disk_reader_threads + disk_writer_threads) * store_path_count # disk reader thread count per store base path # for mixed read / write, this parameter can be 0 # default value is 1 # since V2.00 disk_reader_threads = 1 # 针对单个存储路径的写线程数，缺省值为1。 # 读写分离时，系统中的写线程数 = disk_writer_threads * store_path_count # 读写混合时，系统中的读写线程数 = (disk_reader_threads + disk_writer_threads) * store_path_count # disk writer thread count per store base path # for mixed read / write, this parameter can be 0 # default value is 1 # since V2.00 disk_writer_threads = 1 # 同步文件时，如果从binlog中没有读到要同步的文件，休眠N毫秒后重新读取。0表示不休眠，立即再次尝试读取。 # 出于CPU消耗考虑，不建议设置为0。如何希望同步尽可能快一些，可以将本参数设置得小一些，比如设置为10ms # when no entry to sync, try read binlog again after X milliseconds # must > 0, default value is 200ms
sync_wait_msec=50
# 同步上一个文件后，再同步下一个文件的时间间隔，单位为毫秒，0表示不休眠，直接同步下一个文件
# after sync a file, usleep milliseconds
# 0 for sync successively (never call usleep)
sync_interval=0
# 允许系统同步的时间开始时间段 (默认是全天) 一般用于避免高峰同步产生一些问题而设定
# storage sync start time of a day, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
sync_start_time=00:00
# 允许系统同步的时间结束时间段 (默认是全天) 一般用于避免高峰同步产生一些问题而设定
# storage sync end time of a day, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
sync_end_time=23:59
# 同步完N个文件后，把storage的mark文件同步到磁盘
# 注：如果mark文件内容没有变化，则不会同步
# write to the mark file after sync N files
# default value is 500
write_mark_file_freq=500
# 存放文件时storage server支持多个路径（例如磁盘）。这里配置存放文件的基路径数目，通常只配一个目录
# path(disk or mount point) count, default value is 1
store_path_count=1
# 逐一配置store_path个路径，索引号基于0。注意配置方法后面有0,1,2 ……，需要配置0到store_path – 1。
# 如果不配置base_path0，那边它就和base_path对应的路径一样。
# store_path#, based 0, if store_path0 not exists, it’s value is base_path
# the paths must be exist
store_path0=/home/yuqing/fastdfs
#store_path1=/home/yuqing/fastdfs2
# FastDFS存储文件时，采用了两级目录。这里配置存放文件的目录个数 (系统的存储机制,大家看看文件存储的目录就知道了)
# 如果本参数只为N（如：256），那么storage server在初次运行时，会自动创建 N * N 个存放文件的子目录
# subdir_count * subdir_count directories will be auto created under each
# store_path (disk), value can be 1 to 256, default value is 256
subdir_count_per_path=256
# tracker_server 的列表 要写端口的哦 (再次提醒是主动连接tracker_server )
# 有多个tracker server时，每个tracker server写一行
# tracker_server can ocur more than once, and tracker_server format is
# “host:port”, host can be hostname or ip address
tracker_server=10.0.14.145:22122
#tracker_server=10.0.14.93:22122
# 日志级别
#standard log level as syslog, case insensitive, value list:
### emerg for emergency
### alert
### crit for critical
### error
### warn for warning
### notice
### info
### debug
log_level=info
# 指定运行该程序的用户组(不填 就是当前用户组,哪个启动进程就是哪个)
run_by_group=
# 操作系统运行FastDFS的用户 (不填 就是当前用户,哪个启动进程就是哪个)
run_by_user=
# 可以连接到此 tracker server 的ip范围（对所有类型的连接都有影响，包括客户端，storage server）
# “*” means match all ip addresses, can use range like this: 10.0.1.[1-15,20] or
# host[01-08,20-25].domain.com, for example:
# allow_hosts=10.0.1.[1-15,20]
# allow_hosts=host[01-08,20-25].domain.com
allow_hosts=*
# 0: 轮流存放，在一个目录下存储设置的文件数后（参数file_distribute_rotate_count中设置文件数），使用下一个目录进行存储。
# 1: 随机存储，根据文件名对应的hash code来分散存储。
# the mode of the files distributed to the data path
# 0: round robin(default)
# 1: random, distributted by hash code
file_distribute_path_mode=0
# 当上面的参数file_distribute_path_mode配置为0（轮流存放方式）时，本参数有效。
# 当一个目录下的文件存放的文件数达到本参数值时，后续上传的文件存储到下一个目录中。
# default value is 100
file_distribute_rotate_count=100
# 当写入大文件时，每写入N个字节，调用一次系统函数fsync将内容强行同步到硬盘。0表示从不调用fsync
# call fsync to disk when write big file
# 0: never call fsync
# other: call fsync when written bytes >= this bytes
# default value is 0 (never call fsync)
fsync_after_written_bytes=0
# 同步或刷新日志信息到硬盘的时间间隔，单位为秒
# 注意：storage server 的日志信息不是时时写硬盘的，而是先写内存。
# must > 0, default value is 10 seconds
sync_log_buff_interval=10
# 同步binglog（更新操作日志）到硬盘的时间间隔，单位为秒
# 本参数会影响新上传文件同步延迟时间
# sync binlog buff / cache to disk every interval seconds
# default value is 60 seconds
sync_binlog_buff_interval=10
# 把storage的stat文件同步到磁盘的时间间隔，单位为秒。
# 注：如果stat文件内容没有变化，不会进行同步
# sync storage stat info to disk every interval seconds
# default value is 300 seconds
sync_stat_file_interval=300
# 线程栈的大小。FastDFS server端采用了线程方式。
# 对于V1.x，storage server线程栈不应小于512KB；对于V2.0，线程栈大于等于128KB即可。
# 线程栈越大，一个线程占用的系统资源就越多。
# 对于V1.x，如果要启动更多的线程（max_connections），可以适当降低本参数值。
# thread stack size, should >= 512KB
# default value is 512KB
thread_stack_size=512KB
# 本storage server作为源服务器，上传文件的优先级，可以为负数。值越小，优先级越高。
# 这里就和 tracker.conf 中store_server= 2时的配置相对应了
# the priority as a source server for uploading file.
# the lower this value, the higher its uploading priority.
# default value is 10
upload_priority=10
# the NIC alias prefix, such as eth in Linux, you can see it by ifconfig -a
# multi aliases split by comma. empty value means auto set by OS type
# default values is empty
if_alias_prefix=
# 是否检测上传文件已经存在。如果已经存在，则不存文件内容，建立一个符号链接以节省磁盘空间。
# 这个应用要配合FastDHT 使用，所以打开前要先安装FastDHT
# 1或yes 是检测，0或no 是不检测
# if check file duplicate, when set to true, use FastDHT to store file indexes
# 1 or yes: need check
# 0 or no: do not check
# default value is 0
check_file_duplicate=0
# 文件去重时，文件内容的签名方式：
## hash： 4个hash code
## md5：MD5
# file signature method for check file duplicate
## hash: four 32 bits hash code
## md5: MD5 signature
# default value is hash
# since V4.01
file_signature_method=hash
# 当参数check_file_duplicate设定为1 或 yes时 (true/on也是可以的) ， 在FastDHT中的命名空间。
# namespace for storing file indexes (key-value pairs)
# this item must be set when check_file_duplicate is true / on
key_namespace=FastDFS
# 与FastDHT servers 的连接方式 (是否为持久连接) ，默认是0（短连接方式）。
# 可以考虑使用长连接，这要看FastDHT server的连接数是否够用。
# set keep_alive to 1 to enable persistent connection with FastDHT servers
# default value is 0 (short connection)
keep_alive=0
# 可以通过 #include filename 方式来加载 FastDHT servers 的配置，装上FastDHT就知道该如何配置啦。
# 同样要求 check_file_duplicate=1 时才有用，不然系统会忽略
# fdht_servers.conf 记载的是 FastDHT servers 列表
# you can use “#include filename” (not include double quotes) directive to
# load FastDHT server list, when the filename is a relative path such as
# pure filename, the base path is the base path of current/this config file.
# must set FastDHT server list when check_file_duplicate is true / on
# please see INSTALL of FastDHT for detail
##include /home/yuqing/fastdht/conf/fdht_servers.conf
# 是否将文件操作记录到access log
# if log to access log
# default value is false
# since V4.00
use_access_log = false
# 是否定期轮转access log，目前仅支持一天轮转一次
# if rotate the access log every day
# default value is false
# since V4.00
rotate_access_log = false
# access log定期轮转的时间点，只有当rotate_access_log设置为true时有效
# rotate access log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.00
access_log_rotate_time=00:00
# 是否定期轮转error log，目前仅支持一天轮转一次
# if rotate the error log every day
# default value is false
# since V4.02
rotate_error_log = false
# error log定期轮转的时间点，只有当rotate_error_log设置为true时有效
# rotate error log time base, time format: Hour:Minute
# Hour from 0 to 23, Minute from 0 to 59
# default value is 00:00
# since V4.02
error_log_rotate_time=00:00
# access log按文件大小轮转
# 设置为0表示不按文件大小轮转，否则当access log达到该大小，就会轮转到新文件中
# rotate access log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_access_log_size = 0
# error log按文件大小轮转
# 设置为0表示不按文件大小轮转，否则当error log达到该大小，就会轮转到新文件中
# rotate error log when the log file exceeds this size
# 0 means never rotates log file by log file size
# default value is 0
# since V4.02
rotate_error_log_size = 0
# 文件同步的时候，是否忽略无效的binlog记录
# if skip the invalid record when sync file
# default value is false
# since V4.02
file_sync_skip_invalid_record=false
# 是否使用连接池
# default value is false
# since V4.05
use_connection_pool = false
# 连接的空闲时间超过这个时间将被关闭，单位：秒
# default value is 3600
# since V4.05
connection_pool_max_idle_time = 3600
# 下面是http的配置了。如果系统较大，这个服务有可能支持不了，可以自行换一个webserver，我喜欢lighttpd，当然ng也很好了。
# HTTP是否生效
# true 失效
# false 生效
http.disabled=false
# Web服务器的这个存储服务器上的端口
# the port of the web server on this storage server
http.server_port=8888
# http.trunk_size表示读取文件内容的buffer大小（一次读取的文件内容大小），也就是回复给HTTP client的块大小。
http.trunk_size=256KB
# storage server上web server域名，通常仅针对单独部署的web server。这样URL中就可以通过域名方式来访问storage server上的文件了，
# 这个参数为空就是IP地址的方式。
# use the ip address of this storage server if domain_name is empty,
# else this domain name will ocur in the url redirected by the tracker server
http.domain_name=
# HTTP服务的其他配置文件
#include http.conf
CentOS安装Chromium和插件
安装Chromium：
1、下载新的软件源定义：
cd /etc/yum.repos.d
wget http://people.centos.org/hughesjr/chromium/6/chromium-el6.repo
yum install chromium
这样就安装完成了。
可以通过菜单来启动浏览器：
安装Pepper Flash插件：
1、下载 hughesjr 辅助安装脚本：
cd /tmp
wget https://raw.github.com/hughesjr/chromium_el_builder/master/chrome_pepperflash_copy.sh
2、设置 chrome_pepperflash_copy.sh 为可执行：
chmod +x chrome_pepperflash_copy.sh
3、 执行脚本进行安装（你可以查看一下脚本内容来了解发生了什么）：
./chrome_pepperflash_copy.sh
安装后，如果需要通过命令行方式启动（带有Flash支持），可以输入以下命令：
/opt/chromium/chrome-wrapper %U –ppapi-flash-path=/opt/chromium/PepperFlash/libpepflashplayer.so –ppapi-flash-version=$(grep ‘”version”:’ /opt/chromium/PepperFlash/manifest.json | grep -Po ‘(?<=version”: “)(?:\d|\.)*’)
也可以修改系统菜单中的对应命令。
安装Google Chrome PDF Viewer插件：
1、下载 hughesjr 辅助安装脚本：
cd /tmp
wget https://raw.github.com/hughesjr/chromium_el_builder/master/chrome_libpdf_copy.sh
2、设置 chrome_libpdf_copy.sh 为可执行：
chmod +x chrome_libpdf_copy.sh
3、执行脚本进行安装（你可以查看一下脚本内容来了解发生了什么）：
./chrome_libpdf_copy.sh
FastDFS的STORAGE SERVER的7种状态和问题
正常状态必须是ACTIVE，如果运行以下命令：
/usr/bin/fdfs_monitor /etc/fdfs/client.conf
发现有以下状态的服务器：
Storage 2:
id = 192.168.0.2 WAIT_SYNC
经过各种重启都不解决问题，只好先删除，再加入
#从集群中删除
/usr/bin/fdfs_monitor /etc/fdfs/client.conf delete group1 192.168.0.2
#在136服务器中，删除数据文件夹
rm -rf /data/fastdfs/data
#重启136节点
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf
重新查状态
/usr/bin/fdfs_monitor /etc/fdfs/client.conf
状态变正常了。
Storage的状态
a)状态值：通常有以下七种状态：
# FDFS_STORAGE_STATUS：INIT :初始化，尚未得到同步已有数据的源服务器
# FDFS_STORAGE_STATUS：WAIT_SYNC :等待同步，已得到同步已有数据的源服务器
# FDFS_STORAGE_STATUS：SYNCING :同步中
# FDFS_STORAGE_STATUS：DELETED :已删除，该服务器从本组中摘除
# FDFS_STORAGE_STATUS：OFFLINE :离线
# FDFS_STORAGE_STATUS：ONLINE :在线，尚不能提供服务
# FDFS_STORAGE_STATUS：ACTIVE :在线，可以提供服务
b)启动时状态改变：
当storage server的状态为FDFS_STORAGE_STATUS_ONLINE时，当该storage server向tracker server发起一次heart beat时，
tracker server将其状态更改为FDFS_STORAGE_STATUS_ACTIVE。
组内新增加一台storage server A时，由系统自动完成已有数据同步，处理逻辑如下：
1. storage server A连接tracker server，tracker server将storage server A的状态设置为FDFS_STORAGE_STATUS_INIT。
storage server A询问追加同步的源服务器和追加同步截至时间点，如果该组内只有storage server A或该组内已成功上传的文件数为0，
则没有数据需要同步，storage server A就可以提供在线服务，此时tracker将其状态设置为FDFS_STORAGE_STATUS_ONLINE，否则
tracker server将其状态设置为FDFS_STORAGE_STATUS_WAIT_SYNC，进入第二步的处理；
2. 假设tracker server分配向storage server A同步已有数据的源storage server为B。同组的storage server和tracker server
通讯得知新增了storage server A，将启动同步线程，并向tracker server询问向storage server A追加同步的源服务器和截至时间点。
storage server B将把截至时间点之前的所有数据同步给storage server A；而其余的storage server从截至时间点之后进行正常同步，只
把源头数据同步给storage server A。到了截至时间点之后，storage server B对storage server A的同步将由追加同步切换为正常同步，
只同步源头数据；
3. storage server B向storage server A同步完所有数据，暂时没有数据要同步时，storage server B请求tracker server将
storage server A的状态设置为FDFS_STORAGE_STATUS_ONLINE；
4 当storage server A向tracker server发起heart beat时，tracker server将其状态更改为FDFS_STORAGE_STATUS_ACTIVE。
Tracker选择客户端下载文件的storage的原则
a)在同group下，获取最小的一个同步时间点(各个storage在同一时间，同步完成的时间点不一样)
b)在最小同步时间点之前的文件，按照用户的规则随意选择一个storage。
c)在最小同步时间点之后的文件，选择源storage提供给客户端。
