php

rsync+inotify实现服务器日志数据同步

dafenqi
2023-06-07 / 0 评论 / 30 阅读 / 正在检测是否收录...

非root账号准备

创建账号并设置为非root用户授权目录

useradd admin
passwd admin  #输入两次密码
chown -R admin /backup/

服务端(源服务器所同步数据到的目标服务器)准备

关闭防火墙和selinux

systemctl disable --now firewalld
setenforce 0
sed -ri 's/^(SELINUX=).*/\1disabled/g' /etc/sysconfig/selinux
getenforce

安装

yum -y install rsync rsync-daemon

卸载

rpm -qa | grep rsync
yum erase rsync -y

查看版本号

rsync -version

重启

netstat -anput | grep :873
kill -9 1246297(删除进程号)
systemctl restart rsyncd.service

查看服务是否正常工作

systemctl status rsyncd.service

修改或创建两个配置文件

vim /etc/rsyncd.conf

uid = admin
##进行备份的组,nobody为任意组
gid = admin
##端口
port = 873
## 如果"use chroot"指定为true,那么rsync在传输文件以前首先chroot到path参数所指定的目录下。这样做的原因是实现额外的安全防护,但是缺点是需要以root权限,并且不能备份指向外部的符号连接所指向的目录文件。默认情况下chroot值为true.但是一般不需要,选择no或false
use chroot = yes
read only = on
##不允许列清单
list = no
##最大连接数
max connections = 4
##pid文件的存放位置
##pidfile = /var/run/rsyncd.pid
##锁文件的存放位置
lock file=/var/run/rsyncd.lock
##日志文件的存放位置
log file = /var/log/rsyncd.log
## motd file = /etc/rsyncd.motd
## //此文件定义完成后系统会自动创建
exclude = lost+found/
transfer logging = yes
##覆盖客户指定的IP超时时间,也就是说rsync服务器不会永远等待一个崩溃的客户端。
timeout = 900
ignore nonreadable = yes
## //同步时跳过没有权限的目录
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
##  //传输时不压缩的文件
##哪些电脑可以访问rsync服务,这里可以指定单个IP,也可以指定整个网段,能提高安全性。格式是ip 与ip 之间、ip和网段之间、网段和网段之间要用空格隔开
##hosts allow = 172.25.0.110
##哪些电脑不可以访问rsync服务
##hosts deny = 172.25.0.0/24
##这里是认证模块名,即跟samba语法一样,是对外公布的名字
[backup]
comment = this is module for backup
##这里是参与同步的目录
path = /backup/
##可以忽略一些无关的IO错误
ignore errors
##允许可读可写
read only = no
##认证的用户名
auth users = admin
##密码文件存放地址
secrets file = /etc/rsyncd.pass

vim /etc/rsyncd.pass

admin:123456

修改配置文件权限

chmod 600 /etc/rsync*

创建同步目录,并设置目录权限

mkdir /backup
chmod 600 /backup

启动

rsync --daemon

客户端(源服务器)准备

关闭防火墙和selinux

systemctl disable --now firewalld
setenforce 0
getenforce

安装(只需要安装,不要启动,不需要配置)

yum install -y rsync

创建认证密码文件

echo '123456' > /etc/rsync.pass

设置认证密码文件权限

chmod 600 /etc/rsync.pass

同步

rsync -avz --port 873 --progress --delete /tmp/test admin@服务器ip::backup --password-file=/etc/rsync.pass

inotify准备

查看服务器内核是否支持inotify

ll /proc/sys/fs/inotify/

安装inotify-tools工具

yum -y install make gcc gcc-c++
yum -y install inotify-tools

写同步脚本

mkdir /scripts
touch /scripts/inotify.sh
chmod 755 /scripts/inotify.sh
vim /scripts/inotify.sh

inotify.sh 脚本如下
host=服务器的ip      # 目标服务器的ip(备份服务器)
src=/tmp/test       # 在源服务器上所要监控的备份目录(此处可以自定义,但是要保证存在)
des=backup     # 自定义的模块名,需要与目标服务器上定义的同步名称一致
password=/etc/rsync.pass        # 执行数据同步的密码文件
user=admin         # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait

$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
rsync -avzP --delete  --timeout=100 --password-file=${password} $src $user@$host::$des
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

启动脚本

nohup bash /scripts/inotify.sh &

查看启动脚本

ps -ef |grep inotify

设置脚本开机自启动

chmod +x /etc/rc.d/rc.local
echo 'nohup /bin/bash /scripts/inotify.sh' >> /etc/rc.d/rc.local

Rsync服务备份常见报错信息

配置项

-a、--archive参数表示存档模式,保存所有的元数据,比如修改时间(modification time)、权限、所有者等,并且软链接也会同步过去。

--append参数指定文件接着上次中断的地方,继续传输。

--append-verify参数跟--append参数类似,但会对传输完成后的文件进行一次校验。如果校验失败,将重新发送整个文件。

-b、--backup参数指定在删除或更新目标目录已经存在的文件时,将该文件更名后进行备份,默认行为是删除。更名规则是添加由--suffix参数指定的文件后缀名,默认是~。

--backup-dir参数指定文件备份时存放的目录,比如--backup-dir=/path/to/backups。

--bwlimit参数指定带宽限制,默认单位是 KB/s,比如--bwlimit=100。

-c、--checksum参数改变rsync的校验方式。默认情况下,rsync 只检查文件的大小和最后修改日期是否发生变化,如果发生变化,就重新传输;使用这个参数以后,则通过判断文件内容的校验和,决定是否重新传输。

--delete参数删除只存在于目标目录、不存在于源目标的文件,即保证目标目录是源目标的镜像。

-e参数指定使用 SSH 协议传输数据。

--exclude参数指定排除不进行同步的文件,比如--exclude="*.iso"。

--exclude-from参数指定一个本地文件,里面是需要排除的文件模式,每个模式一行。

--existing、--ignore-non-existing参数表示不同步目标目录中不存在的文件和目录。

-h参数表示以人类可读的格式输出。

-h、--help参数返回帮助信息。

-i参数表示输出源目录与目标目录之间文件差异的详细情况。

--ignore-existing参数表示只要该文件在目标目录中已经存在,就跳过去,不再同步这些文件。

--include参数指定同步时要包括的文件,一般与--exclude结合使用。

--link-dest参数指定增量备份的基准目录。

-m参数指定不同步空目录。

--max-size参数设置传输的最大文件的大小限制,比如不超过200KB(--max-size='200k')。

--min-size参数设置传输的最小文件的大小限制,比如不小于10KB(--min-size=10k)。

-n参数或--dry-run参数模拟将要执行的操作,而并不真的执行。配合-v参数使用,可以看到哪些内容会被同步过去。

-P参数是--progress和--partial这两个参数的结合。

--partial参数允许恢复中断的传输。不使用该参数时,rsync会删除传输到一半被打断的文件;使用该参数后,传输到一半的文件也会同步到目标目录,下次同步时再恢复中断的传输。一般需要与--append或--append-verify配合使用。

--partial-dir参数指定将传输到一半的文件保存到一个临时目录,比如--partial-dir=.rsync-partial。一般需要与--append或--append-verify配合使用。

--progress参数表示显示进展。

-r参数表示递归,即包含子目录。

--remove-source-files参数表示传输成功后,删除发送方的文件。

--size-only参数表示只同步大小有变化的文件,不考虑文件修改时间的差异。

--suffix参数指定文件名备份时,对文件名添加的后缀,默认是~。

-u、--update参数表示同步时跳过目标目录中修改时间更新的文件,即不同步这些有更新的时间戳的文件。

-v参数表示输出细节。-vv表示输出更详细的信息,-vvv表示输出最详细的信息。

--version参数返回 rsync 的版本。

-z参数指定同步时压缩数据。

线上遇到的问题以及解决

对比的文件太多,导致占用太多CPU,一个rsync进程占用服务器CPU的99%、100%,虽然服务器也很垃圾,但彻底废了,解决下这个问题

优化思路如下,用了第二(排除不必要的文件)第三条(增量同步),以及限制同步频率(每小时同步一次)。
要优化这个同步脚本以减少服务器CPU占用,您可以考虑以下几点:

1.限制带宽和连接数:使用--bwlimit参数来限制rsync使用的带宽,以及--max-connections参数来限制rsync使用的最大连接数。这可以帮助减少对服务器资源的占用。
2.排除不必要的文件:使用--exclude参数来排除不必要同步的文件或目录,这可以减少同步的数据量,从而减少服务器CPU占用。
3.增量同步:考虑使用--checksum参数来进行增量同步,这将只传输发生变化的文件,而不是整个文件。
4.调整压缩级别:根据需要调整压缩级别,较低的压缩级别可能会减少CPU占用。

rsync -avzP --delete  --timeout=100 --password-file=${password} --include='*/' --include="$(date +'%Y-%m-%d')*/**" --include="$(date -d 'yesterday' +'%Y-%m-%d')*/**" --include="$(date -d '2 days ago'm-%d')*/**" --exclude="*" --checksum  $src $user@$host::$des
--include="/$(date +'%Y-%m-%d')*/" --include="/$(date -d 'yesterday' +'%Y-%m-%d')/" --include="/$(date -d '2 days ago' +'%Y-%m-%d')/":包含当天、昨天和前天日期的文件夹。
--exclude="*":排除其他日期的文件夹。
--checksum:增量同步,使用文件的校验和进行比较,只传输发生变化的部分。
--no-g:同步文件时不保留源文件的组(group)属性。
--ignore-missing-args:当有多个rsync命令行的参数配置文件,并且其中一个文件缺少某些参数(某个文件夹缺少)时,使用--ignore-missing-args选项可以确保rsync继续执行而不中断。

附完整的代码

#!/bin/bash 脚本将会在检测到文件变化后同步推送日志文件 每同步一次需等待一段时间再同步。
host=xx.xx.xx.xx      # 目标服务器的ip(备份服务器)
src=/log/       # 在源服务器上所要监控的备份目录(此处可以自定义,但是要保证存在)
des=xxxx     # 自定义的模块名,需要与目标服务器上定义的同步名称一致
user=admin         # 执行数据同步的用户名
inotifywait=/usr/bin/inotifywait


# 设定同步时间间隔(秒)
interval=3600
# 当前日期
current_date=$(date +'%Y-%m-%d')
# 昨天的日期
yesterday_date=$(date -d 'yesterday' +'%Y-%m-%d')
# 前天的日期
two_days_ago_date=$(date -d '2 days ago' +'%Y-%m-%d')


$inotifywait -mrq --timefmt '[%Y%m%d %H:%M:%S]' --format '%T %w%f%e' -e modify,delete,create,attrib $src \
| while read files;do
    # 只对比同步当天、昨天和前天日期的文件夹 增量同步
    rsync -azvP --port 9879 --timeout=600 --include='*/' --include="$current_date/**" --include="$yesterday_date/**" --include="$two_days_ago_date/**" --exclude='*'  --no-g  --checksum --ignore-missing-args  $src $user@$host::$des

    echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
    
    # 等待一段时间后再同步
    sleep $interval
done

上面的代码还有问题,发现当天文件夹推送可以之后就不行了,改成用定时任务吧。
或者脚本改成

while true
do
    # 只对比同步当天、昨天和前天日期的文件夹 增量同步
    rsync -azvP --port 9879 --timeout=600 --include='*/' --include="$current_date/**" --include="$yesterday_date/**" --include="$two_days_ago_date/**" --exclude='*'  --no-g  --checksum --ignore-missing-args  $src $user@$host::$des

    echo "${files} was rsynced" >> /tmp/rsync.log 2>&1
    
    # 等待一段时间后再同步
    sleep $interval
done

补充

https://blog.51cto.com/welcomeweb/2131116

0

Deprecated: strtolower(): Passing null to parameter #1 ($string) of type string is deprecated in /www/wwwroot/testblog.58heshihu.com/var/Widget/Archive.php on line 1032

评论 (0)

取消