基于linux和php的稳定的分布式数据采集架构

数据采集对于一些网站至关重要，在开发这种采集程序时会遇到如下一些问题：
一、单进程采集慢，采集任务的间隔时间无法控制。
二、数据下载部分和分析部分不分离导致可移植性不强，调试困难。
三、采集程序受机器性能瓶颈和网速瓶颈限制。
四、遭受数据源的封锁。
等等。。。。
这就要求采集程序必须足够智能化，有如下几点要求：
一、可以多机器分布运行，以适应大量数据的采集。
二、能够多并发采集，使采集任务的运行周期可控。
三、下载程序和分析程序分离，不仅是程序上的分离，也需要机器上的分离。
四、能够很容易的加入新的采集任务，很容易的调试。
五、对采集页面内容的分析能够模糊匹配。
六、下载时能够调用代理。
七、长期自动维护一个有效的代理列表
经过几次大的改动，我现在设计的基于linux和php的采集程序架构如下：
Snatch（主目录）
|-Lib（类库、函数、配置的目录）
| |-Config.inc.php（主程序变量配置）
| |-OtherConfig.inc.php（其他配置文件若干）
| |-Functions.inc.php（函数文件若干）
| |-Classes.inc.php（类库文件若干）
| |-ClassLocalDB.inc.php（连接本地数据库的操作类）
| |-ClassRemoteDB.inc.php（连接远程数据库的操作类）
| |-ClassLog.inc.php（写下载分析的日志）
|-Paser（分析器程序目录）
| |-WebSite1（针对WebSite1的分析程序目录）
| | |-WebSite1Paser1.php（针对WebSite1的分析程序1）
| | |-WebSite1Paser2.php（针对WebSite1的分析程序2）
| |-WebSite2（针对WebSite2的分析程序目录）
| |-ProxyWebSite1（分析代理服务器列表的站点1，取得代理服务器地址并入库）
| |-ProxyWebSite2（分析代理服务器列表的站点2，取得代理服务器地址并入库）
| |-... ...
|-Log（日志目录）
| |-WebSite1.log（WebSite1的下载及数据分析日志）
| |-WebSite2.log（WebSite2的下载及数据分析日志）
| |-... ...
|-Files（下载后的文件保存目录）
|-Main.php（主入口程序，分配下载任务）
|-Assign.php（取得下载任务，分配给Down.php执行）
|-Down.php（进行下载并将下载保存的文件调出来分析）
|-DelOvertimeData.php（清除很老的下载文件）
|-ErrorNotice.php（监控下载程序，在其出错时发信通知相关人）
|-Proxy.php（校验数据库中的代理列表，分析其有效性及连接速度）
|-Fork（钩子程序，使下载和分析并发）
|-Main.sh（封装Main.php，使其在shell下运行不出现包含路径错误）
|-Assign.sh（封装Assign.php）
|-DelOvertimeData.sh（封装DelOvertimeData.php）
|-ErrorNotice.sh（封装ErrorNotice.php）
|-Proxy.sh（封装Proxy.php）

本地数据库表结构如下（简单介绍）：
DownloadList表：
ID int(10) unsigned NOT NULL auto_increment, 自增ID
ParentID int(11) NOT NULL default '0', 父ID，也就是该记录由哪个下载记录衍生来的
SiteName char(32) NOT NULL default '', 采集网站的名称或代号
LocalServerName char(32) NOT NULL default '', 该采集任务由本地若干台机器里的哪一台来完成
URL char(255) NOT NULL default '', 需要下载的数据页地址
FileName char(64) NOT NULL default '', 下载后保存的文件名
FileSize int(11) NOT NULL default '0', 下载后文件的大小
Handler char(64) NOT NULL default '', 分析器的php文件路径，如./Paser/WebSite1/Paser1.php
Status enum('Wait','Download','Doing','Done','Dead') NOT NULL default 'Wait', 该任务的状态
ProxyID int(11) NOT NULL default '0', 该任务使用的代理ID，为0则不使用代理下载
Remark char(100) NOT NULL default '', 备注字段
WaitAddTime datetime NOT NULL default '0000-00-00 00:00:00', 记录加入进行等待的时间
DownloadAddTime datetime NOT NULL default '0000-00-00 00:00:00', 记录开始下载的时间
DoingAddTime datetime NOT NULL default '0000-00-00 00:00:00', 记录开始分析的时间
DoneAddTime datetime NOT NULL default '0000-00-00 00:00:00', 记录完成的时间

ProxyList表：
ID int(11) NOT NULL auto_increment, 自增ID
Proxy char(30) NOT NULL default '', 代理地址，如: 127.0.0.1:8080
Status enum('Bad','Good','Perfect') NOT NULL default 'Bad', 该代理状态
SocketTime float NOT NULL default '3', 本地连接该代理socket时间
UsedCount int(11) NOT NULL default '0', 被使用的次数
AddTime datetime NOT NULL default '0000-00-00 00:00:00', 代理被加入列表的时间
LastTime datetime NOT NULL default '0000-00-00 00:00:00', 代理被最后一次验证的时间

其它相关表：（略）

介绍几个文件（只介绍，不贴代码）：
一、Main.php
close();
?>

二、Assign.php
/dev/null";
}
$LocalDB->close();
?>
三、Down.php
四、Proxy.php （维护有效的代理列表）
方法有两种：
1、对代理地址的代理端口进行socket连接。设定连接超时为3秒（3秒仍旧连不上的代理就别要了）
如果连接上了，计算连接时间，并更新该代理记录的数据SocketTime字段，判断其Status是Bad, Good,还是Perfect
2、对于非Bad的代理，进行下载文件的实验，如果没使用代理下载的文件和使用代理下载的文件一样，则该代理真实有效。

程序略

多台机器分布式采集：
只有一台运行Main.sh，2分钟运行一次。
其他机器运行Assign.sh，1分钟一次，Assign.php会根据DownloadList表里的LocalServerName字段来取回任务并完成它。
LocalServerName值由Main.php加载采集任务时分配。这个也可以根据各采集机器负载情况来自动调整。
日志：
采集分析的日志写如Log目录，以便方便的查看到是否采集到数据，分析程序是否有效，在出现错误时也可以找到错误的可能地点和时间。

有点复杂，我只写了大体思路，页面分析部分没有涉及，但是也非常重要。
后台管理也没谈。
架起来之后很爽，只要你采集的机器多，建一个qihoo没问题。
我给以前公司做的采集就是这个架构，采集sina, tom, 163等等一共143个频道的内容。
对某几个网站收费数据的精确采集和分析也用的这个（当然，需要模拟登录）。
还是相当稳定的