一个PHP实现的轻量级简单爬虫

最近需要收集资料，在浏览器上用另存为的方式实在是很麻烦，而且不利于存储和检索。所以自己写了一个小爬虫，在网上爬东西，迄今为止，已经爬了近百万张网页。现在正在想办法着手处理这些数据。

爬虫的结构:

爬虫的原理其实很简单，就是分析下载的页面，找出其中的连接，然后再下载这些链接，再分析再下载，周而复始。

在数据存储方面，数据库是首选，便于检索，而开发语言，只要支持正则表达式就可以了，数据库我选择了mysql，所以，开发脚本我选择了php。它支持perl兼容正则表达式，连接mysql很方便，支持http下载，而且windows系统和linux系统都可以部署。

正则表达式:

正则表达式是处理文字的基本工具，要取出html中的链接和图片，使用的正则表达式如下。代码如下:

"#<a¹+href=(['\"])(.+)\1#isU" 处理链接

"#<img[^>]+src=(['\"])(.+)\\1#isU" 处理图片

其他问题: 写爬虫还需要注意的一个问题是，对于已经下载过的url，不能重复进行下载，而有些网页的链接会形成环路，所以需要处理这个问题，我的处理方法是计算已经处理的url的MD5 值，并存入数据库，这样就可以检验是否已经下载过。当然还有更好的算法，有兴趣的话，可以在网上找一下。

加载页面

function curl_get($url){

$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch,CURLOPT_HEADER,1);
$result=curl_exec($ch);
$code=curl_getinfo($ch,CURLINFO_HTTP_CODE);
if($code!='404' && $result){
 return $result;
}
curl_close($ch);

}

获取页面url链接

function get_page_urls($spider_page_result,$base_url){
$get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out);
if($get_url_result){

return $out[1];

}else{

return;

}
}

相对路径转绝对路径

function xdtojd($base_url,$url_list){
if(is_array($url_list)){
foreach($url_list as $url_item){

if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){
  $result_url_list[]=$url_item;
}else {
 if(preg_match("/^\//",$url_item)){
  $real_url = $base_url.$url_item;
 }else{
  $real_url = $base_url."/".$url_item;
 }
 #$real_url = 'http://www.sumpay.cn/'.$url_item; 
 $result_url_list[] = $real_url; 
}

}
return $result_url_list;
}else{
return;
}
}

删除其他站点url

function other_site_url_del($jd_url_list,$url_base){
if(is_array($jd_url_list)){
foreach($jd_url_list as $all_url){

echo $all_url;
if(strpos($all_url,$url_base)===0){
 $all_url_list[]=$all_url;
}

}
return $all_url_list;
}else{
return;
}
}

删除相同URL

function url_same_del($array_url){
if(is_array($array_url)){

 $insert_url=array();
 $pizza=file_get_contents("/tmp/url.txt");
 if($pizza){
    $pizza=explode("\r\n",$pizza);
    foreach($array_url as $array_value_url){
     if(!in_array($array_value_url,$pizza)){
      $insert_url[]=$array_value_url; 
     }
    }
    if($insert_url){
       foreach($insert_url as $key => $insert_url_value){
         #这里只做了参数相同去重处理
         $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
         foreach($pizza as $pizza_value){
            $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);
            if($update_insert_url==$update_pizza_value){
               unset($insert_url[$key]);
               continue;
            }
         }
       }
    }     
 }else{
    $insert_url=array();
    $insert_new_url=array();
    $insert_url=$array_url;
    foreach($insert_url as $insert_url_value){
     $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
     $insert_new_url[]=$update_insert_url;  
    }
    $insert_new_url=array_unique($insert_new_url);
    foreach($insert_new_url as $key => $insert_new_url_val){
      $insert_url_bf[]=$insert_url[$key];
    } 
    $insert_url=$insert_url_bf;
 }
 return $insert_url;

}else{

return;

}
}

$current_url=$argv[1];
$fp_puts = fopen("/tmp/url.txt","ab");//记录url列表
$fp_gets = fopen("/tmp/url.txt","r");//保存url列表
$url_base_url=parse_url($current_url);
if($url_base_url['scheme']==""){
$url_base="http://".$url_base_url['host'];
}else{
$url_base=$url_base_url['scheme']."://".$url_base_url['host'];
}
do{
$spider_page_result=curl_get($current_url);
#var_dump($spider_page_result);
$url_list=get_page_urls($spider_page_result,$url_base);
#var_dump($url_list);
if(!$url_list){
continue;
}
$jd_url_list=xdtojd($url_base,$url_list);
#var_dump($jd_url_list);
$result_url_arr=other_site_url_del($jd_url_list,$url_base);
var_dump($result_url_arr);
$result_url_arr=url_same_del($result_url_arr);
#var_dump($result_url_arr);
if(is_array($result_url_arr)){

$result_url_arr=array_unique($result_url_arr);
   foreach($result_url_arr as $new_url) { 
     fputs($fp_puts,$new_url."\r\n"); 
   }

}
}while ($current_url = fgets($fp_gets,1024));//不断获得url
preg_match_all("/<a¹+href=\"'[\"']¹+>/",$spider_page_result,$out);

echo a href

var_dump($out[1]);

> ↩
\"' ↩

一个PHP实现的轻量级简单爬虫

一个PHP实现的轻量级简单爬虫

加载页面

获取页面url链接

相对路径转绝对路径

删除其他站点url

删除相同URL

echo a href

var_dump($out[1]);

评论 (0)