搜索到
786
篇与
的结果
-
-
php调试利器之phpdbg php调试利器之phpdbg简介PHPDBG是一个PHP的SAPI模块，可以在不用修改代码和不影响性能的情况下控制PHP的运行环境。PHPDBG的目标是成为一个轻量级、强大、易用的PHP调试平台。可以在PHP5.4和之上版本中使用。在php5.6和之上版本将内部集成。主要功能：– 单步调试– 灵活的下断点方式（类方法、函数、文件:行、内存地址、opcode）– 可直接调用php的eval– 可以查看当前执行的代码– 用户空间API（userland/user space）– 方便集成– 支持指定php配置文件– JIT全局变量– readline支持（可选），终端操作更方便– 远程debug，使用java GUI– 操作简便（具体看help）安装为了使用phpdgb，你首先需要下载一个php的源码包。然后下载phpdgb的源码包，并放在php源码包的sapi目录下。最后，你就可以执行命令安装了。编译安装示例如下：假设我们已经下载php的源码包，并放在了/home/php目录下。1234567cd /home/php/sapigit clone https://github.com/krakjoe/phpdbgcd .././buildconf --force./config.nicemake -j8make install-phpdbg注意：1、如果你的php版本是php5.6或者更高的版本，phpdbg已经集成在php的代码包中，无需单独下载了。2、编译参数中记得要加 –enable-phpdbg。3、编译时参数，–with-readline 可以选择性添加。如果不添加，phpdbg的history等功能无法使用。基本使用参数介绍phpdbg是php的一个sapi，它可以以命令行的方式调试php。常用参数如下：The following switches are implemented (just like cli SAPI):-n ignore php ini-c search for php ini in path-z load zend extension-d define php ini entryThe following switches change the default behaviour of phpdbg:-v disables quietness-s enabled stepping-e sets execution context-b boring – disables use of colour on the console-I ignore .phpdbginit (default init file)-i override .phpgdbinit location (implies -I)-O set oplog output file-q do not print banner on startup-r jump straight to run-E enable step through eval()Note: passing -rr will cause phpdbg to quit after execution, rather than returning to the console常用功能之前我们介绍过gdb工具。其实phpdbg和gdb功能有些地方非常相似。如，可以设置断点，可以单步执行，等。只是他们调试的语言不一样，gdb侧重于调试c或者c++语言，而phpdbg侧重于调试php语言。下面我们将对phpdbg的一些常用调试功能做下介绍。要调试的代码如下：文件test_phpdbg_inc.php源代码如下：123456<?php function phpdbg_inc_func(){echo "phpdbg_inc_func \n"; } ?>文件test_phpdgb.php的源代码如下：1234567891011121314151617181920212223242526<?phpinclude(dirname(__FILE__)."/test_phpdbg_inc.php"); class demo{ public function __construct(){ echo __METHOD__.":".__LINE__."\n"; } public function func($param){ $param++; echo "method func $param\n"; } public function __destruct(){ echo __METHOD__.":".__LINE__."\n"; } } function func(){ $param = "ali"; $param = $param + "baba"; echo "function func $param\n";}$demo = new demo(); $demo->func(1); func(); phpdbg_inc_func();?>启动phpdbgphpdbg安装成功后，会在安装目录的bin目录下。进入bin目录，直接输入phpdbg即可。如下：12345phpdeg[Welcome to phpdbg, the interactive PHP debugger, v0.4.0]To get help using phpdbg type "help" and press enter[Please report bugs to http://github.com/krakjoe/phpdbg/issues]prompt>要想加载要调试的php脚本，只需要执行exec命令即可。如下：123phpdbg......prompt> exec ./test_phpdbg.php当然我们也可以在启动phpdbg的时候，指定e参数。如下：1phpdbg -e ./test_phpdbg.php查看帮助信息如果你之前使用过其他的调试工具，你会发现phpdbg和他们比较相似。但是，你使用初期，还是会经常需要获取帮助信息。通过help命令我们可以获取帮助信息。123456789......prompt> helpphpdbg is a lightweight, powerful and easy to use debugging platform for PHP5.4+It supports the following commands:Information list list PHP source......设置断点设置断点的命令和gdb一样。都是break，简写形式为b。不过具体的命令参数还是有所差异的。和gdb的断点命令相同之处，它们都可以“按文件名:行号” 或者 行号的方式设置断点。除此之外，phpdbg还提供了一些针对php特有的设置断点的方式。如，根据opline设置断点，根据opcode设置断点等。众所周知，php代码最终是解析成opcode，然后由php内核一条条执行。一条php语句，可能会解析成多条opcode。如果可以按opcode设置断点，我们就可以更精确的跟踪程序执行过程。下面我们来看看phapdbg设置断点的具体示例。按opline设置断点：这里所说的opline，就是以方法入口作为起点，当前代码的行号。如test_phpdgb.php文件中，第18行的代码“$param = $param + “baba”;”的opline就是 2。12345678910111213......prompt> b func#2prompt> rdemo::__construct:5method func 2[Breakpoint #0 resolved at func#2 (opline 0x7f5b230a2e38)][Breakpoint #0 resolved at func#2 (opline 0x7f5b230a2e38)][Breakpoint #0 resolved at func#2 (opline 0x7f5b230a2e38)][Breakpoint #0 in func()#2 at ./test_phpdbg.php:18, hits: 1]00018: $param = $param + "baba"; 00019: echo "function func $param\n";; 00020: }......查看断点和gdb一样，phpdbg也是使用info break命令查看断点。示例如下：123456789101112....prompt> info breakFile Breakpoints:1 /home/hailong.xhl/test_phpdbg.php:10Opline Breakpoints:0 7ff3219e1df0 (function breakpoint)Function opline Breakpoints:0 func opline 2....通过上面的显示，我们可以知道。info break的显示结果中会把断点的类型也给显示出来。#后面的数字是断点号。我们可以根据断点号删除断点。删除断点和gdb命令不一样。phpdbg的删除断点不是delete命令，而是break del 命令。示例如下：12345......prompt> break del 1[Deleted breakpoint #1]prompt>......break del 后面的数字1就是断点号。查看代码phpdbg查看代码的命令也是list。但是和gdb相比，使用的方式更多样一些。显示指定函数的代码：123456789......prompt> l f func 00017: $param = "ali"; 00018: $param = $param + "baba"; 00019: echo "function func $param\n";; 00020: } 00021:prompt>......单步执行phpdbg的单步执行只有一个命令 step。和gdb的step命令差不多。都是一行一行的执行代码。注意，phpdbg是没有next命令的。12345678....prompt> s[Breakpoint #0 resolved at func#2 (opline 0x152ba40)][L19 0x152ba70 ZEND_ADD_STRING C2 @0 ./test_phpdbg.php]00019: echo "function func $param\n";; 00020: } 00021:....继续执行和gdb一样，phpdbg的继续执行命令也是continue，简写形式为c。执行php代码这个是phpdbg的一个特色。可以在调试的过程中使用ev命令执行任意的php代码。如：123456......prompt> ev $var = "val";valprompt> ev var_dump($var);string(3) "val"......可以通过这种方式，在调试过程中动态的修改变量值，查看执行效果。
-
PHP实现多线程抓取网页 PHP实现多线程抓取网页PHP 利用 Curl Functions 可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，受限于php语言本身不支持多线程，所以开发爬虫程序效率并不高，这时候往往需 要借助Curl Multi Functions 它可以实现并发多线程的访问多个url地址。既然 Curl Multi Function如此强大，能否用 Curl Multi Functions 来写 并发多线程下载文件 呢，当然可以，下面给出我的代码：代码1：将获得的代码直接写入某个文件<?php $urls = array( 'http://www.sina.com.cn/', 'http://www.sohu.com/', 'http://www.163.com/' ); // 设置要抓取的页面URL $save_to='/test.txt'; // 把抓取的代码写入该文件 $st = fopen($save_to,"a"); $mh = curl_multi_init(); foreach ($urls as $i => $url) { $conn[$i] = curl_init($url); curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); curl_setopt($conn[$i], CURLOPT_HEADER ,0); curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); curl_setopt($conn[$i], CURLOPT_FILE,$st); // 设置将爬取的代码写入文件 curl_multi_add_handle ($mh,$conn[$i]); } // 初始化 do { curl_multi_exec($mh,$active); } while ($active); // 执行 foreach ($urls as $i => $url) { curl_multi_remove_handle($mh,$conn[$i]); curl_close($conn[$i]); } // 结束清理 curl_multi_close($mh); fclose($st); ?>代码2：将获得的代码先放入变量，再写入某个文件<?php $urls = array( 'http://www.sina.com.cn/', 'http://www.sohu.com/', 'http://www.163.com/' ); $save_to='/test.txt'; // 把抓取的代码写入该文件 $st = fopen($save_to,"a"); $mh = curl_multi_init(); foreach ($urls as $i => $url) { $conn[$i] = curl_init($url); curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); curl_setopt($conn[$i], CURLOPT_HEADER ,0); curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 设置不将爬取代码写到浏览器，而是转化为字符串 curl_multi_add_handle ($mh,$conn[$i]); } do { curl_multi_exec($mh,$active); } while ($active); foreach ($urls as $i => $url) { $data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串 fwrite($st,$data); // 将字符串写入文件。当然，也可以不写入文件，比如存入数据库 } // 获得数据变量，并写入文件 foreach ($urls as $i => $url) { curl_multi_remove_handle($mh,$conn[$i]); curl_close($conn[$i]); } curl_multi_close($mh); fclose($st); ?>
-
curl_init()单线程和curl_multi_init()多线程的速度比较 curl_init()单线程和curl_multi_init()多线程的速度比较php中curl_init()的作用很大，尤其是在抓取网页内容或文件信息的时候，例如之前文章curl获得header检测GZip压缩的源代码就介绍到curl_init()的强大。curl_init()处理事物是单线程模式，如果需要对事务处理走多线程模式，那么php里提供了一个函数curl_multi_init()给我们，这就是多线程模式处理事务的函数。curl_init()与curl_multi_init()的速度比较curl_multi_init()多线程能提高网页的处理速度吗？今天我通过实验来验证一下这个问题。今天我的测试很简单，那就是要抓取www.webkaka.com网页的内容，要连续抓5次，分别用curl_init()和curl_multi_init()函数来完成，记录两者的耗时，比较得出结论。首先，用curl_init()单线程连续抓5次www.webkaka.com网页的内容。程序代码如下：echo date('Y-m-d H:m:s',time());echo ' ';echo floor(microtime()*1000);echo '';$mtime = explode(' ', microtime());$mtime = $mtime[1].($mtime[0] * 1000);$mtime2 = explode('.', $mtime);$mtime = $mtime2[0];echo $mtime;echo '';$urls = array('http://www.webkaka.com','http://www.webkaka.com','http://www.webkaka.com','http://www.webkaka.com','http://www.webkaka.com');print_r(async_get_url($urls)); // [0] => example1, [1] => example2echo '';echo date('Y-m-d H:m:s',time());echo ' ';echo floor(microtime()*1000);echo '';$mtime_ = explode(' ', microtime());$mtime_ = $mtime_[1].($mtime_[0] * 1000);$mtime2_ = explode('.', $mtime_);$mtime_ = $mtime2_[0];echo $mtime_;echo '';echo $mtime_ - $mtime;function async_get_url($url_array, $wait_usec = 0){if (!is_array($url_array))return false;$wait_usec = intval($wait_usec);$data = array();$handle = array();$running = 0;$mh = curl_multi_init(); // multi curl handler$i = 0;foreach($url_array as $url) {$ch = curl_init();curl_setopt($ch, CURLOPT_URL, $url);curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't printcurl_setopt($ch, CURLOPT_TIMEOUT, 30);curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirectcurl_setopt($ch, CURLOPT_MAXREDIRS, 7);curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里$handle[$i++] = $ch;}do {curl_multi_exec($mh, $running);if ($wait_usec > 0)usleep($wait_usec); // 250000 = 0.25 sec} while ($running > 0);foreach($handle as $i => $ch) {$content = curl_multi_getcontent($ch);$data[$i] = (curl_errno($ch) == 0) ? $content : false;}foreach($handle as $ch) {curl_multi_remove_handle($mh, $ch);}curl_multi_close($mh);return $data;}为了避免随机性，我分别测了5次（用CTRL+F5强行刷新的方式），数据如下：curl_init()：第一次 第二次第三次 第四次 第五次 平均 耗时(ms) 3724 3615 2540 1957 2794 2926 curl_multi_init()：第一次 第二次 第三次 第四次 第五次 平均 耗时(ms) 4275 2912 3691 4198 3891 3793 从测试结果来看，我们发现两种方法的耗时差不了太多，只有700多毫秒。很多人原本以为多线程比单线程耗时会短很多，实际上并不是这样的，从数据来看，多线程反而比单线程耗时更多了一点。不过，对于某些事务来说，用多线程来处理不一定是为了追求速度，这个是需要注意的。关于curl_multi_init()一般来说，想到要用curl_multi_init()时，目的是要同时请求多个url，而不是一个一个依次请求，否则就要curl_init()了。不过，在使用curl_multi的时候，你可能遇到cpu消耗过高、网页假死等现象，可以看看如何解决curl_multi导致网页假死的问题使用curl_multi的步骤总结如下：第一步：调用curl_multi_init第二步：循环调用curl_multi_add_handle这一步需要注意的是，curl_multi_add_handle的第二个参数是由curl_init而来的子handle。第三步：持续调用curl_multi_exec第四步：根据需要循环调用curl_multi_getcontent获取结果第五步：调用curl_multi_remove_handle，并为每个字handle调用curl_close第六步：调用curl_multi_close各函数作用解释：curl_multi_init()初始化一个curl批处理句柄资源。curl_multi_add_handle()向curl批处理会话中添加单独的curl句柄资源。curl_multi_add_handle()函数有两个参数，第一个参数表示一个curl批处理句柄资源，第二个参数表示一个单独的curl句柄资源。curl_multi_exec()解析一个curl批处理句柄，curl_multi_exec()函数有两个参数，第一个参数表示一个批处理句柄资源，第二个参数是一个引用值的参数，表示剩余需要处理的单个的curl句柄资源数量。curl_multi_remove_handle()移除curl批处理句柄资源中的某个句柄资源，curl_multi_remove_handle()函数有两个参数，第一个参数表示一个curl批处理句柄资源，第二个参数表示一个单独的curl句柄资源。curl_multi_close()关闭一个批处理句柄资源。curl_multi_getcontent()在设置了CURLOPT_RETURNTRANSFER的情况下，返回获取的输出的文本流。curl_multi_info_read()获取当前解析的curl的相关传输信息。实例请看本文里async_get_url()的写法。
-
