首页
关于
Search
1
给你10个市场数据调研报告的免费下载网站!以后竞品数据就从这里找!
140 阅读
2
php接口优化 使用curl_multi_init批量请求
131 阅读
3
2024年备考系统架构设计师
102 阅读
4
《从菜鸟到大师之路 ElasticSearch 篇》
102 阅读
5
PHP 文件I/O
89 阅读
php
thinkphp
laravel
工具
开源
mysql
数据结构
总结
思维逻辑
令人感动的创富故事
读书笔记
前端
vue
js
css
书籍
开源之旅
架构
消息队列
docker
教程
代码片段
redis
服务器
nginx
linux
科普
java
c
ElasticSearch
测试
php进阶
php基础
登录
Search
标签搜索
php函数
php语法
性能优化
安全
错误和异常处理
问题
vue
Composer
Session
缓存
框架
Swoole
api
并发
异步
正则表达式
php-fpm
mysql 索引
开发规范
协程
dafenqi
累计撰写
785
篇文章
累计收到
8
条评论
首页
栏目
php
thinkphp
laravel
工具
开源
mysql
数据结构
总结
思维逻辑
令人感动的创富故事
读书笔记
前端
vue
js
css
书籍
开源之旅
架构
消息队列
docker
教程
代码片段
副业
redis
服务器
nginx
linux
科普
java
c
ElasticSearch
测试
php进阶
php基础
页面
关于
搜索到
785
篇与
的结果
2023-08-12
PHP curl 携带cookie请求抓取源码,模拟登陆
PHP curl 携带cookie请求抓取源码,模拟登陆function request_url_data($data) #获取保存COOKIE { $cookieSuccess = __DIR__."/cookie.txt";#cookie保存文件地址 $data['user'] = '用户名'; $data['pwd'] = '密码'; $requesturl = 'http://GET登陆提交地址?'.http_build_query($data); $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $requesturl); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieSuccess); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); $data=curl_exec($ch); curl_close($ch); return $data; } function get_list($requesturl)#携带COOKIE请求获取登陆后的内容 { $cookieSuccess = __DIR__."/cookie.txt"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $requesturl); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_COOKIEFILE, $cookieSuccess); //使用上面获取的cookies curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); // https请求 不验证证书和hosts curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); $data=curl_exec($ch); curl_close($ch); return $data; }
2023年08月12日
13 阅读
0 评论
0 点赞
2023-08-12
使用phpunit进行单元测试
使用phpunit进行单元测试本教程假定您使用 PHP 8.1 或 PHP 8.2。您将学习如何编写简单的单元测试以及如何下载和运行 PHPUnit.PHPUnit 10 的文档 在这。下载:可以用以下2种方法之一:1.PHP 存档 (PHAR)我们分发了一个 PHP存档(PHAR),其中包含使用PHPUnit 10所需的一切 。只需从这里 下载 并使其可执行:wget -O phpunit https://phar.phpunit.de/phpunit-10.phar ➜ chmod +x phpunit ➜ ./phpunit --version PHPUnit 10.0.0 by Sebastian Bergmann and contributors.2.Composer您可以使用 Composer 将 PHPUnit 作为本地、每个项目、开发时依赖项添加到您的项目中:➜ composer require --dev phpunit/phpunit ^10 ➜ ./vendor/bin/phpunit --version PHPUnit 10.0.0 by Sebastian Bergmann and contributors.上面显示的示例假定composer在您的$PATH上。您的 composer.json 应该看起来像这样:{ "autoload": { "classmap": [ "src/" ] }, "require-dev": { "phpunit/phpunit": "^10" } }代码src/Email.php<?php declare(strict_types=1); final class Email { private string $email; private function __construct(string $email) { $this->ensureIsValidEmail($email); $this->email = $email; } public static function fromString(string $email): self { return new self($email); } public function asString(): string { return $this->email; } private function ensureIsValidEmail(string $email): void { if (!filter_var($email, FILTER_VALIDATE_EMAIL)) { throw new InvalidArgumentException( sprintf( '"%s" is not a valid email address', $email ) ); } } }测试代码tests/EmailTest.php<?php declare(strict_types=1); use PHPUnit\Framework\TestCase; final class EmailTest extends TestCase { public function testCanBeCreatedFromValidEmail(): void { $string = 'user@example.com'; $email = Email::fromString($string); $this->assertSame($string, $email->asString()); } public function testCannotBeCreatedFromInvalidEmail(): void { $this->expectException(InvalidArgumentException::class); Email::fromString('invalid'); } }测试执行:以下2种方法都可以:1.PHP 存档 (PHAR)➜ ./phpunit --bootstrap src/autoload.php tests PHPUnit 10.0.0 by Sebastian Bergmann and contributors. .. 2 / 2 (100%) Time: 70 ms, Memory: 10.00MB OK (2 tests, 2 assertions)上面假设你已经下载了phpunit.phar并将其作为phpunit放入你的$PATH,并且src/autoload.php 是一个为要测试的类设置自动加载 的脚本。这样的脚本通常使用 phpab 等工具生成。--bootstrap src/autoload.php指示 PHPUnit 命令行测试运行程序在运行测试之前包含src/autoload.php.tests 指示 PHPUnit 命令行测试运行程序执行在 tests 目录的 *Test.php 源代码文件中声明的所有测试.2.Composer➜ ./vendor/bin/phpunit tests PHPUnit 10.0.0 by Sebastian Bergmann and contributors. .. 2 / 2 (100%) Time: 70 ms, Memory: 10.00MB OK (2 tests, 2 assertions)上面假设 vendor/autoload.php(由 Composer 管理的自动加载器脚本)存在,并且能够加载 Email 类的代码。根据设置自动加载的方式,您可能需要立即运行composer dump-autoload。tests 指示 PHPUnit 命令行测试运行程序执行在 tests 目录的 Test.php 源代码文件中声明的所有测试.一些测试组件推荐:https://packagist.org/packages/mockery/mockeryphpunit/phpunitfakerphp/fakerhttps://github.com/phpstan/phpstanvimeo/psalmmikey179/vfsstreamrector/rector引用declare和strict_typesps:declare(strict_types=1);严格类型默认情况下,如果能做到的话,PHP将会强迫错误类型的值转为函数期望的标量类型。例如,一个函数的一个参数期望是string,但传入的是integer,最终函数得到的将会是一个string类型的值。可以基于每一个文件开启严格模式。在严格模式中,只有一个与类型声明完全相符的变量才会被接受,否则将会抛出一个TypeError。 唯一的一个例外是可以将integer传给一个期望float的函数。使用 declare 语句和strict_types 声明来启用严格模式https://blog.csdn.net/joshua317/article/details/121252625assertsame使用运算符检查身份报告由 if 标识的错误,如果两个变量的类型和值不同 或者 两个变量不引用同一对象 报错https://docs.phpunit.de/en/10.1/assertions.html#assertsame
2023年08月12日
16 阅读
0 评论
0 点赞
2023-08-12
把php项目静态编译为二进制发行版
把php项目静态编译为二进制发行版Swoole-Cli 或静态编译PHP 是一个 PHP 的二进制发行版,集成了 swoole、php 内核、php-cli、php-fpm以及多个常用扩展。Swoole-Cli 或静态编译PHP 是全部静态编译打包的,不依赖任何操作系统的so动态链接库,具备非常好的移植性,可以在任意 Linux 系统之间复制,下载即可使用。静态编译无依赖swoole-cli或静态编译PHP 会全部使用静态编译连接方式,libc和libstdc++使用musl,并会包含openssl和curl库和扩展。用户可修改构建脚本添加其他更多三方扩展。使得 Swoole 或PHP程序不再依赖任何系统的so,可在任意Linux系统之间复制分发运行。静态编译是一项比较多见于 Golang 的编译方式,在传统的 Linux 系统下,正常的程序和库基本是动态编译链接(Dynamically linked)的,也就是说,不同程序引用同样的库可以共用,减少资源重复。相关参考{https://zhuanlan.zhihu.com/p/581695339https://zhuanlan.zhihu.com/p/459983471https://www.workerman.net/q/10098https://www.workerman.net/q/10099}项目来源https://github.com/crazywhalecc/static-php-clihttps://github.com/dixyes/phpmicrohttps://github.com/walkor/static-php-clihttps://github.com/crazywhalecc/php-cli-helperPHP静态编译版本下载webman官方提供了一些PHP静态编译版本,就是无需部署PHP环境,就可以独立运行。下载地址 https://www.workerman.net/download各种二进制的资源库https://dl.zhamao.xin/php-bin/file/Swoole-cli下载https://www.swoole.com/download
2023年08月12日
47 阅读
0 评论
0 点赞
2023-08-12
PHP多进程开发[快问快答系列]
PHP多进程开发 快问快答系列 介绍一些简单命令echo $$ //输出当前bash进程strace -s 65500 -p 进程号 //打印进程系统调用kill -s 10 pid //发送信号kill -s SIGUSR2 pid //发送信号pstree -ap //查看进程树ps -ajx //查看进程信息ps 命令字段解析:PPID:父进程IDPID:进程IDPGID:进程组IDSID:会话IDTTY:所在终端STAT:进程状态 R运行 Z僵尸 S睡眠 T停止 D睡眠无法被唤醒UID:unix用户IDCOMMAND:启动命令什么是程序?一般指可执行文件,在 Linux 系统中它按 ELF 格式进行存储,没有后缀可言,file 命令可以查看 elf 文件的具体类型ELF 全程 Executable Linkable Format 可执行可链接格式ELF 分为四大种类EXEC 可执行文件REL 可重定位文件,也称为静态库文件,链接器链接之后成为动态库文件,比如 event.so sockets.so curl.soShared Object File 共享目标文件core dump 存储进程产生的异常信息可通过 objdump/readelf 命令查看 ELF 文件相关信息什么是终端?tty 物理终端tty 是最令人熟悉的了,在 Linux 中,/dev/ttyX 代表的都是上述的物理终端,其中,/dev/tty1~/dev/tty63 代表的是本地终端,也就是接到本机的键盘显示器可以操作的终端/dev/console 当前焦点终端pts 伪终端通过 tcp/ip 协议实现的终端,比如用 SSH 进行的登录,或者 telnet, 那么你将得到一个叫做 /dev/pts/X 的伪终端同时在/proc/bash pid/fd 生成三个标识符指向当前的 /dev/pts/X0 标准输入 鼠标,键盘1 标准输出 显示器2 标准错误 显示器什么是进程?进程退出运行到最后一行语句运行时遇到 return 时运行时遇到 exit () 函数的时候程序异常的时候进程接收到中断信号进程结束时并不会真的退出,还会驻留在内在中,pcntl_wait (pcntl_waitpid) 函数来获取进程的终止状态码同时该函数会释放终止进程的内存空间,如果不这么做,会产生很多僵尸进程占用大量的内存空间孤儿进程父进程运行完,子进程在运行,则子进程会被头号进程 init 接管,这类型的进程成为孤儿进程僵尸进程子进程运行完,父进程没有调用 pcntl_wait () 回收,进程状态变成 Z+守护进程父进程是 init 进程,一般在系统启动时开始运行,除非强行终止,否则直到系统关机都保持运行。守护进程经常以超级用户(root)权限运行,因为它们要使用特殊的端口(1-1024)或访问某些特殊的资源。什么是进程组?多个进程组成一个进程组,每个进程组只有一个组长,组长的 PID 就是进程组的 ID;组内所有进程退出时,进程组才会消失,可以通过 ps -ajx 命令查看 pgid什么是会话?多个进程组组成一个会话,每个会话都有一个会话首进程。会话的特点1) 使用 setsid () 函数可以创建一个新的会话2) 会话首进程无法调用 setsid,会报错3) 非会话首进程进程可调用 setsid 创建出一个新的会话,这个行为会导致该进程会创建一个新的进程组且自身为该进程组组长,该进程会创建出一个新的会话组且自身为该会话组组长,该进程会脱离当前命令行控制终端现实上的比喻就是除了老板之后,员工都可以调用 我上我也行 () 这个函数变成老板且不受原公司的控制什么是信号?信号是进程间通信的其中一种方式,平时用到的 kill -9 pid, 指的不是用第九种方式杀死进程,而是发送信号值为 9 的信号给进程,而刚好信号 9 是 SIGKILL, 功能是停止进程,查看操作系统支持的信号命令: kill -l一般使用 1-31, 注意看没有 32,33 这两个信号信号的产生来源可能是:键盘上按了 Ctrl+C 会产生 SIGINT 信号,关闭终端会产生 SIGHUP 信号硬件也能产生信号使用 kill 命令软件产生,比如在管道里当一侧准备写管道时可能会产生 SIGPIPE 信号当一个进程收到一个信号时,三个可选操作操作系统默认的方式,比如 SIGKILL 就是杀死进程忽略掉这个信号,pcntl_signal (SIGKILL, SIG_IGN, false); 进程收到 SIGKILL 命令时将不为所动有自己的想法,pcntl_signal (SIGKILL, function ($signal){// 自己的想法}, false); 这样将会触发自定义回调pcntl_signal () 信号处理器是会被子进程继承的,所以 fork () 之前最后先行处理信号处理器posix 命令//需要安装posix扩展posix_getpid(); //获取进程IDposix_getppid();//获取父进程IDposix_getpgid(posix_getppid());//获取进程组IDposix_getpgrp());//同上posix_getsid(posix_getpid()));//获取会话IDposix_getuid();//获取当前登录用户UIDposix_getgid();//获取当前登录用户组UIDposix_geteuid();//获取当前有效用户UIDposix_getguid();//获取当前有效用户组UIDposix_kill();//发送信号pcntl 命令//创建一个计时器,在指定的秒数后向进程发送一个SIGALRM信号。每次对 pcntl_alarm()的调用都会取消之前设置的alarm信号。如果seconds设置为0,将不会创建alarm信号。 pcntl_alarm(int $seconds);//在当前进程当前位置产生子进程,子进程会复制父进程的代码段和数据段(Copy on write 写时复制,当子进程要修改内存空间时,操作系统会分配新的内存给子进程),ELF文件的结构,如果父进程先退出,子进程变成孤儿进程,被pid=1进程接管pcntl_fork();//安装一个信号处理器pcntl_signal(int $signo, callback $handler);//调用等待信号的处理器,触发全部未执行的信号回调pcntl_signal_dispatch()//设置或检索阻塞信号pcntl_sigprocmask(int $how, array $set[, array &$oldset])//等待或返回fork的子进程状态,wait函数挂起当前进程的执行直到一个子进程退出或接收到一个信号要求中断当前进程或调用一个信号处理函数。用此函数时已经退出(俗称僵尸进程),此函数立刻返回。子进程使用的所有系统资源将被释放。pcntl_wait($status)//加个WNOHANG参数,不挂起父进程,如果没有子进程退出返回0,如果有子进程退出返回子进程pid,如果返回-1表示父进程已经没有子进程pcntl_wait($status, WNOHANG)//基本同pcntl_wait,waitpid可以指定子进程idpcntl_waitpid ($pid ,$status)pcntl_waitpid ($pid ,$status, WNOHANG)//检查状态代码是否代表一个正常的退出。参数 status 是提供给成功调用 pcntl_waitpid() 时的状态参数。pcntl_wifexited($status)//返回一个中断的子进程的返回代码 当php exit(10)时,这个函数返回10,这个函数仅在函数pcntl_wifexited()返回 TRUE.时有效pcntl_wexitstatus($status)//检查子进程状态码是否代表由于某个信号而中断。参数 status 是提供给成功调用 pcntl_waitpid() 时的状态参数。pcntl_wifsignaled($status)//返回导致子进程中断的信号pcntl_wtermsig($status)//检查子进程当前是否已经停止,此函数只有作用于pcntl_wait使用了WUNTRACED作为 option的时候pcntl_wifstopped($status)//返回导致子进程停止的信号pcntl_wstopsig($status)//检索由最后一个失败的pcntl函数设置的错误数pcntl_errno() pcntl_get_last_error()//检索与给定errno关联的系统错误消息pcntl_strerror(pcntl_errno())pcntl_fork () 执行之前先与 Redis 建立一个连接,然后再开 3 个子进程之后多少个 Redis 连接?<?php$o_redis = new Redis();$o_redis->connect( '127.0.0.1', 6379 );// 使用for循环搞出3个子进程来for ( $i = 1; $i <= 3; $i++ ) { $i_pid = pcntl_fork(); if ( 0 == $i_pid ) {// 使用while保证三个子进程不会退出... while( true ) { sleep( 1 ); }}}// 使用while保证主进程不会退出...while( true ) { sleep( 1 );}netstat -ant |grep 6379说明父进程和三个子进程一共四个进程,实际上共享了一个 Redis 长连接上面这种写法会有什么问题?因为 Redis 是一个单进程单线程的服务器,所以接收到的命令都是顺序执行顺序返回的,所以当客户端多个进程共享一个 redis 连接时,当有四个进程向 Redis 服务端发起请求,返回四个结果,谁先抢到就是谁的,正确的做法是每个子进程创建一个 Redis 连接,或者用连接池孤儿进程怎么产生?$i_pid = pcntl_fork();if (0 == $i_pid) {// 子进程10秒钟后退出. for ($i = 1; $i <= 10; $i++) { sleep(1); echo "我的父进程是:" . posix_getppid() . PHP_EOL; }} else if ($i_pid > 0) {// 父进程休眠2s后退出. sleep(2);}僵尸进程怎么产生?$i_pid = pcntl_fork();if (0 == $i_pid) {// 子进程10s后退出,变成僵尸进程 sleep(10);} else if ($i_pid > 0) {// 父进程休眠1000s后退出. sleep(1000);}子进程怎么回收?$i_pid = pcntl_fork();if (0 == $i_pid) {// 在子进程中 for ($i = 1; $i <= 10; $i++) { sleep(1); echo "子进程PID " . posix_getpid() . "倒计时 : " . $i . PHP_EOL; }} else if ($i_pid > 0) {$i_ret = pcntl_wait($status); echo $i_ret . ' : ' . $status . PHP_EOL; // while保持父进程不退出 while (true) { sleep(1); }}子进程怎么回收?非阻塞版本<?php// fork出十个子进程for ($i = 1; $i <= 10; $i++) {$i_pid = pcntl_fork(); // 每个子进程随机运行1-5秒钟 if (0 == $i_pid) { $i_rand_time = mt_rand(1, 5); sleep($i_rand_time); exit; } // 父进程收集所有子进程PID else if ($i_pid > 0) { }}while (true) {// sleep使父进程不会因while导致CPU爆炸. sleep(1); //设置WNOHANG参数不会阻塞,就是需要外层包个循环 $pid = pcntl_wait($status, WNOHANG); if ($pid == 0) { //目前还没有结束的子进程 continue; } if ($pid == -1) { //已经结束啦 很蓝的啦 exit("所有进程均已终止" . PHP_EOL); } // 如果子进程是正常结束 if (pcntl_wifexited($status)) { // 获取子进程结束时候的 返回错误码 $i_code = pcntl_wexitstatus($status); echo $pid . "正常结束,最终返回:" . $i_code . PHP_EOL; } // 如果子进程是被信号终止 if (pcntl_wifsignaled($status)) { // 获取是哪个信号终止的该进程 $i_signal = pcntl_wtermsig($status); echo $pid . "由信号结束,信号为:" . $i_signal . PHP_EOL; } // 如果子进程是[临时挂起] if (pcntl_wifstopped($status)) { // 获取是哪个信号让他挂起 $i_signal = pcntl_wstopsig($status); echo $pid . "被挂起,挂起信号为:" . $i_signal . PHP_EOL; }}如何创建守护进程?$pid = pcntl_fork();if ($pid > 0) { //1)在父进程中执行fork并exit推出exit();} elseif ($pid == 0) {if (posix_setsid() < 0) { //2)在子进程中调用setsid函数创建新的会话 exit(); } chdir('/'); //3)在子进程中调用chdir函数,让根目录 ” / ” 成为子进程的工作目录 umask(0); //4)在子进程中调用umask函数,设置进程的umask为0 echo "create success, pid = " . posix_getpid(); //5)在子进程中关闭任何不需要的文件描述符 fclose(STDIN); fclose(STDOUT); fclose(STDERR);}//可以把上面封装成函数daemon();while (true) {} //具体业务如何修改进程名?for ($i = 1; $i <= 4; $i++) {$i_pid = pcntl_fork(); if (0 == $i_pid) { //子进程 cli_set_process_title("Worker Process"); //修改子进程的名字 while (true) { sleep(1); } }}cli_set_process_title("Master Process"); //修改父进程的名字while (true) {sleep(1);}进程怎么接收信号?// 信号处理回调function signal_handler($signal){switch ($signal) { case SIGTERM: echo "sigterm信号." . PHP_EOL; break; case SIGUSR2: echo "sigusr2信号." . PHP_EOL; break; case SIGUSR1: echo "sigusr1信号." . PHP_EOL; break; default: echo "其他信号." . PHP_EOL; }}// 给进程安装3个信号处理回调pcntl_signal(SIGTERM, "signal_handler");pcntl_signal(SIGUSR1, "signal_handler");pcntl_signal(SIGUSR2, "signal_handler");while (true) {posix_kill(posix_getpid(), SIGUSR1);//发送一个信号给当前进程 posix_kill(posix_getpid(), SIGUSR1); pcntl_signal_dispatch(); //调一次分发一次信号,调用之前,信号累积在队列里 posix_kill(posix_getpid(), SIGUSR2); posix_kill(posix_getpid(), SIGUSR2); sleep(1); //稍微休息一下}其中第 1,2 行与第 3,4,5,6 行中间隔了一秒,体会一下 pcntl_signal_dispatch 这个函数进程怎么接收信号 (不阻塞版本)?//php7.1及以上才能用这个函数pcntl_async_signals(true);// 信号处理回调function signal_handler($signal){switch ($signal) { case SIGTERM: echo "sigterm信号." . PHP_EOL; break; case SIGUSR2: echo "sigusr2信号." . PHP_EOL; break; case SIGUSR1: echo "sigusr1信号." . PHP_EOL; break; default: echo "其他信号." . PHP_EOL; }}// 给进程安装信号...pcntl_signal(SIGTERM, "signal_handler");pcntl_signal(SIGUSR1, "signal_handler");pcntl_signal(SIGUSR2, "signal_handler");while (true) {posix_kill(posix_getpid(), SIGUSR1);//发送一个信号给当前进程 posix_kill(posix_getpid(), SIGUSR2); sleep(1); //稍微休息一下}进程怎么阻塞信号pcntl_async_signals(true);// 信号处理回调function signal_handler($signal){switch ($signal) { case SIGTERM: echo "sigterm信号." . PHP_EOL; break; case SIGUSR2: echo "sigusr2信号." . PHP_EOL; break; case SIGUSR1: echo "sigusr1信号." . PHP_EOL; break; default: echo "其他信号." . PHP_EOL; }}// 给进程安装信号...pcntl_signal(SIGTERM, "signal_handler");pcntl_signal(SIGUSR1, "signal_handler");pcntl_signal(SIGUSR2, "signal_handler");//把SIGUSR1阻塞,收到这个信号先不处理pcntl_sigprocmask(SIG_BLOCK, [SIGUSR1], $a_oldset);$counter = 0;while (true) {posix_kill(posix_getpid(), SIGUSR1);//发送一个信号给当前进程 posix_kill(posix_getpid(), SIGUSR2); sleep(1); //稍微休息一下 if ($counter++ == 5) { //解除SIGUSR1信号阻塞,并立刻执行SIGUSR1处理回调函数 pcntl_sigprocmask(SIG_UNBLOCK, [SIGUSR1], $a_oldset); }}
2023年08月12日
24 阅读
0 评论
0 点赞
2023-08-12
MySQL 慢查询分析工具~pt-query-digest 详解
MySQL 慢查询分析工具~pt-query-digest 详解介绍pt-query-digest 是用于分析 mysql 慢查询的一个工具,它可以分析 binlog、general log、slowlog,也可以通过 SHOW PROCESSLIST 或者通过 tcpdump 抓取的 MySQL 协议数据来进行分析。可以把分析结果输出到文件中,分析过程是先对查询语句的条件进行参数化,然后对参数化以后的查询进行分组统计,统计出各查询的执行时间、次数、占比等,可以借助分析结果找出问题进行优化。安装(yum 安装)yum install perl-DBIyum install perl-DBD-MySQLyum install perl-Time-HiResyum install perl-IO-Socket-SSLwget percona.com/get/pt-query-digestchmod u+x pt-query-digestmv pt-query-digest /usr/bin/语法pt-query-digest [OPTIONS] [FILES] [DSN]--create-review-table 当使用 --review 参数把分析结果输出到表中时,如果没有表就自动创建。--create-history-table 当使用 --history 参数把分析结果输出到表中时,如果没有表就自动创建。--filter 对输入的慢查询按指定的字符串进行匹配过滤后再进行分析。--limit 限制输出结果百分比或数量,默认值是 20, 即将最慢的 20 条语句输出,如果是 50% 则按总响应时间占比从大到小排序,输出到总和达到 50% 位置截止。--host mysql 服务器地址--user mysql 用户名--password mysql 用户密码--history 将分析结果保存到表中,分析结果比较详细,下次再使用 --history 时,如果存在相同的语句,且查询所在的时间区间和历史表中的不同,则会记录到数据表中,可以通过查询同一 CHECKSUM 来比较某类型查询的历史变化。--review 将分析结果保存到表中,这个分析只是对查询条件进行参数化,一个类型的查询一条记录,比较简单。当下次使用 --review 时,如果存在相同的语句分析,就不会记录到数据表中。--output 分析结果输出类型,值可以是 report (标准分析报告)、slowlog (Mysql slow log)、json、json-anon,一般使用 report,以便于阅读。--since 从什么时间开始分析,值为字符串,可以是指定的某个”yyyy-mm-dd [hh:mm:ss]” 格式的时间点,也可以是简单的一个时间值:s (秒)、h (小时)、m (分钟)、d (天),如 12h 就表示从 12 小时前开始统计。--until 截止时间,配合 —since 可以分析一段时间内的慢查询。分析 pt-query-digest 输出结果第一部分:总体统计结果Overall:总共有多少条查询Time range:查询执行的时间范围unique:唯一查询数量,即对查询条件进行参数化以后,总共有多少个不同的查询total:总计 min:最小 max:最大 avg:平均95%:把所有值从小到大排列,位置位于 95% 的那个数,这个数一般最具有参考价值median:中位数,把所有值从小到大排列,位置位于中间那个数该工具执行日志分析的用户时间,系统时间,物理内存占用大小,虚拟内存占用大小340ms user time, 140ms system time, 23.99M rss, 203.11M vsz工具执行时间Current date: Fri Nov 25 02:37:18 2016运行分析工具的主机名Hostname: localhost.localdomain被分析的文件名Files: slow.log语句总数量,唯一的语句数量,QPS,并发数Overall: 2 total, 2 unique, 0.01 QPS, 0.01x concurrency __日志记录的时间范围Time range: 2016-11-22 06:06:18 to 06:11:40属性 总计 最小 最大 平均 95% 标准 中等Attribute total min max avg 95% stddev median============ ======= ======= ======= ======= ======= ======= =======语句执行时间Exec time 3s 640ms 2s 1s 2s 999ms 1s锁占用时间Lock time 1ms 0 1ms 723us 1ms 1ms 723us发送到客户端的行数Rows sent 5 1 4 2.50 4 2.12 2.50select语句扫描行数Rows examine 186.17k 0 186.17k 93.09k 186.17k 131.64k 93.09k查询的字符数Query size 455 15 440 227.50 440 300.52 227.50第二部分:查询分组统计结果Rank:所有语句的排名,默认按查询时间降序排列,通过 --order-by 指定Query ID:语句的 ID,(去掉多余空格和文本字符,计算 hash 值)Response:总的响应时间time:该查询在本次分析中总的时间占比calls:执行次数,即本次分析总共有多少条这种类型的查询语句R/Call:平均每次执行的响应时间V/M:响应时间 Variance-to-mean 的比率Item:查询对象ProfileRank Query ID Response time Calls R/Call V/M Item==== ================== ============= ===== ====== ===== ===============1 0xF9A57DD5A41825CA 2.0529 76.2% 1 2.0529 0.00 SELECT2 0x4194D8F83F4F9365 0.6401 23.8% 1 0.6401 0.00 SELECT wx_member_base第三部分:每一种查询的详细统计结果由下面查询的详细统计结果,最上面的表格列出了执行次数、最大、最小、平均、95% 等各项目的统计。ID:查询的 ID 号,和上图的 Query ID 对应Databases:数据库名Users:各个用户执行的次数(占比)Query_time distribution :查询时间分布,长短体现区间占比,本例中 1s-10s 之间查询数量是 10s 以上的两倍。Tables:查询中涉及到的表Explain:SQL 语句Query 1: 0 QPS, 0x concurrency, ID 0xF9A57DD5A41825CA at byte 802 __This item is included in the report because it matches --limit.Scores: V/M = 0.00Time range: all events occurred at 2016-11-22 06:11:40Attribute pct total min max avg 95% stddev median============ === ======= ======= ======= ======= ======= ======= =======Count 50 1Exec time 76 2s 2s 2s 2s 2s 0 2sLock time 0 0 0 0 0 0 0 0Rows sent 20 1 1 1 1 1 0 1Rows examine 0 0 0 0 0 0 0 0Query size 3 15 15 15 15 15 0 15String:Databases testHosts 192.168.8.1Users mysqlQuery_time distribution1us10us100us1ms10ms100ms1s10s+EXPLAIN /!50100 PARTITIONS/select sleep(2)\G使用例子1.直接分析慢查询文件pt-query-digest slow.log > slow_report.log2.分析最近12小时内的查询pt-query-digest --since=12h slow.log > slow_report2.log3.分析指定时间范围内的查询pt-query-digest slow.log --since '2020-01-07 09:30:00' --until '2020-01-07 10:00:00'> > slow_report3.log3.分析指含有select语句的慢查询pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' slow.log> slow_report4.log4.分析最近12小时内的查询pt-query-digest --since=12h slow.log > slow_report2.log5.针对某个用户的慢查询pt-query-digest --filter '($event->{user} || "") =~ m/^root/i' slow.log> slow_report5.log6.查询所有所有的全表扫描或full join的慢查询pt-query-digest --filter '(($event->{Full_scan} || "") eq "yes") ||(($event->{Full_join} || "") eq "yes")' slow.log> slow_report6.log7.把查询保存到query_review表pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_review--create-review-table slow.log8.把查询保存到query_history表pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_0001pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_00029.通过tcpdump抓取mysql的tcp协议数据,然后再分析tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txtpt-query-digest --type tcpdump mysql.tcp.txt> slow_report9.log10.分析binlogmysqlbinlog mysql-bin.000093 > mysql-bin000093.sqlpt-query-digest --type=binlog mysql-bin000093.sql > slow_report10.log11.分析general logpt-query-digest --type=genlog localhost.log > slow_report11.log安装遇到的问题问题:[root@vipstone bin]# pt-query-digest /usr/local/mysql/data/slow.logCan't locate Digest/MD5.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at /usr/local/bin/pt-query-digest line 2470.BEGIN failed--compilation aborted at /usr/local/bin/pt-query-digest line 2470.解决:yum -y install perl-Digest-MD5
2023年08月12日
13 阅读
0 评论
0 点赞
1
...
76
77
78
...
157