把php项目静态编译为二进制发行版 把php项目静态编译为二进制发行版Swoole-Cli 或静态编译PHP 是一个 PHP 的二进制发行版，集成了 swoole、php 内核、php-cli、php-fpm以及多个常用扩展。Swoole-Cli 或静态编译PHP 是全部静态编译打包的，不依赖任何操作系统的so动态链接库，具备非常好的移植性，可以在任意 Linux 系统之间复制，下载即可使用。静态编译无依赖swoole-cli或静态编译PHP 会全部使用静态编译连接方式，libc和libstdc++使用musl，并会包含openssl和curl库和扩展。用户可修改构建脚本添加其他更多三方扩展。使得 Swoole 或PHP程序不再依赖任何系统的so，可在任意Linux系统之间复制分发运行。静态编译是一项比较多见于 Golang 的编译方式，在传统的 Linux 系统下，正常的程序和库基本是动态编译链接（Dynamically linked）的，也就是说，不同程序引用同样的库可以共用，减少资源重复。相关参考{https://zhuanlan.zhihu.com/p/581695339https://zhuanlan.zhihu.com/p/459983471https://www.workerman.net/q/10098https://www.workerman.net/q/10099}项目来源https://github.com/crazywhalecc/static-php-clihttps://github.com/dixyes/phpmicrohttps://github.com/walkor/static-php-clihttps://github.com/crazywhalecc/php-cli-helperPHP静态编译版本下载webman官方提供了一些PHP静态编译版本，就是无需部署PHP环境，就可以独立运行。下载地址 https://www.workerman.net/download各种二进制的资源库https://dl.zhamao.xin/php-bin/file/Swoole-cli下载https://www.swoole.com/download

PHP多进程开发[快问快答系列] PHP多进程开发 快问快答系列 介绍一些简单命令echo $$ //输出当前bash进程strace -s 65500 -p 进程号 //打印进程系统调用kill -s 10 pid //发送信号kill -s SIGUSR2 pid //发送信号pstree -ap //查看进程树ps -ajx //查看进程信息ps 命令字段解析:PPID:父进程IDPID:进程IDPGID:进程组IDSID:会话IDTTY:所在终端STAT:进程状态 R运行 Z僵尸 S睡眠 T停止 D睡眠无法被唤醒UID:unix用户IDCOMMAND:启动命令什么是程序？一般指可执行文件，在 Linux 系统中它按 ELF 格式进行存储，没有后缀可言，file 命令可以查看 elf 文件的具体类型ELF 全程 Executable Linkable Format 可执行可链接格式ELF 分为四大种类EXEC 可执行文件REL 可重定位文件，也称为静态库文件，链接器链接之后成为动态库文件，比如 event.so sockets.so curl.soShared Object File 共享目标文件core dump 存储进程产生的异常信息可通过 objdump/readelf 命令查看 ELF 文件相关信息什么是终端？tty 物理终端tty 是最令人熟悉的了，在 Linux 中，/dev/ttyX 代表的都是上述的物理终端，其中，/dev/tty1~/dev/tty63 代表的是本地终端，也就是接到本机的键盘显示器可以操作的终端/dev/console 当前焦点终端pts 伪终端通过 tcp/ip 协议实现的终端，比如用 SSH 进行的登录，或者 telnet, 那么你将得到一个叫做 /dev/pts/X 的伪终端同时在/proc/bash pid/fd 生成三个标识符指向当前的 /dev/pts/X0 标准输入 鼠标，键盘1 标准输出 显示器2 标准错误 显示器什么是进程？进程退出运行到最后一行语句运行时遇到 return 时运行时遇到 exit () 函数的时候程序异常的时候进程接收到中断信号进程结束时并不会真的退出，还会驻留在内在中，pcntl_wait (pcntl_waitpid) 函数来获取进程的终止状态码同时该函数会释放终止进程的内存空间，如果不这么做，会产生很多僵尸进程占用大量的内存空间孤儿进程父进程运行完，子进程在运行，则子进程会被头号进程 init 接管，这类型的进程成为孤儿进程僵尸进程子进程运行完，父进程没有调用 pcntl_wait () 回收，进程状态变成 Z+守护进程父进程是 init 进程，一般在系统启动时开始运行，除非强行终止，否则直到系统关机都保持运行。守护进程经常以超级用户（root）权限运行，因为它们要使用特殊的端口（1-1024）或访问某些特殊的资源。什么是进程组？多个进程组成一个进程组，每个进程组只有一个组长，组长的 PID 就是进程组的 ID；组内所有进程退出时，进程组才会消失，可以通过 ps -ajx 命令查看 pgid什么是会话？多个进程组组成一个会话，每个会话都有一个会话首进程。会话的特点1) 使用 setsid () 函数可以创建一个新的会话2) 会话首进程无法调用 setsid，会报错3) 非会话首进程进程可调用 setsid 创建出一个新的会话，这个行为会导致该进程会创建一个新的进程组且自身为该进程组组长，该进程会创建出一个新的会话组且自身为该会话组组长，该进程会脱离当前命令行控制终端现实上的比喻就是除了老板之后，员工都可以调用 我上我也行 () 这个函数变成老板且不受原公司的控制什么是信号？信号是进程间通信的其中一种方式，平时用到的 kill -9 pid, 指的不是用第九种方式杀死进程，而是发送信号值为 9 的信号给进程，而刚好信号 9 是 SIGKILL, 功能是停止进程，查看操作系统支持的信号命令: kill -l一般使用 1-31, 注意看没有 32,33 这两个信号信号的产生来源可能是：键盘上按了 Ctrl+C 会产生 SIGINT 信号，关闭终端会产生 SIGHUP 信号硬件也能产生信号使用 kill 命令软件产生，比如在管道里当一侧准备写管道时可能会产生 SIGPIPE 信号当一个进程收到一个信号时，三个可选操作操作系统默认的方式，比如 SIGKILL 就是杀死进程忽略掉这个信号，pcntl_signal (SIGKILL, SIG_IGN, false); 进程收到 SIGKILL 命令时将不为所动有自己的想法，pcntl_signal (SIGKILL, function ($signal){// 自己的想法}, false); 这样将会触发自定义回调pcntl_signal () 信号处理器是会被子进程继承的，所以 fork () 之前最后先行处理信号处理器posix 命令//需要安装posix扩展posix_getpid(); //获取进程IDposix_getppid();//获取父进程IDposix_getpgid(posix_getppid());//获取进程组IDposix_getpgrp());//同上posix_getsid(posix_getpid()));//获取会话IDposix_getuid();//获取当前登录用户UIDposix_getgid();//获取当前登录用户组UIDposix_geteuid();//获取当前有效用户UIDposix_getguid();//获取当前有效用户组UIDposix_kill();//发送信号pcntl 命令//创建一个计时器，在指定的秒数后向进程发送一个SIGALRM信号。每次对 pcntl_alarm()的调用都会取消之前设置的alarm信号。如果seconds设置为0,将不会创建alarm信号。 pcntl_alarm(int $seconds);//在当前进程当前位置产生子进程,子进程会复制父进程的代码段和数据段(Copy on write 写时复制,当子进程要修改内存空间时,操作系统会分配新的内存给子进程),ELF文件的结构,如果父进程先退出,子进程变成孤儿进程,被pid=1进程接管pcntl_fork();//安装一个信号处理器pcntl_signal(int $signo, callback $handler);//调用等待信号的处理器,触发全部未执行的信号回调pcntl_signal_dispatch()//设置或检索阻塞信号pcntl_sigprocmask(int $how, array $set[, array &$oldset])//等待或返回fork的子进程状态,wait函数挂起当前进程的执行直到一个子进程退出或接收到一个信号要求中断当前进程或调用一个信号处理函数。用此函数时已经退出（俗称僵尸进程），此函数立刻返回。子进程使用的所有系统资源将被释放。pcntl_wait($status)//加个WNOHANG参数,不挂起父进程,如果没有子进程退出返回0,如果有子进程退出返回子进程pid,如果返回-1表示父进程已经没有子进程pcntl_wait($status, WNOHANG)//基本同pcntl_wait,waitpid可以指定子进程idpcntl_waitpid ($pid ,$status)pcntl_waitpid ($pid ,$status, WNOHANG)//检查状态代码是否代表一个正常的退出。参数 status 是提供给成功调用 pcntl_waitpid() 时的状态参数。pcntl_wifexited($status)//返回一个中断的子进程的返回代码 当php exit(10)时,这个函数返回10,这个函数仅在函数pcntl_wifexited()返回 TRUE.时有效pcntl_wexitstatus($status)//检查子进程状态码是否代表由于某个信号而中断。参数 status 是提供给成功调用 pcntl_waitpid() 时的状态参数。pcntl_wifsignaled($status)//返回导致子进程中断的信号pcntl_wtermsig($status)//检查子进程当前是否已经停止,此函数只有作用于pcntl_wait使用了WUNTRACED作为 option的时候pcntl_wifstopped($status)//返回导致子进程停止的信号pcntl_wstopsig($status)//检索由最后一个失败的pcntl函数设置的错误数pcntl_errno() pcntl_get_last_error()//检索与给定errno关联的系统错误消息pcntl_strerror(pcntl_errno())pcntl_fork () 执行之前先与 Redis 建立一个连接，然后再开 3 个子进程之后多少个 Redis 连接？<?php$o_redis = new Redis();$o_redis->connect( '127.0.0.1', 6379 );// 使用for循环搞出3个子进程来for ( $i = 1; $i <= 3; $i++ ) { $i_pid = pcntl_fork(); if ( 0 == $i_pid ) {// 使用while保证三个子进程不会退出... while( true ) { sleep( 1 ); }}}// 使用while保证主进程不会退出...while( true ) { sleep( 1 );}netstat -ant |grep 6379说明父进程和三个子进程一共四个进程，实际上共享了一个 Redis 长连接上面这种写法会有什么问题？因为 Redis 是一个单进程单线程的服务器，所以接收到的命令都是顺序执行顺序返回的，所以当客户端多个进程共享一个 redis 连接时，当有四个进程向 Redis 服务端发起请求，返回四个结果，谁先抢到就是谁的，正确的做法是每个子进程创建一个 Redis 连接，或者用连接池孤儿进程怎么产生？$i_pid = pcntl_fork();if (0 == $i_pid) {// 子进程10秒钟后退出. for ($i = 1; $i <= 10; $i++) { sleep(1); echo "我的父进程是：" . posix_getppid() . PHP_EOL; }} else if ($i_pid > 0) {// 父进程休眠2s后退出. sleep(2);}僵尸进程怎么产生？$i_pid = pcntl_fork();if (0 == $i_pid) {// 子进程10s后退出,变成僵尸进程 sleep(10);} else if ($i_pid > 0) {// 父进程休眠1000s后退出. sleep(1000);}子进程怎么回收？$i_pid = pcntl_fork();if (0 == $i_pid) {// 在子进程中 for ($i = 1; $i <= 10; $i++) { sleep(1); echo "子进程PID " . posix_getpid() . "倒计时 : " . $i . PHP_EOL; }} else if ($i_pid > 0) {$i_ret = pcntl_wait($status); echo $i_ret . ' : ' . $status . PHP_EOL; // while保持父进程不退出 while (true) { sleep(1); }}子进程怎么回收？非阻塞版本<?php// fork出十个子进程for ($i = 1; $i <= 10; $i++) {$i_pid = pcntl_fork(); // 每个子进程随机运行1-5秒钟 if (0 == $i_pid) { $i_rand_time = mt_rand(1, 5); sleep($i_rand_time); exit; } // 父进程收集所有子进程PID else if ($i_pid > 0) { }}while (true) {// sleep使父进程不会因while导致CPU爆炸. sleep(1); //设置WNOHANG参数不会阻塞,就是需要外层包个循环 $pid = pcntl_wait($status, WNOHANG); if ($pid == 0) { //目前还没有结束的子进程 continue; } if ($pid == -1) { //已经结束啦 很蓝的啦 exit("所有进程均已终止" . PHP_EOL); } // 如果子进程是正常结束 if (pcntl_wifexited($status)) { // 获取子进程结束时候的 返回错误码 $i_code = pcntl_wexitstatus($status); echo $pid . "正常结束，最终返回：" . $i_code . PHP_EOL; } // 如果子进程是被信号终止 if (pcntl_wifsignaled($status)) { // 获取是哪个信号终止的该进程 $i_signal = pcntl_wtermsig($status); echo $pid . "由信号结束，信号为：" . $i_signal . PHP_EOL; } // 如果子进程是[临时挂起] if (pcntl_wifstopped($status)) { // 获取是哪个信号让他挂起 $i_signal = pcntl_wstopsig($status); echo $pid . "被挂起，挂起信号为：" . $i_signal . PHP_EOL; }}如何创建守护进程？$pid = pcntl_fork();if ($pid > 0) { //1)在父进程中执行fork并exit推出exit();} elseif ($pid == 0) {if (posix_setsid() < 0) { //2)在子进程中调用setsid函数创建新的会话 exit(); } chdir('/'); //3)在子进程中调用chdir函数，让根目录 ” / ” 成为子进程的工作目录 umask(0); //4）在子进程中调用umask函数，设置进程的umask为0 echo "create success, pid = " . posix_getpid(); //5)在子进程中关闭任何不需要的文件描述符 fclose(STDIN); fclose(STDOUT); fclose(STDERR);}//可以把上面封装成函数daemon();while (true) {} //具体业务如何修改进程名？for ($i = 1; $i <= 4; $i++) {$i_pid = pcntl_fork(); if (0 == $i_pid) { //子进程 cli_set_process_title("Worker Process"); //修改子进程的名字 while (true) { sleep(1); } }}cli_set_process_title("Master Process"); //修改父进程的名字while (true) {sleep(1);}进程怎么接收信号？// 信号处理回调function signal_handler($signal){switch ($signal) { case SIGTERM: echo "sigterm信号." . PHP_EOL; break; case SIGUSR2: echo "sigusr2信号." . PHP_EOL; break; case SIGUSR1: echo "sigusr1信号." . PHP_EOL; break; default: echo "其他信号." . PHP_EOL; }}// 给进程安装3个信号处理回调pcntl_signal(SIGTERM, "signal_handler");pcntl_signal(SIGUSR1, "signal_handler");pcntl_signal(SIGUSR2, "signal_handler");while (true) {posix_kill(posix_getpid(), SIGUSR1);//发送一个信号给当前进程 posix_kill(posix_getpid(), SIGUSR1); pcntl_signal_dispatch(); //调一次分发一次信号,调用之前,信号累积在队列里 posix_kill(posix_getpid(), SIGUSR2); posix_kill(posix_getpid(), SIGUSR2); sleep(1); //稍微休息一下}其中第 1,2 行与第 3,4,5,6 行中间隔了一秒，体会一下 pcntl_signal_dispatch 这个函数进程怎么接收信号 (不阻塞版本)?//php7.1及以上才能用这个函数pcntl_async_signals(true);// 信号处理回调function signal_handler($signal){switch ($signal) { case SIGTERM: echo "sigterm信号." . PHP_EOL; break; case SIGUSR2: echo "sigusr2信号." . PHP_EOL; break; case SIGUSR1: echo "sigusr1信号." . PHP_EOL; break; default: echo "其他信号." . PHP_EOL; }}// 给进程安装信号...pcntl_signal(SIGTERM, "signal_handler");pcntl_signal(SIGUSR1, "signal_handler");pcntl_signal(SIGUSR2, "signal_handler");while (true) {posix_kill(posix_getpid(), SIGUSR1);//发送一个信号给当前进程 posix_kill(posix_getpid(), SIGUSR2); sleep(1); //稍微休息一下}进程怎么阻塞信号pcntl_async_signals(true);// 信号处理回调function signal_handler($signal){switch ($signal) { case SIGTERM: echo "sigterm信号." . PHP_EOL; break; case SIGUSR2: echo "sigusr2信号." . PHP_EOL; break; case SIGUSR1: echo "sigusr1信号." . PHP_EOL; break; default: echo "其他信号." . PHP_EOL; }}// 给进程安装信号...pcntl_signal(SIGTERM, "signal_handler");pcntl_signal(SIGUSR1, "signal_handler");pcntl_signal(SIGUSR2, "signal_handler");//把SIGUSR1阻塞,收到这个信号先不处理pcntl_sigprocmask(SIG_BLOCK, [SIGUSR1], $a_oldset);$counter = 0;while (true) {posix_kill(posix_getpid(), SIGUSR1);//发送一个信号给当前进程 posix_kill(posix_getpid(), SIGUSR2); sleep(1); //稍微休息一下 if ($counter++ == 5) { //解除SIGUSR1信号阻塞,并立刻执行SIGUSR1处理回调函数 pcntl_sigprocmask(SIG_UNBLOCK, [SIGUSR1], $a_oldset); }}

MySQL 慢查询分析工具~pt-query-digest 详解 MySQL 慢查询分析工具~pt-query-digest 详解介绍pt-query-digest 是用于分析 mysql 慢查询的一个工具，它可以分析 binlog、general log、slowlog，也可以通过 SHOW PROCESSLIST 或者通过 tcpdump 抓取的 MySQL 协议数据来进行分析。可以把分析结果输出到文件中，分析过程是先对查询语句的条件进行参数化，然后对参数化以后的查询进行分组统计，统计出各查询的执行时间、次数、占比等，可以借助分析结果找出问题进行优化。安装（yum 安装）yum install perl-DBIyum install perl-DBD-MySQLyum install perl-Time-HiResyum install perl-IO-Socket-SSLwget percona.com/get/pt-query-digestchmod u+x pt-query-digestmv pt-query-digest /usr/bin/语法pt-query-digest [OPTIONS] [FILES] [DSN]--create-review-table 当使用 --review 参数把分析结果输出到表中时，如果没有表就自动创建。--create-history-table 当使用 --history 参数把分析结果输出到表中时，如果没有表就自动创建。--filter 对输入的慢查询按指定的字符串进行匹配过滤后再进行分析。--limit 限制输出结果百分比或数量，默认值是 20, 即将最慢的 20 条语句输出，如果是 50% 则按总响应时间占比从大到小排序，输出到总和达到 50% 位置截止。--host mysql 服务器地址--user mysql 用户名--password mysql 用户密码--history 将分析结果保存到表中，分析结果比较详细，下次再使用 --history 时，如果存在相同的语句，且查询所在的时间区间和历史表中的不同，则会记录到数据表中，可以通过查询同一 CHECKSUM 来比较某类型查询的历史变化。--review 将分析结果保存到表中，这个分析只是对查询条件进行参数化，一个类型的查询一条记录，比较简单。当下次使用 --review 时，如果存在相同的语句分析，就不会记录到数据表中。--output 分析结果输出类型，值可以是 report (标准分析报告)、slowlog (Mysql slow log)、json、json-anon，一般使用 report，以便于阅读。--since 从什么时间开始分析，值为字符串，可以是指定的某个”yyyy-mm-dd [hh:mm:ss]” 格式的时间点，也可以是简单的一个时间值：s (秒)、h (小时)、m (分钟)、d (天)，如 12h 就表示从 12 小时前开始统计。--until 截止时间，配合 —since 可以分析一段时间内的慢查询。分析 pt-query-digest 输出结果第一部分：总体统计结果Overall：总共有多少条查询Time range：查询执行的时间范围unique：唯一查询数量，即对查询条件进行参数化以后，总共有多少个不同的查询total：总计   min：最小   max：最大  avg：平均95%：把所有值从小到大排列，位置位于 95% 的那个数，这个数一般最具有参考价值median：中位数，把所有值从小到大排列，位置位于中间那个数该工具执行日志分析的用户时间，系统时间，物理内存占用大小，虚拟内存占用大小340ms user time, 140ms system time, 23.99M rss, 203.11M vsz工具执行时间Current date: Fri Nov 25 02:37:18 2016运行分析工具的主机名Hostname: localhost.localdomain被分析的文件名Files: slow.log语句总数量，唯一的语句数量，QPS，并发数Overall: 2 total, 2 unique, 0.01 QPS, 0.01x concurrency __日志记录的时间范围Time range: 2016-11-22 06:06:18 to 06:11:40属性 总计 最小 最大 平均 95% 标准 中等Attribute total min max avg 95% stddev median============ ======= ======= ======= ======= ======= ======= =======语句执行时间Exec time 3s 640ms 2s 1s 2s 999ms 1s锁占用时间Lock time 1ms 0 1ms 723us 1ms 1ms 723us发送到客户端的行数Rows sent 5 1 4 2.50 4 2.12 2.50select语句扫描行数Rows examine 186.17k 0 186.17k 93.09k 186.17k 131.64k 93.09k查询的字符数Query size 455 15 440 227.50 440 300.52 227.50第二部分：查询分组统计结果Rank：所有语句的排名，默认按查询时间降序排列，通过 --order-by 指定Query ID：语句的 ID，（去掉多余空格和文本字符，计算 hash 值）Response：总的响应时间time：该查询在本次分析中总的时间占比calls：执行次数，即本次分析总共有多少条这种类型的查询语句R/Call：平均每次执行的响应时间V/M：响应时间 Variance-to-mean 的比率Item：查询对象ProfileRank Query ID Response time Calls R/Call V/M Item==== ================== ============= ===== ====== ===== ===============1 0xF9A57DD5A41825CA 2.0529 76.2% 1 2.0529 0.00 SELECT2 0x4194D8F83F4F9365 0.6401 23.8% 1 0.6401 0.00 SELECT wx_member_base第三部分：每一种查询的详细统计结果由下面查询的详细统计结果，最上面的表格列出了执行次数、最大、最小、平均、95% 等各项目的统计。ID：查询的 ID 号，和上图的 Query ID 对应Databases：数据库名Users：各个用户执行的次数（占比）Query_time distribution ：查询时间分布，长短体现区间占比，本例中 1s-10s 之间查询数量是 10s 以上的两倍。Tables：查询中涉及到的表Explain：SQL 语句Query 1: 0 QPS, 0x concurrency, ID 0xF9A57DD5A41825CA at byte 802 __This item is included in the report because it matches --limit.Scores: V/M = 0.00Time range: all events occurred at 2016-11-22 06:11:40Attribute pct total min max avg 95% stddev median============ === ======= ======= ======= ======= ======= ======= =======Count 50 1Exec time 76 2s 2s 2s 2s 2s 0 2sLock time 0 0 0 0 0 0 0 0Rows sent 20 1 1 1 1 1 0 1Rows examine 0 0 0 0 0 0 0 0Query size 3 15 15 15 15 15 0 15String:Databases testHosts 192.168.8.1Users mysqlQuery_time distribution1us10us100us1ms10ms100ms1s10s+EXPLAIN /!50100 PARTITIONS/select sleep(2)\G使用例子1.直接分析慢查询文件pt-query-digest slow.log > slow_report.log2.分析最近12小时内的查询pt-query-digest --since=12h slow.log > slow_report2.log3.分析指定时间范围内的查询pt-query-digest slow.log --since '2020-01-07 09:30:00' --until '2020-01-07 10:00:00'> > slow_report3.log3.分析指含有select语句的慢查询pt-query-digest --filter '$event->{fingerprint} =~ m/^select/i' slow.log> slow_report4.log4.分析最近12小时内的查询pt-query-digest --since=12h slow.log > slow_report2.log5.针对某个用户的慢查询pt-query-digest --filter '($event->{user} || "") =~ m/^root/i' slow.log> slow_report5.log6.查询所有所有的全表扫描或full join的慢查询pt-query-digest --filter '(($event->{Full_scan} || "") eq "yes") ||(($event->{Full_join} || "") eq "yes")' slow.log> slow_report6.log7.把查询保存到query_review表pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_review--create-review-table slow.log8.把查询保存到query_history表pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_0001pt-query-digest --user=root –password=abc123 --review h=localhost,D=test,t=query_history--create-review-table slow.log_00029.通过tcpdump抓取mysql的tcp协议数据，然后再分析tcpdump -s 65535 -x -nn -q -tttt -i any -c 1000 port 3306 > mysql.tcp.txtpt-query-digest --type tcpdump mysql.tcp.txt> slow_report9.log10.分析binlogmysqlbinlog mysql-bin.000093 > mysql-bin000093.sqlpt-query-digest --type=binlog mysql-bin000093.sql > slow_report10.log11.分析general logpt-query-digest --type=genlog localhost.log > slow_report11.log安装遇到的问题问题：[root@vipstone bin]# pt-query-digest /usr/local/mysql/data/slow.logCan't locate Digest/MD5.pm in @INC (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at /usr/local/bin/pt-query-digest line 2470.BEGIN failed--compilation aborted at /usr/local/bin/pt-query-digest line 2470.解决：yum -y install perl-Digest-MD5

MySQL 的学习资源史上最全 MySQL 的学习资源史上最全github欢迎对 MySQL 感兴趣的同学一起来完善这个有意义的项目：MySQL 精进大全 https://github.com/zhangdejian/MySQL_Refinement_Resource官方资料MySQL 官方文档MySQL Server Blogmariadb 的关于查询优化的文档书籍基础版：《MySQL必知必会》《数据库系统概念》高级版：《高性能MySQL(第3版)》《MySQL技术内幕(第4版)》《MySQL技术内幕 InnoDB存储引擎》《MySQL性能调优与架构设计--全册》《深入理解MySQL》《MySQL DBA修炼之道》《数据库查询优化器的艺术》《MySQL运维内参》《Effective MySQL：Optimizing SQL Statements》《数据库事务处理的艺术》《事务处理概念与技术》《MySQL DBA工作笔记》大神博客何登成 何登成的技术博客 （阿里数据库专家）淘宝丁奇 追风刀・丁奇 - ITeye 技术网站周振兴 @淘宝 花名：苏普 一个故事 @MySQL DBAorczhou 的博客Jeremy Cole 的博客那海蓝蓝（李海翔）的博客taobao 月报mysql_lover 的博客非官方优化文档优秀公众号我们都是小青蛙 （掘金 MySQL 小册的作者）张德 Talk （MySQL 持续精进）DBAplus 社群 （数据库专业公众号）杨建荣的学习笔记学习网站菜鸟 MySQL 教程MySQL Tutorial阿里云大学免费教程《MySQL 数据库入门学习》、《MySQL 高级应用 - 索引和锁》慕课网免费视频教程优秀专栏掘金小册 《MySQL 是怎样运行的：从根儿上理解 MySQL》 （强烈推荐，既便宜又通俗易懂，目前讲得最好的专栏之一）极客时间专栏：MySQL 实战 45 讲（丁奇的专栏，干货很多）优秀文章一张图彻底搞懂 MySQL 的 explain一张图彻底搞懂 MySQL 的锁机制MySQL 知识点总结数据库事务与 MySQL 事务总结MySQL 的万字总结（缓存，索引，Explain，事务，redo 日志等）我以为我对 Mysql 索引很了解，直到我遇到了阿里的面试官腾讯面试：一条 SQL 语句执行得很慢的原因有哪些？— 不看后悔系列你知道 MySQL 的 Limit 有性能问题吗数据库面试题 (开发者必看)后端程序员必备：mysql 数据库相关流程图 / 原理图数据库两大神器【索引和锁】客官，这里有一份《MySQL 必知必会》读书笔记，请您笑纳！《金三银四》面试官：说说事务的 ACID，什么是脏读、幻读？推荐收藏！MySQL 重要知识点 / 面试题总结不就是 SELECT COUNT 语句吗，竟然能被面试官虐的体无完肤一次难得的分库分表实践MySQL 规范面试 (MySQL 索引为啥要选择 B+ 树)这个 SQL 问题绝对能让你对 MySQL 的理解更进一步！MySQL 社区规范 | 数据库篇MySQL 避坑宝典 – 来自小米的开源工具MySQL 细致总结之中级篇MySQL 索引和 SQL 调优MySQL 优化原理MySQL 优化面试一千行 MySQL 命令MySQL 优化那些事儿项目中常用的 19 条 MySQL 优化MySQL 命令，一篇文章替你全部搞定从根上理解 MySQL 的事务MySQL 快速创建千万级测试数据为什么开发人员必须要了解数据库锁？一次诡异的线上数据库的死锁问题排查过程亿级流量系统架构之如何设计每秒十万查询的高并发架构【石杉的架构笔记】一条 SQL 语句在 MySQL 中是如何执行的深入理解分布式事务Mysql 百万级数据迁移实战笔记关于 MySQL 的知识点与面试常见问题都在这里「mysql 优化专题」程序员面试都用得上的索引优化手册 (5)【面试重点】MySql 日常指导，及大表优化思路MySQL 在并发场景下的问题及解决思路彻底搞懂 MySQL 事务的隔离级别

一张图彻底搞定 explain 一张图彻底搞定 explainexplain 关键字可以模拟 MySQL 优化器执行 SQL 语句，可以很好的分析 SQL 语句或表结构的性能瓶颈。explain 的用途表的读取顺序如何数据读取操作有哪些操作类型哪些索引可以使用哪些索引被实际使用表之间是如何引用每张表有多少行被优化器查询......explain 的执行效果mysql> explain select * from subject where id = 1 \G id: 1select_type: SIMPLE table: subjectpartitions: NULL type: constpossible_keys: PRIMARY key: PRIMARYkey_len: 4 ref: const rows: 1filtered: 100.00 Extra: NULLexplain 包含的字段id //select查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序select_type //查询类型table //正在访问哪个表partitions //匹配的分区type //访问的类型possible_keys //显示可能应用在这张表中的索引，一个或多个，但不一定实际使用到key //实际使用到的索引，如果为NULL，则没有使用索引key_len //表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度ref //显示索引的哪一列被使用了，如果可能的话，是一个常数，哪些列或常量被用于查找索引列上的值rows //根据表统计信息及索引选用情况，大致估算出找到所需的记录所需读取的行数filtered //查询的表行占表的百分比Extra //包含不适合在其它列中显示但十分重要的额外信息图片版文字版id 字段id 相同执行顺序从上至下例子：explain select subject.* from subject,student_score,teacher where subject.id = student_id and subject.teacher_id = teacher.id;读取顺序：subject > teacher > student_scoreid 不同如果是子查询，id的序号会递增，id的值越大优先级越高，越先被执行例子：explain select score.* from student_score as score where subject_id = (select id from subject where teacher_id = (select id from teacher where id = 2));读取顺序：teacher > subject > student_scoreid 相同又不同id如果相同，可以认为是一组，从上往下顺序执行在所有组中，id值越大，优先级越高，越先执行例子：explain select subject.* from subject left join teacher on subject.teacher_id = teacher.id -> union -> select subject.* from subject right join teacher on subject.teacher_id = teacher.id; 读取顺序：2.teacher > 2.subject > 1.subject > 1.teacherselect_type 字段SIMPLE简单查询，不包含子查询或Union查询例子：explain select subject.* from subject,student_score,teacher where subject.id = student_id and subject.teacher_id = teacher.id;PRIMARY查询中若包含任何复杂的子部分，最外层查询则被标记为主查询例子：explain select score.* from student_score as score where subject_id = (select id from subject where teacher_id = (select id from teacher where id = 2));SUBQUERY在select或where中包含子查询例子：explain select score.* from student_score as score where subject_id = (select id from subject where teacher_id = (select id from teacher where id = 2));DERIVED在FROM列表中包含的子查询被标记为DERIVED（衍生），MySQL会递归执行这些子查询，把结果放在临时表中备注：MySQL5.7+ 进行优化了，增加了derived_merge（派生合并），默认开启，可加快查询效率UNION若第二个select出现在uion之后，则被标记为UNION例子：explain select subject.* from subject left join teacher on subject.teacher_id = teacher.id -> union -> select subject.* from subject right join teacher on subject.teacher_id = teacher.id;UNION RESULT从UNION表获取结果的select例子：explain select subject.* from subject left join teacher on subject.teacher_id = teacher.id -> union -> select subject.* from subject right join teacher on subject.teacher_id = teacher.id;type 字段NULL>system>const>eq_ref>ref>fulltext>ref_or_null>index_merge>unique_subquery>index_subquery>range>index>ALL //最好到最差备注：掌握以下10种常见的即可NULL>system>const>eq_ref>ref>ref_or_null>index_merge>range>index>ALLNULLMySQL能够在优化阶段分解查询语句，在执行阶段用不着再访问表或索引例子：explain select min(id) from subject;system表只有一行记录（等于系统表），这是const类型的特列，平时不大会出现，可以忽略const表示通过索引一次就找到了，const用于比较primary key或uique索引，因为只匹配一行数据，所以很快，如主键置于where列表中，MySQL就能将该查询转换为一个常量例子：explain select * from teacher where teacher_no = 'T2010001';eq_ref唯一性索引扫描，对于每个索引键，表中只有一条记录与之匹配，常见于主键或唯一索引扫描例子：explain select subject.* from subject left join teacher on subject.teacher_id = teacher.id;ref非唯一性索引扫描，返回匹配某个单独值的所有行本质上也是一种索引访问，返回所有匹配某个单独值的行然而可能会找到多个符合条件的行，应该属于查找和扫描的混合体例子：explain select subject.* from subject,student_score,teacher where subject.id = student_id and subject.teacher_id = teacher.id;ref_or_null类似ref，但是可以搜索值为NULL的行例子：explain select * from teacher where name = 'wangsi' or name is null;index_merge表示使用了索引合并的优化方法例子：explain select * from teacher where id = 1 or teacher_no = 'T2010001' .range只检索给定范围的行，使用一个索引来选择行，key列显示使用了哪个索引一般就是在你的where语句中出现between、<>、in等的查询。例子：explain select * from subject where id between 1 and 3;indexFull index Scan，Index与All区别：index只遍历索引树，通常比All快因为索引文件通常比数据文件小，也就是虽然all和index都是读全表，但index是从索引中读取的，而all是从硬盘读的。例子：explain select id from subject;ALLFull Table Scan，将遍历全表以找到匹配行例子：explain select * from subject;table 字段数据来自哪张表possible_keys 字段显示可能应用在这张表中的索引，一个或多个查询涉及到的字段若存在索引，则该索引将被列出，但不一定被实际使用key 字段 实际使用到的索引，如果为NULL，则没有使用索引查询中若使用了覆盖索引（查询的列刚好是索引），则该索引仅出现在key列表key_len 字段 表示索引中使用的字节数，可通过该列计算查询中使用的索引的长度在不损失精确度的情况下，长度越短越好key_len显示的值为索引字段最大的可能长度，并非实际使用长度即key_len是根据定义计算而得，不是通过表内检索出的ref 字段 显示索引的哪一列被使用了，如果可能的话，是一个常数，哪些列或常量被用于查找索引列上的值rows 字段 根据表统计信息及索引选用情况，大致估算出找到所需的记录所需读取的行数partitions 字段 匹配的分区filtered 字段 查询的表行占表的百分比Extra 字段 包含不适合在其它列中显示但十分重要的额外信息Using filesort说明MySQL会对数据使用一个外部的索引排序，而不是按照表内的索引顺序进行读取MySQL中无法利用索引完成的排序操作称为“文件排序”例子：explain select * from subject order by name;Using temporary使用了临时表保存中间结果，MySQL在对结果排序时使用临时表，常见于排序order by 和分组查询group by例子：explain select subject.* from subject left join teacher on subject.teacher_id = teacher.id -> union -> select subject.* from subject right join teacher on subject.teacher_id = teacher.id;Using index表示相应的select操作中使用了覆盖索引（Covering Index）,避免访问了表的数据行，效率不错！如果同时出现using where，表明索引被用来执行索引键值的查找如果没有同时出现using where，表明索引用来读取数据而非执行查找动作例子：explain select subject.* from subject,student_score,teacher where subject.id = student_id and subject.teacher_id = teacher.id;备注：覆盖索引：select的数据列只用从索引中就能够取得，不必读取数据行，MySQL可以利用索引返回select列表中的字段，而不必根据索引再次读取数据文件，即查询列要被所建的索引覆盖Using where使用了where条件例子：explain select subject.* from subject,student_score,teacher where subject.id = student_id and subject.teacher_id = teacher.id;Using join buffer使用了连接缓存例子：explain select student.,teacher.,subject.* from student,teacher,subject;impossible wherewhere子句的值总是false，不能用来获取任何元组例子：explain select * from teacher where name = 'wangsi' and name = 'lisi';distinct一旦mysql找到了与行相联合匹配的行，就不再搜索了例子：explain select distinct teacher.name from teacher left join subject on teacher.id = subject.teacher_id;Select tables optimized awaySELECT操作已经优化到不能再优化了（MySQL根本没有遍历表或索引就返回数据了）例子：explain select min(id) from subject;使用的数据表create table subject( -> id int(10) auto_increment, -> name varchar(20), -> teacher_id int(10), -> primary key (id), -> index idx_teacher_id (teacher_id));//学科表create table teacher( -> id int(10) auto_increment, -> name varchar(20), -> teacher_no varchar(20), -> primary key (id), -> unique index unx_teacher_no (teacher_no(20)));//教师表create table student( -> id int(10) auto_increment, -> name varchar(20), -> student_no varchar(20), -> primary key (id), -> unique index unx_student_no (student_no(20)));//学生表create table student_score( -> id int(10) auto_increment, -> student_id int(10), -> subject_id int(10), -> score int(10), -> primary key (id), -> index idx_student_id (student_id), -> index idx_subject_id (subject_id));//学生成绩表alter table teacher add index idx_name(name(20));//教师表增加名字普通索引数据填充： insert into student(name,student_no) values ('zhangsan','20200001'),('lisi','20200002'),('yan','20200003'),('dede','20200004');insert into teacher(name,teacher_no) values('wangsi','T2010001'),('sunsi','T2010002'),('jiangsi','T2010003'),('zhousi','T2010004');insert into subject(name,teacher_id) values('math',1),('Chinese',2),('English',3),('history',4);insert into student_score(student_id,subject_id,score) values(1,1,90),(1,2,60),(1,3,80),(1,4,100),(2,4,60),(2,3,50),(2,2,80),(2,1,90),(3,1,90),(3,4,100),(4,1,40),(4,2,80),(4,3,80),(4,5,100);