Deprecated
: htmlspecialchars(): Passing null to parameter #1 ($string) of type string is deprecated in
/www/wwwroot/testblog.58heshihu.com/var/Widget/Archive.php
on line
1057
首页
关于
Search
1
给你10个市场数据调研报告的免费下载网站!以后竞品数据就从这里找!
182 阅读
2
php接口优化 使用curl_multi_init批量请求
144 阅读
3
《从菜鸟到大师之路 ElasticSearch 篇》
107 阅读
4
2024年备考系统架构设计师
104 阅读
5
PHP 文件I/O
92 阅读
php
thinkphp
laravel
工具
开源
mysql
数据结构
总结
思维逻辑
令人感动的创富故事
读书笔记
前端
vue
js
css
书籍
开源之旅
架构
消息队列
docker
教程
代码片段
redis
服务器
nginx
linux
科普
java
c
ElasticSearch
测试
php进阶
php基础
登录
Search
标签搜索
php函数
php语法
性能优化
安全
错误和异常处理
问题
vue
Composer
Session
缓存
框架
Swoole
api
并发
异步
正则表达式
php-fpm
mysql 索引
开发规范
协程
dafenqi
累计撰写
786
篇文章
累计收到
28
条评论
首页
栏目
php
thinkphp
laravel
工具
开源
mysql
数据结构
总结
思维逻辑
令人感动的创富故事
读书笔记
前端
vue
js
css
书籍
开源之旅
架构
消息队列
docker
教程
代码片段
副业
redis
服务器
nginx
linux
科普
java
c
ElasticSearch
测试
php进阶
php基础
页面
关于
搜索到
7
篇与
的结果
2024-01-02
如何通过索引优化PHP与MySQL的多表查询?
如何通过索引优化PHP与MySQL的多表查询?索引是数据库中用于提高查询性能的一种数据结构,它可以加快数据的查找速度。在PHP与MySQL的多表查询中,合理的索引设计可以显著提升查询速度,下面将介绍一些常用的索引优化方法。单表索引优化在进行多表查询之前,首先需要确保每个表都有恰当的索引。对于经常用于查询条件的列,可以为其添加索引。例如,对于一个用户表,经常使用user_id进行查询,可以为user_id列添加索引。示例代码:ALTER TABLE user ADD INDEX idx_user_id (user_id);外键索引优化对于多表查询,经常使用外键来关联多个表。外键是用于保持数据完整性的一种约束,但是它不会自动生成索引。因此,在使用外键进行多表查询时,可以为外键列添加索引。示例代码:ALTER TABLE order ADD INDEX idx_user_id (user_id); ALTER TABLE order ADD FOREIGN KEY (user_id) REFERENCES user (user_id);联合索引优化当多个列同时参与查询时,可以考虑使用联合索引。联合索引是指为多个列创建一个索引,这样就可以通过一个索引同时查找多个列。通常,我们需要根据查询的频率和查询的列组合来决定是否创建联合索引。示例代码:ALTER TABLE product ADD INDEX idx_category_brand (category_id, brand_id);覆盖索引优化当多表查询的结果只需要一部分列时,可以使用覆盖索引来提高性能。覆盖索引是指通过索引即可获取查询所需的全部数据,而不必再回表查询数据。通常,我们需要根据查询的需求来选择合适的索引列。示例代码:SELECT user_id, user_name FROM user WHERE user_id = 1;查询优化器使用提示MySQL的查询优化器负责解析和执行查询语句,它会根据统计信息和算法来选择执行计划。然而,有时候优化器的选择可能并不理想。在某些情况下,可以通过使用查询优化器的提示来引导优化器选择更合适的执行计划。示例代码:SELECT /+ index(orders) / * FROM orders WHERE user_id = 1;通过合理的索引优化方法,可以显著提高PHP与MySQL的多表查询性能。在实际开发中,可以根据具体情况选择适用的索引优化方法,并结合数据库的实际情况进行调整,以获得更好的查询效率。
2024年01月02日
9 阅读
0 评论
0 点赞
2023-12-30
mysql哪些情况下不走索引?
mysql哪些情况下不走索引?MySQL是一种常用的关系型数据库,它使用索引来提高查询性能。然而,并非所有的SQL语句都能充分利用索引。在本文中,我们将介绍几个无法使用到索引的MySQL SQL语句。1. 使用函数:当SQL语句中使用函数时,索引将无法被应用。例如,下面的SQL语句使用了函数UPPER,这将导致MySQL无法使用索引进行查询。SELECT * FROM customers WHERE UPPER(name) = 'JOHN';2. 使用LIKE模糊查询:在使用LIKE语句进行模糊查询时,如果通配符放在开头(例如%john),MySQL也将无法使用索引。这是因为MySQL只能利用索引执行前缀匹配,而不能利用索引进行后缀匹配。SELECT * FROM customers WHERE name LIKE '%john';3. 使用逻辑或操作符:当SQL语句中使用了逻辑或操作符(OR)时,索引也无法被应用。例如,下面的SQL语句使用了逻辑或操作符,这将导致MySQL无法使用索引进行查询。SELECT * FROM customers WHERE name = 'john' OR age = 30;4. 使用不等于操作符:当SQL语句中使用了不等于操作符(<>或!=)时,索引将无法被应用。例如,下面的SQL语句使用了不等于操作符,这将导致MySQL无法使用索引进行查询。SELECT * FROM customers WHERE age <> 30;5. 使用NULL值:当SQL语句中使用了NULL值作为查询条件时,索引也无法被应用。这是因为索引无法用于查找缺失的值。例如,下面的SQL语句使用了NULL值作为查询条件,这将导致MySQL无法使用索引进行查询。SELECT * FROM customers WHERE name IS NULL;在使用MySQL时,我们需要注意以上几种语句可能无法使用索引。如果需要提高查询性能,可以考虑优化SQL语句,避免使用这些无法使用索引的语句。
2023年12月30日
7 阅读
0 评论
0 点赞
2023-12-29
优化MySQL查询:使用索引提高查询速度技术
优化MySQL查询:使用索引提高查询速度技术随着数据的不断增长,数据库的优化变得越来越重要。MySQL是最受欢迎的关系型数据库管理系统之一,但是当数据集变得庞大时,查询速度可能会变得很慢。针对这个问题,我们可以使用索引来提高查询速度。什么是索引?在MySQL中,索引是用于加速数据查找的数据结构。它是一种特殊的数据结构,能够让我们快速地查找数据。如果我们没有索引,我们需要遍历整个表来找到我们需要的数据,这会非常慢且低效。索引可以帮助我们加快查找,从而提高查询效率。什么时候使用索引?虽然索引可以提高查询速度,但是并不是所有的查询场景都适用索引。在查询小型数据集时,索引的优化效果可能并不明显,而且会增加写操作的负载。因此,在使用索引之前,我们需要考虑数据集的大小、查询频率以及之前的查询效率等因素。一般来说,当以下情况出现时,可以考虑使用索引来优化查询:1.在查询大型数据集时,建立索引可以提高查询速度。2.在经常用于检索的列上建立索引可以提高查询速度。3.在execute或where子句中经常使用的列上建立索引可以提高查询速度。如何使用索引?在了解了什么是索引以及什么时候该使用索引之后,下面我们来看一下如何使用索引来优化MySQL查询。创建索引在MySQL中创建索引非常简单。我们只需要向CREATE INDEX命令传递要创建索引的表和列名即可。例如,假设我们有一个名为“users”的表,并且我们想在“username”列上创建索引,那么我们可以使用以下命令来创建索引:CREATE INDEX username_index ON users (username);添加索引后,我们可以使用以下命令来查看MySQL使用的索引:EXPLAIN SELECT * FROM users WHERE username='test_user';此命令将告诉我们MySQL使用的索引以及查询的详细信息。使用多列索引在有些情况下,我们可能需要同时在多列上进行查询。例如,在一个在线商店中,我们可能会需要使用“category”和“price”列来筛选产品。在这种情况下,我们可以为多个列创建一个复合索引,以便同时按照多个列进行查找。CREATE INDEX category_price_index ON products (category, price);使用索引提示虽然MySQL通常会自动选择适当的索引,但是在某些情况下,我们可能需要手动指定使用哪个索引。为了实现这一点,我们可以使用索引提示,以便告诉MySQL使用哪个索引:SELECT * FROM users WHERE username='test_user' USE INDEX (username_index);在这个例子中,我们使用了“USE INDEX”来指定MySQL使用“username_index”。优化查询顺序除了使用索引之外,我们还可以通过优化查询顺序来提高查询效率。在MySQL中,查询操作通常包含以下三个步骤:1.执行FROM子句中指定的所有表。2.筛选满足WHERE子句的记录。3.执行SELECT子句中指定的操作。当MySQL查询操作执行时,它将尝试找到最佳的执行计划以最大化查询性能。如果我们想要一定的控制查询执行计划的顺序,我们可以使用“ORDER BY”和“GROUP BY”子句来指定查询计划的执行顺序。在选择执行计划时,MySQL将考虑许多因素,例如查询的复杂度、索引使用和数据统计。因此,我们不能保证通过改变查询的执行顺序来提高查询效率。不过,如果我们认为MySQL没有选择最佳的执行计划,这可行的解决方案之一就是指定查询的执行顺序。优化查询效率为了提高MySQL查询效率,除了使用索引之外,我们还可以采取以下一些行动:1.对于长时间运行的查询,我们可以将它们分解成较小的部分,并使用缓存表来提高查询效率。2.使用相关的子查询来快速过滤记录和排除不符合条件的记录。3.使用内联触发器或存储过程来对查询进行优化,以避免在每次查询时重复相同的代码。结论MySQL查询优化是提高数据查询速度的关键所在,而索引作为数据库优化的重要方式,不可忽视。本文介绍了如何使用索引来提高查询性能和一些优化查询性能的最佳做法。通过专门的一些高级技术,我们可以使我们的SQL查询更加高效,从而提高系统的性能。
2023年12月29日
11 阅读
0 评论
0 点赞
2023-12-25
MySQL索引类型(type)分析
MySQL索引类型(type)分析type索引类型system > const > eq_ref > ref > range > index > all优化级别从左往右递减,没有索引的⼀般为’all’。 推荐优化目标:至少要达到 range 级别, 要求是 ref 级别, 如果可以是 const 最好 ;index比all更优,但是并不明显,性能都很差。Type级别说明1、system级别只有一条数据的系统表;或衍生表只能有一条数据的主查询;这是const类型的特列,实际开发中难以达到(基本不会出现)。2、const级别当使用 主键 或 唯一索引 进行等值查询时实例表结构 CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `age` int(11) NOT NULL, PRIMARY KEY (`id`), UNIQUE KEY `user_name_IDX` (`name`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8Primary keyexplain select * from `user` u where id=1unique索引explain select * from `user` u where name='zhangsan'3、eq_ref级别当联表查询的关联字段为唯一索引或者主键时实例表结构 CREATE TABLE `user_job` ( `id` int(11) NOT NULL, `userId` int(11) NOT NULL, `job` varchar(255) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_name` (`name`) USING BTREE, KEY `user_job_userId_IDX` (`userId`) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8数据输出结果 explain select uj.id ,u.name ,uj.job from user_job uj left join `user` u on uj.userId =u.id4、ref级别当联表查询的关联字段或者单表查询的筛选字段为普通索引时实例表结构CREATE TABLE `user_job` ( `id` int(11) NOT NULL, `userId` int(11) NOT NULL, `job` varchar(255) DEFAULT NULL, `name` varchar(255) DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_name` (`name`) USING BTREE, KEY `user_job_userId_IDX` (`userId`) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8输出结果explain select * from user_job uj where name ='xx'5、range级别使用主键或者索引,进行范围查询时常用范围查询 (between , in , > , < , >=),in有时会失效为ALL实例表结构CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `age` int(11) NOT NULL, PRIMARY KEY (`id`), UNIQUE KEY `user_name_IDX` (`name`) USING BTREE, KEY `user_age_IDX` (`age`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=5 DEFAULT CHARSET=utf8 输出结果explain select * from `user` u where id>1explain select * from `user` u where name in('zhangsan','lisi')explain select * from `user` u where age BETWEEN 10 and 206、index级别遍历索引树,把索引的数据全部查出来explain select id,name from `user` uexplain select age from `user` u7、ALL级别当不使用任何索引和主键时,进行全表扫描explain select * from `user` u
2023年12月25日
25 阅读
0 评论
0 点赞
2023-08-10
PHP 进阶之路 - 亿级 pv 网站架构实战之性能优化
PHP 进阶之路 - 亿级 pv 网站架构实战之性能压榨缘起PV和PU(数据分析—业务指标)PV即访问次数——用户每访问一次可以看作一次PV。PU即访问人数——在同一天内,一个用户无论访问了多少次都算一个访客。通过PV和PU可以分析出用户喜欢产品哪个功能,不喜欢哪个功能,从而根据用户行为来优化产品。为什么过早的优化是万恶之源?在进行优化之前,应该先测试代码的性能,确定是否存在性能问题。同时,也应该优先考虑代码的可读性、可维护性和可扩展性,避免过度优化。使用XHProf查找PHP性能瓶颈XHProf是facebook 开发的一个测试php性能的扩展,本文记录了在PHP应用中使用XHProf对PHP进行性能优化,查找性能瓶颈的方法。性能优化的原则性能优化是建立在对业务的理解之上的性能优化与架构、业务相辅相成、密不可分的性能优化的引入我们先看一张简单的 web 架构图从上到下从用户的浏览器到最后的数据库,那么我们说先前端的优化。前端优化雅虎军规:http://www.cnblogs.com/paul-3... 减少 http 请求数图片、css、script等等这些都会增加http请求数,减少这些元素的数量就能减少响应时间。把多个JS、CSS在可能的情况下写进一个文件,页面里直接写入图片也是不好的做法,应该写进CSS里,小图拼合后利用 background 来定位。现在很多 icon 都是直接做成字体,矢量高清,也减少网络请求数现在的前端框架都会通过组件的方式开发,最后打包生成一个 js 或者 两个 js 文件 + 一个 css 或者两个 css 文件。利用浏览器缓存expires,cache-control,last-modified,etag http://blog.csdn.net/eroswang... 防止缓存,比如资源更新了,原来的做法是?v=xxxx 现在前端的打包工作可以能会生成 /v1.2.0/xxx.js使用分布式存储前端资源接地气利用 cdn 存储前端资源多域名访问资源原因一:浏览器对同一域名的并行请求数有上限,多个域名则支持更多并行请求原因二:使用同一域名的时候无用的 cookie 简直是噩梦数据压缩开启gzip前端资源本身的压缩,js/css 打包编译(去掉空格,语意简化)图片资源的压缩等。优化首屏展示速度资源的按需加载,延时加载 https://blog.csdn.net/m0_64346035/article/details/125131432图片的懒加载,淘宝的商品介绍太多图,用户点击进来又有多少人一直往下看图的呢? 前端懒加载nginx 优化分为下面三个部分来nginx 本身配置的优化worker_processes auto 设置多少子进程worker_cpu_affinity 亲缘性绑定worker_rlimit_nofile 65535 worker 进程打开的文件描述符的最大数worker_connections 65535 子进程最多处理的连接数epoll 多路复用sendfile on 是对文件I/O的系统调用的一个优化,系统api如果是反向代理web服务器,需要配置fastcgi相关的参数数据返回开启gzip压缩静态资源使用 http 缓存协议开启长连接 keepalive_timeout fastcgi_connect_timeout 300; fastcgi_send_timeout 300; fastcgi_read_timeout 300; fastcgi_buffer_size 64k; fastcgi_buffers 4 64k; fastcgi_busy_buffers_size 128k; fastcgi_temp_file_write_size 256k; gzip on; gzip_min_length 1k; gzip_buffers 4 16k; gzip_http_version 1.0; gzip_comp_level 2; gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/json; gzip_vary on; gzip_proxied expired no-cache no-store private auth; gzip_disable "MSIE \[1-6\]\\."; location ~ .*\\.(gif|jpg|jpeg|png|bmp|swf)$ { expires 30d; }worker_connections和worker_rlimit_nofile有什么区别tcp/ip 网络协议配置的优化/proc/sys/net/ipv4/tcp_tw_recycle 1 开启TCP连接中TIME-WAIT sockets的快速回收,保证tcp_timestamps = 1/proc/sys/net/ipv4/tcp_tw_reuse 1 允许将TIME-WAIT sockets重新用于新的TCP连接/proc/sys/net/ipv4/tcp_syncookies 0 是否需要关闭洪水抵御 看自己业务,比如秒杀,肯定需要关闭了/proc/sys/net/ipv4/tcp_max_tw_buckets 180000 否则经常出现 time wait bucket table overflowtcp_nodelay on 小文件快速返回,我之前通过网络挂载磁盘出现找不到的情况tcp_nopush ontcp_tw_recycle 快速回收可能导致丢包的问题 https://www.im050.com/posts/435linux 系统的优化除了上面的网络协议配置也是在系统基础之外,为了配合nginx自己里面的设定需要做如下修改/proc/sys/net/core/somaxconn 65535ulimit -a 65535Nginx配置性能优化的方法php 优化升级到 php7注意有很多函数和扩展被废弃,比如mysql相关的,有风险,做好测试再切换。opcode 缓存php 5.5 之后好像就内置了吧,需要在php.ini里添加如下配置opcache.revalidate_freq=60 opcache.validate_timestamps=1 opcache.max_accelerated_files=1000 opcache.memory_consumption=512 opcache.interned_strings_buffer=16 opcache.fast_shutdown=1opcache.revalidate_freq这个选项用于设置缓存的过期时间(单位是秒),当这个时间达到后,opcache会检查你的代码是否改变,如果改变了PHP会重新编译它,生成新的opcode,并且更新缓存。opcache.validate_timestamps当这个选项被启用(设置为1),PHP会在opcache.revalidate_freq设置的时间到达后检测文件的时间戳(timestamp)。opcache.max_accelerated_files这个选项用于控制内存中最多可以缓存多少个PHP文件。opcache.memory_consumption你可以通过调用opcachegetstatus()来获取opcache使用的内存的总量opcache.interned_strings_buffer字符串opcache的复用,单位为MBopcache.fast_shutdown=1开启快速停止续发事件,依赖于Zend引擎的内存管理模块php7 hugepage 的使用Hugepage 的作用:间接提高虚拟地址和内存地址转换过程中查表的TLB缓存命中率opcache.huge_code_pages=1鸟哥博客详细介绍:http://www.laruence.com/2015/...代码伪编译以thinkphp为例,它会把框架基础组件(必须用到的组件)合并压缩到一个文件中,不仅减少了文件目录查找,文件打开的系统调用。 通过stracephp-fpm子进程,可以清楚系统调用的过程,在我上面例子中有打开一个文件有12次系统调用(只是举例,我这里相对路径设置的原因导致多了两次文件查找)。如果有10个文件,那就是120次,优化的效果可能不是那么明显,但是这是一种思路。 顺便说下 set_include_path能不用就不要用,上面的demo的截图里面找不到目录就是证明。模板编译模板把它们自定义的语法,最后转换成php语法,这样方便解析。而不是每次都解析一遍。xhprof 查找性能瓶颈xhprof 查找性能瓶颈业务优化非侵入式扩展开发比如原来有一个model,叫问答,现在需要开发一个有奖问答,需要支持话题打赏,里面多了很多功能。这个时候应该利用面向对象的继承的特性。而不是做下面的开发<?php class AskModel { public function detail($id){ $info = 从数据库查询到该问题的信息; // 逻辑1 // 逻辑2 } }<?php class AskModel { public function detail($id){ $info = 从数据库查询到该问题的信息; // 逻辑1 if($info\['type'\] == 2){ //... }else{ } // 逻辑2 if($info\['type'\] == 2){ //... }else{ } } }这样逻辑多了,子类型多了,逻辑判断就非常重复,程序运行起来低效可能是一方面,更多的是不可维护性。业务和架构不分家,架构是建立在对业务的理解之上的。异步思想举例:处理邮件发送。gearman 图片裁剪。页面上 ajax 加载动态数据。图片的懒加载,双击图片看大图。sf 上通过websocket 通知你有新的消息,但是并没有告诉你有什消息,点击消息图标才会去异步请求具体的消息。这些都是异步的思想。能分步走就分步走,能不能请求的就不请求。静态化专题页面,比如秒杀页面,为了应对更大的流量、并发。而且更新起来也比较方便。业务解耦比如刚刚上面说的专题页面,还有必要走整个框架的一套流程吗?进来引用一大堆的文件,初始化一大堆的东西?是不是特别低效呢?所以需要业务解耦,专题页面如果真要框架(可以首次访问之后生成静态页面)也应该是足够轻量级的。不能与传统业务混为一谈。分布式以及 soa说业务优化,真的不得不提架构方面的东西,业务解耦之后,就有了分布式和soa。 说下 soa 自定义 socket 传输协议。 最重要的就是在自定义头里面强调body_len,注意设置为紧凑型,才能保证跨平台性Mysql 优化数据索引相关的文章网上很多了,不足的地方大家补充。表设计 - 拥抱 innodb现在大多数情况都会使用innodb类型了。具体原因是 mysql 专家给的意见。 我自己对 mysql 的优化不了解,每一个细分领域都是一片汪洋,每个人的时间精力是有限的,所以大家也不用什么都非要深入去研究,往往是一些计算机基础更为重要。 参考这份ppt MySQL秘籍.pdf表设计 - 主键索引innodb 需要一个主键,主键不要有业务用途,不要修改主键。主键最好保持顺序递增,随机主键会导致聚簇索引树频繁分裂,随机I/O增多,数据离散,性能下降。举例: 之前项目里有些索引是article_id + tag_id 联合做的主键,那么这种情况下,就是业务了属性了。主键也不是顺序递增,每插入新的数据都有可能导致很大的索引变动(了解下数据库b+索引的原理)表设计 - 字段选择能选短整型,不选长整型。比如一篇文章的状态值,不可能有超过100种吧,不过怎么扩展,没必要用int了。能选 char 就避免 varchar,比如图片资源都有一个hashcode,固定长度20位,那么就可以选char了。当使用 varchar 的时候,长度够用就行,不要滥用。大文本单独分离,比如文章的详情,单独出一张表。其他基本信息放在一张表里,然后关联起来。冗余字段的使用,比如文章的详情字段,增加一个文章markdown解析之后的字段。索引优化大多数情况下,索引扫描要比全表扫描更快,性能更好。但也不是绝对的,比如需要查找的数据占了整个数据表的很大比例,反而使用索引更慢了。没有索引的更新,可能会导致全表数据都被锁住。所以更新的时候要根据索引来做。联合索引的使用explain 的使用联合索引“最左前缀”,查询优化器还会帮你调整条件表达式的顺序,以匹配组合索引的要求。CREATE TABLE `test` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `a` int(10) unsigned NOT NULL, `b` int(10) unsigned NOT NULL, `c` int(10) unsigned NOT NULL, PRIMARY KEY (`id`), KEY `index_abc` (`a`,`b`,`c`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;能使用到索引explain select * from test where a=1; explain select * from test where a=1 and b=2; explain select * from test where a=1 and b=2 and c=3; explain select * from test where a=1 and b in (2,3) and c=3; explain select * from test where a=1 and b=2 order by c desc;不能使用索引explain select * from test where a=1 and b in (2,3) order by c desc; explain select * from test where b=2;explain 搜到一篇不错的: http://blog.csdn.net/woshiqjs... 很重要的参数type,key,extratype 最常见的system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALLextra如果有Using filesort或者Using temporary的话,就必须要优化了收集慢查询my.ini 配置里增加long_query_time=2 log-slow-queries=/data/var/mysql_slow.log使用 nosqlredis 丰富的数据类型,非常适合配合mysql 做一些关系型的查询。比如一个非常复杂的查询列表可以将其插入zset 做排序列表,然后具体的信息,通过zset里面的纸去mysql 里面去查询。缓存优化多级缓存请求内缓存static 变量存储,比如朋友圈信息流,在一次性获取20条信息的时候,有可能,点赞的人里面20条里面有30个人是重复的,他们点赞你的a图片也点赞了你的b图片,所以这时,如果能使用static数组来存放这些用户的基本信息就高效了些。本地缓存请求结束了,下拉更新朋友圈,里面又出现了上面的同样的好友,还得重新请求一次。所以本地常驻内存的缓存就更高效了。分布式缓存在A服务器上已经查询过了,在下拉更新的时候被分配到B服务器上了,难道同样的数据再查一次再存到B服务器的本地缓存里面吗,弄一个分布式缓存吧,这样防止了重复查询。但是多了网络请求这一步。很多时候是三者共存的。避免缓存的滥用案例分析用户积分更新比如用户的基本信息和积分混在一起,当用户登录的时候赠送积分。则需要更新用户的积分,这个时候更新整个用户的基本信息缓存么?所以这里也可以运用下面 hashes 分片的原则去更新礼物和主题绑定缓存为了取数据方便把多个数据源混合缓存了,这种情况,相比大家可能都见过,这是灾难性的设计。{id:x,title:x,gift:{ id:x, name:x, img:x, }}如果需要更新礼物的图片,那么所有用到过这个礼物的话题的缓存都要更新。redis 优化多实例化,更高效地利用服务器 cpu内存优化,官方意见 https://redis.io/topics/memor... 有点老尽可能的使用 hashes ,时间复杂度低,查询效率高。同时还节约内存。Instagram 最开始用string来存图片id=>uid的关系数据,用了21g,后来改为水平分割,图片id 1000 取模,然后将分片的数据存在一个hashse 里面,这样最后的内容减少了5g,四分之一基本上。每一段使用一个Hash结构存储,由于Hash结构会在单个Hash元素在不足一定数量时进行压缩存储,所以可以大量节约内存。这一点在String结构里是不存在的。而这个一定数量是由配置文件中的hash-zipmap-max-entries参数来控制的。服务器认知的提升下面的内容,只能是让大家有一个大概的认识,了解一个优化的方向,具体的内容需要系统学习很多很多的知识。多进程的优势多进程有利于 CPU 计算和 I/O 操作的重叠利用。一个进程消耗的绝大部分时间都是在磁盘I/O和网络I/O中。 如果是单进程时cpu大量的时间都在等待I/O,所以我们需要使用多进程。减少上下文切换为了让所有的进程轮流使用系统资源,进程调度器在必要的时候挂起正在运行的进程,同时恢复以前挂起的某个进程。这个就是我们常说的“上下文切换”。无限制增加进程数,则会增多 cpu 在各个进程间切换的次数。 如果我们希望服务器支持较大的并发数,那么久要尽量减少上下文切换的次数,比如在nginx服务上nginx的子进程数不要超过cpu的核数。 我们可以在压测的时候通过vmstat,nmon来监控系统上下文切换的次数。IOwait 不一定是 I/O 繁忙# top top - 09:40:40 up 565 days, 5:47, 2 users, load average: 0.03, 0.03, 0.00 Tasks: 121 total, 2 running, 119 sleeping, 0 stopped, 0 zombie Cpu(s): 8.6%us, 0.3%sy, 0.0%ni, 90.7%id, 0.2%wa, 0.0%hi, 0.2%si, 0.0%st一般情况下IOwait代表I/O操作的时间占(I/O操作的时间 + I/O和CPU时间)的比例。 但是也时候也不准,比如nginx来作为web服务器,当我们开启很多nginx子进程,IOwait会很高,当再减少进程数到cpu核数附近时,IOwait会减少,监控网络流量会发现也增加。多路复用 I/O 的使用只要是提供socket服务,就可以利用多路复用 I/O 模型。减少系统调用strace 非常方便统计系统调用# strace -c -p 23374Process 23374 attached - interrupt to quit ^CProcess 23374 detached % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 30.68 0.000166 0 648 poll 12.01 0.000065 0 228 munmap 11.65 0.000063 0 228 mmap 10.54 0.000057 0 660 recvfrom 10.35 0.000056 0 708 fstat 7.76 0.000042 0 252 open 6.10 0.000033 1 36 write 5.73 0.000031 0 72 24 access 5.18 0.000028 0 72 read 0.00 0.000000 0 276 close 0.00 0.000000 0 13 13 stat 0.00 0.000000 0 269 240 lstat 0.00 0.000000 0 12 rt_sigaction 0.00 0.000000 0 12 rt_sigprocmask 0.00 0.000000 0 12 pwrite 0.00 0.000000 0 48 setitimer 0.00 0.000000 0 12 socket 0.00 0.000000 0 12 connect 0.00 0.000000 0 12 accept 0.00 0.000000 0 168 sendto 0.00 0.000000 0 12 shutdown 0.00 0.000000 0 48 fcntl 0.00 0.000000 0 12 flock 0.00 0.000000 0 156 getcwd 0.00 0.000000 0 24 chdir 0.00 0.000000 0 24 times 0.00 0.000000 0 12 getuid ------ ----------- ----------- --------- --------- ---------------- 100.00 0.000541 4038 277 total通过strace查看“系统调用时间”和“调用次数”来定位问题strace:跟踪进程的系统调用 、ltrace:跟踪进程调用库函数自己构建web服务器要想理解web服务器优化的原理,最好的办法是了解它的来龙去脉,实践就是最好的方式,我分为以下几个步骤:用 PHP 来实现一个动态 Web 服务器 简单静态 web 服务器(循环服务器)的实现 多进程并发的面向连接 Web 服务器的实践简单静态 Select Web 服务器的实现I/O 多路复用上面是我的学习笔记,图片资源丢失了,大家可以根据相关关键词去搜搜相关的文章和书籍,更推荐大家去看书。
2023年08月10日
26 阅读
0 评论
0 点赞
1
2