全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 1103|回复: 8
打印 上一主题 下一主题

爬虫把后端的cpu爬到100了,全是垃圾爬虫

[复制链接]
跳转到指定楼层
1#
发表于 2023-3-24 01:53:59 来自手机 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
反代,前端宝塔nginx开了缓存。后端网站用wordpress伪静态。

前端啥事都没有。后端cpu百分百 是mysql占用

为什么会这样?
推荐
发表于 2023-3-24 01:55:51 | 只看该作者
地址发出来,我看看能不能加到101
2#
发表于 2023-3-24 01:54:59 | 只看该作者
证明你CPU实在太垃圾了,一点点爬虫就百分百,。。。。
4#
 楼主| 发表于 2023-3-24 01:59:04 来自手机 | 只看该作者
v2w3.com 发表于 2023-3-24 01:54
证明你CPU实在太垃圾了,一点点爬虫就百分百,。。。。

垃圾也是linode垃圾 没流量的站 全是垃圾蜘蛛在爬。
5#
发表于 2023-3-24 02:00:04 | 只看该作者
怪人 发表于 2023-3-24 01:59
垃圾也是linode垃圾 没流量的站 全是垃圾蜘蛛在爬。

你配置太差了。。。没流量都能百分百,是有多差的配置。。。。
6#
发表于 2023-3-24 03:58:45 | 只看该作者
大概率是程序问题,复杂查询拖慢mysql
7#
发表于 2023-3-24 09:38:56 | 只看该作者
可以把爬虫的UA加到NGINX直接屏蔽
8#
发表于 2023-3-24 09:44:02 | 只看该作者
垃圾站帖子太多了呗
9#
发表于 2023-3-24 09:48:22 | 只看该作者
查一下慢SQL吧
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-3-28 23:03 , Processed in 0.063971 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表