全球主机交流论坛

标题: 爬虫把后端的cpu爬到100了，全是垃圾爬虫 [打印本页]

作者: 怪人 时间: 2023-3-24 01:53
标题: 爬虫把后端的cpu爬到100了，全是垃圾爬虫
反代，前端宝塔nginx开了缓存。后端网站用wordpress伪静态。

前端啥事都没有。后端cpu百分百是mysql占用

为什么会这样？

作者: v2w3.com 时间: 2023-3-24 01:54
证明你CPU实在太垃圾了，一点点爬虫就百分百，。。。。

作者: 3xI 时间: 2023-3-24 01:55
地址发出来，我看看能不能加到101

作者: 怪人 时间: 2023-3-24 01:59

v2w3.com 发表于 2023-3-24 01:54
证明你CPU实在太垃圾了，一点点爬虫就百分百，。。。。

垃圾也是linode垃圾没流量的站全是垃圾蜘蛛在爬。

作者: v2w3.com 时间: 2023-3-24 02:00

怪人发表于 2023-3-24 01:59
垃圾也是linode垃圾没流量的站全是垃圾蜘蛛在爬。

你配置太差了。。。没流量都能百分百，是有多差的配置。。。。

作者: yrj 时间: 2023-3-24 03:58
大概率是程序问题，复杂查询拖慢mysql

作者: 悠悠 时间: 2023-3-24 09:38
可以把爬虫的UA加到NGINX直接屏蔽

作者: allnetstore 时间: 2023-3-24 09:44
垃圾站帖子太多了呗

作者: DearJohn 时间: 2023-3-24 09:48
查一下慢SQL吧

欢迎光临全球主机交流论坛 (https://91ai.net/)