全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 36898|回复: 26
打印 上一主题 下一主题

[疑问] 求扒站正确姿势→目标站已ssl+反代

[复制链接]
跳转到指定楼层
1#
发表于 2017-9-19 12:03:42 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
500金钱
使用各种工具无解,ctrl+s太累
教程站,求推荐工具或方法
老司机可以PM我哦

最佳答案

查看完整内容

HTTrack 选项设定改动下应该可以满足你的需求
2#
发表于 2017-9-19 12:03:43 | 只看该作者
HTTrack
选项设定改动下应该可以满足你的需求
3#
发表于 2017-9-19 12:05:31 | 只看该作者
ctrl+s
4#
发表于 2017-9-19 12:05:32 | 只看该作者
wget -r '目标站'
5#
 楼主| 发表于 2017-9-19 12:15:35 | 只看该作者

Resolving www.xxx.xxx... failed: No address associated with hostname.
wget: unable to resolve host address “ www.xxx.xxx”
6#
发表于 2017-9-19 12:17:58 | 只看该作者
域名解析失败了   如果你浏览器打得开的话一般不会这样  建议换个网络环境再试
7#
 楼主| 发表于 2017-9-19 12:19:45 | 只看该作者
西行寺幽幽子 发表于 2017-9-19 12:17
域名解析失败了   如果你浏览器打得开的话一般不会这样  建议换个网络环境再试 ...

非也可以正常ctrl+s 目标站反代了可能还做了防爬虫处理
8#
发表于 2017-9-19 12:19:56 | 只看该作者
板凳 发表于 2017-9-19 12:15
Resolving www.xxx.xxx... failed: No address associated with hostname.
wget: unable to resolve host ...

在/etc/hosts里面加一下IP试试,是不是被污染了。
9#
 楼主| 发表于 2017-9-19 12:23:22 | 只看该作者
shc 发表于 2017-9-19 12:19
在/etc/hosts里面加一下IP试试,是不是被污染了。

没有被污染,DNS解析区域都正常
10#
发表于 2017-9-19 12:34:10 | 只看该作者
用curl 爬虫

模拟方式抓取  在本地做处理再上传导数据看



我只知道方法   不知道如何具体实现

需要编程基础
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2024-5-11 04:12 , Processed in 0.060585 second(s), 7 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表