[代码发布] ［原创、首发］网站生成静态页面，及网站数据采集的攻、防原理和策略 [复制链接]
查看:24539 | 回复:46

小琦 · 发表于 2005-12-8 12:30:15

关于批量采集远程文件的补充：
近日很多朋友问我为什么用采集器下载远程文件时，有的网站不能下载？
我看了看，他们说的这些网站所留下的文件下载地址，都是动态页面，在动态页面里面做了一个网页转向。
如：asp里，常用response.redirect "http://www.xiaoqi.net/temp/qyk.rar"做网页转入。

我们常用的CreateObject("Microsoft.XMLHTTP") 方法，不支持远程下载这种路径的文件。
用CreateObject("Microsoft.XMLHTTP") 远程下载这样路径的文件时，就会出错。
如果用Server.CreateObject("MSXML2.serverXMLHTTP") ，就可以避免这种错误，也可以把文件下载下来了。

豕韦 · 发表于 2006-1-5 22:17:47

好文章

cjx · 发表于 2006-1-8 14:38:55

太好了

cityshang · 发表于 2006-1-10 13:53:01

好。采集是不错。

piaoyi0960 · 发表于 2006-2-10 20:45:17

前面写的不错,不过防采集是防不住的,只要你提供正常访问,都可以采集下来,
URL可以模拟,也可以模拟WEB访问,我在写小说采集程序的时候就考虑过这个问题,
另外你后面提到的MD5加密地址,用正则匹配动态取得地址,一样可以采集到.

目前我还没有找到有效的防止采集的,起点VIP和幻剑书盟的VIP章节,我都测试过,通过WEB模拟都可以采集过来.

希望有仁兄能找到好的方法.

小舟 · 发表于 2006-6-18 17:26:03

呵呵,不发表什么意见了,我只是感觉没有采集不了的站,思路的问题,防是不可能防的住的

yngjzj · 发表于 2006-6-29 02:11:39

实在是经典，不过没有必要防采集啊！怕就不要做站了

百独托管7500 紫田网络	超高转化播放器收cps[推荐]	速盾CDN 免实名免备防屏蔽	阿里云爆款特卖9.9元封顶	提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场	【腾讯云】多款产品1折起	高防随时退换好耶数据	小飞国外网赚带你月入万元	炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠	中客数据中心服务器租用	联盟系统移动广告平台中易	企业专场腾讯云服务器2.5折	九九数据工信部正规资质
腾讯云新用户大礼包代金券	高价收cpa注册量高价展示	【腾讯云】2核2G/9.93起	租服务器找45互联随时退换	阿里云短信服务验证秒达

[代码发布] ［原创、首发］网站生成静态页面，及网站数据采集的攻、防原理和策略 [复制链接] 查看:24539 | 回复:46

好。采集是不错。

QQ绑定

[代码发布] ［原创、首发］网站生成静态页面，及网站数据采集的攻、防原理和策略 [复制链接]
查看:24539 | 回复:46