论坛风格切换
  • 851阅读
  • 1回复

站长必知基础(一):如何阻止垃圾蜘蛛的抓取 [复制链接]

上一主题 下一主题
hnxyka
用户信息
ID
№.20909
级别
一星会员
经验
64%
性别
保密
荣誉勋章
 

只看楼主 倒序阅读 使用道具 楼主  发表于: 2015-11-25
— 本帖被 南街一灯 从 资源共享 移动到本区(2015-11-25) —
  作为一个网站的负责人,你是否有关注过IIS日志的信息详情?如果没有,我敢肯定你网站的不少带宽都被所谓的蜘蛛占去了,即使你的带宽很猛,不在乎那么点流量,但是从优化到极致来说,这都是远远不达标的。

  蜘蛛分为真假蜘蛛,一般大型搜索引擎的蜘蛛,如百度、谷歌的蜘蛛,假蜘蛛一般归总为垃圾搜索引擎和恶意抓取程序。其中百度蜘蛛的真假分析,你可以通过语法“ nslookup ip”,查看来源是否是百度的子站点,如果不是,那么就是伪装的百度蜘蛛。如果仔细分析,你会发现一些国内或国外的蜘蛛,例如 EasouSpider、AhrefsBot等,这些蜘蛛都是没有什么用的,如果你面向的市场是国内的,百度 BaiduSpider,谷歌Googlebot,360 360Spider,sosoSosospider,搜狗Sogou+web+spider,保留这几个蜘蛛的抓取就足够了,其他的蜘蛛一律屏蔽掉就行了,还有把你的静态资源,如Image和JS、CSS的路径也屏蔽掉,这些资源都是不需要蜘蛛抓取的,因为没有展现的价值;

  具体如何加屏蔽呢?你可以手动新建一个robots.txt文件,放到网站根目录下,内容填写例如:User-Agent: AhrefsBot Disallow: / ,表示不允许AhrefsBot蜘蛛抓取任何页面,其他的屏蔽都可以类似这样填写;如果你不会填写内容,你也可以到百度站长平台上,直接生成robots.txt文件,然后将文件更新到网站根目录即可;例如我之前查看日志发现了一些垃圾蜘蛛,直接采取屏蔽措施,robots设置如下:

  site判断网站收录

  这样屏蔽不必要的蜘蛛抓取,便可以轻松实现避免浪费带宽和流量,当然这对于遵循互联网协议的网络公司来说,是非常有效的办法,也不排除存在一些不遵循行业标准的恶意抓取程序,要禁止这些,只能是在确切证据证明下,直接对Ip进行屏蔽,才能行之有效了。本文来源:长沙爵士舞培训
评价一下你浏览此帖子的感受

精彩

感动

搞笑

开心

愤怒

无聊

灌水
www.hncoolwarm.com www.inhd2.com www.zgkgdy.com www.hnkt8.com www.0731ktwx.com
萱萱儿
用户信息
ID
№.21885
级别
五星会员
经验
80%
性别
保密
荣誉勋章

只看该作者 沙发  发表于: 2016-09-01
Re:站长必知基础(一):如何阻止垃圾蜘蛛的 ..
这样屏蔽不必要的蜘蛛抓取,便可以轻松实现避免浪费带宽和流量
快速回复
限44 字节
批量上传需要先选择文件,再选择上传
做人要厚道,看帖要顶帖!
 
上一个 下一个

      鄂公网安备 42062502000001号