如何禁止搜狗蜘蛛爬行你的网站

[复制链接]
查看621 | 回复0 | 2020-3-13 21:26:12 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
方法1:

禁止方法,建立robots.txt文件,文件内这样写:

  1. User-agent: Sogou web spider

  2. Disallow: /

  3. User-agent: sogou spider

  4. Disallow: /

  5. User-agent: *

  6. Disallow:
复制代码
之所以写了两条,因为现在拿不准到底是sogou spider,还是Sogou web spider。其他搜索引擎在相关文章中都有说明自己的蜘蛛名称,但搜狗没有--由此可见它流氓的一面。
然后把文件传到网站的根目录即可。但是搜狗的蜘蛛比较流氓,有时不遵守robots.txt文件协议,禁止它还是来爬。

方法2:

配合robots.txt文件,再写一个文件,文件名
.htaccess
注意文件名,没有名称,只有后缀htaccess,写错了就不管用了。

文件里边这样写:
  1. #block spider

  2. <Limit GET HEAD POST>

  3. order allow,deny

  4. #Sogou block

  5. deny from 220.181.125.71

  6. deny from 220.181.125.68

  7. deny from 220.181.125.69

  8. deny from 220.181.94.235

  9. deny from 220.181.94.233

  10. deny from 220.181.94.236

  11. deny from 220.181.19.84

  12. allow from all

  13. </LIMIT>
复制代码

写好后,把这个文件也传到网站的根目录。这里边列出来的都是搜狗蜘蛛的IP,它是经常更换的,如果你如现新的,可以随时补充进去。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

灌水成绩
406
主题
410
帖子
1575
积分
等级头衔
积分成就
  • 威望: 0
  • 贡献: 1165
  • 金钱: 0
  • 违规:
  • 在线时间:156 小时
  • 注册时间:2020-2-11
  • 最后登录:2020-8-23
个人勋章

最佳新人活跃会员热心会员突出贡献优秀版主论坛元老精贴王灌水之王荣誉管理

联系方式