全球主机交流论坛

标题: 大佬们，htaccess屏蔽爬虫，姿势怎么摆啊 [打印本页]

作者: fifalan 时间: 2018-6-8 20:09
标题: 大佬们，htaccess屏蔽爬虫，姿势怎么摆啊
小站被yandex直接爬挂了，写了robots，不过生效太慢，然后网上找了htaccess屏蔽代码，如下
RewriteCond %{HTTP_USER_AGENT} “Bingbot|MSNbot|Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu” [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]

RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L] 这段有点不理解，是只要这些爬虫就让他们访问 robots么，后面的网址是什么意思啊。懂的大佬指点下吧

作者: yanghao54 时间: 2018-6-8 20:27
robots不起作用的，封ip段，来一次封一次。

作者: fifalan 时间: 2018-6-8 20:32

yanghao54 发表于 2018-6-8 20:27
robots不起作用的，封ip段，来一次封一次。

没IP库...这个htaccess可以么

作者: yanghao54 时间: 2018-6-8 20:34
看日志呀，还要什么ip库，一个蜘蛛也就十几个ip段。

作者: fifalan 时间: 2018-6-8 20:43

yanghao54 发表于 2018-6-8 20:34
看日志呀，还要什么ip库，一个蜘蛛也就十几个ip段。

直接屏蔽所有垃圾爬虫不是最省事么

作者: Abbey 时间: 2018-6-8 20:56
yandex我是直接导向百度的

作者: fifalan 时间: 2018-6-8 21:11

Abbey 发表于 2018-6-8 20:56
yandex我是直接导向百度的

大佬怎么弄的啊我被搞的死去活来

作者: icefox913 时间: 2018-6-21 13:13
封ip是最简单的办法现在免费的东西越来越少

欢迎光临全球主机交流论坛 (https://mjj.022333.xyz/)