久久青草精品A片狠狠,日韩欧美视频一区二区,亚洲国码AV日韩,国产精品黄在

apache禁止網絡爬蟲采集

2016-10-13 17:28:36 9552

Apache中禁止網絡爬蟲，之前設置了很多次的，但總是不起作用，原來是是寫錯了，不能寫到Dirctory中，要寫到Location中

1

2

3

4

5

6

7

8

9

<Location />

SetEnvIfNoCase User-Agent "spider" bad_bot

BrowserMatchNoCase bingbot bad_bot

BrowserMatchNoCase Googlebot bad_bot

Order Deny,Allow

#下面是禁止soso的爬蟲

Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209

Deny from env=bad_bot

</Location>


1

SetEnvIfNoCase User-Agent "spider" bad_bot

這是禁止了所有包含spider字符的爬蟲。
如果要針對性的禁止爬蟲，改成精確匹配的爬蟲字符串，如果bingbot、Googlebot等等


提交成功！非常感謝您的反饋，我們會繼續努力做到更好！

這條文檔是否有幫助解決問題？

非常抱歉未能幫助到您。為了給您提供更好的服務，我們很需要您進一步的反饋信息：

在文檔使用中是否遇到以下問題：