通過web.config或.htaccess規則文件屏蔽User_Agent(UA)訪問

查找網站訪問較多的 User_Agent可通過“訪問統計”功能進行查看，登錄進入到虛擬主機管理面板點擊“訪問統計”。

進入訪問統計詳細頁面--找到“瀏覽器 (前 10) 點擊：全部列出/版本 ”查看訪問佔比較大的客戶端（User_Agent）瀏覽器版本。

如果某個特定的特徵佔的比例特別高，比如User_Agent為Amazonbot的佔了90%，而Amazonbot對我們網站不是太重要的話，可按以下方式設置攔截。

 屏蔽多個以"|"分隔，且同樣適用屏蔽蜘蛛的訪問爬行，規則如下：

Linux主機下規則文件.htaccess(可手工創建.htaccess文件到站點根目錄)添加以下規則：

<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "Bytespider|Amazonbot|YisouSpider|^$" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>

Windows主機下規則文件web.config (可手工創建web.config文件到站點根目錄)添加以下規則：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <system.webServer>
   <rewrite>
    <rules>
     <rule name="Block spider">
      <match url="(^robots.txt$)" ignoreCase="false" negate="true" />
      <conditions>
      <add input="{HTTP_USER_AGENT}" pattern="Bytespider|Amazonbot|YisouSpider|^$" ignoreCase="true" /> 
      </conditions>
       <action type="AbortRequest"/>
     </rule>
    </rules>
   </rewrite>
  </system.webServer>
</configuration>

網站流量超標排查
apache、iis規則屏蔽攔截蜘蛛抓取
apache、iis屏蔽限制ip訪問(適用虛擬主機)
apache、iis規則設置防盜鏈