robots.txt
robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文本文件，它通常告訴網絡搜索引擎的漫遊器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜索引擎的漫遊器獲取的，哪些是可以被漫遊器獲取的。因為一些系統中的URL是大小寫敏感的，所以robots.txt的文件名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜索引擎的漫遊器訪問子目錄時的行為，那麼可以將自定的設置合併到根目錄下的robots.txt，或者使用robots元數據（Metadata）。
robots.txt協議並不是一個規範，而只是約定俗成的，所以並不能保證網站的隱私。注意robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有與沒有斜槓「/」表示的是不同的URL。robots.txt允許使用類似「Disallow: *.gif」這樣的通配符[1][2]。
其他的影響搜索引擎的行為的方法包括使用robots元數據：
<meta name="robots" content="noindex,nofollow" />
這個協議也不是一個規範，而只是約定俗成的，有些搜索引擎會遵守這一規範，有些則不然。通常搜索引擎會識別這個元數據，不索引這個頁面，以及這個頁面的連出頁面。
例子
允許所有的機器人：
User-agent: *
Disallow:
另一寫法
User-agent: *
Allow:/
僅允許特定的機器人：（name_spider用真實名字代替）
User-agent: name_spider
Allow:
攔截所有的機器人：
User-agent: *
Disallow: /
禁止所有機器人訪問特定目錄：
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
僅禁止壞爬蟲訪問特定目錄（BadBot用真實的名字代替）：
User-agent: BadBot
Disallow: /private/
禁止所有機器人訪問特定文件類型[2]：
User-agent: *
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
非標準擴展協議
自動發現Sitemaps文件
Sitemap指令被幾大搜索引擎支持（包括Google、Yahoo、Bing和Ask），指定了網站Sitemaps文件的位置。Sitemaps文件包含了網站頁面所在的URL的一個列表。Sitemap指令並不受User-agent指令的限制，所以它可以放在robots.txt文件中的任意位置。[3]
唯一要注意的就是要使用網站地圖指令，<sitemap_location>,並將URL的「location」值換成網站地圖的地址，例如，下面就是一個網站地圖指令的例子：
Sitemap: <http://www.example.com/sitemap.xml>
如何編寫Sitemaps文件，請參考sitemaps.org（頁面存檔備份，存於網際網路檔案館）（英文）上的說明。
Crawl-delay指令
幾大抓取工具支持Crawl-delay參數，設置為多少秒，以等待同服務器之間連續請求：[4][5]
User-agent: *
Crawl-delay: 10
Allow指令
一些大的Crawlers支持一項Allow指令，可以抵消先前Disallow指令。比如Googlebot。[6]
替代
雖然robots.txt是最為廣泛接受的方法，但也可以與robots META標籤一起使用。robots META標籤主要是針對一個獨立的頁面設定，與其他的META標籤（如使用的語言、頁面的描述、關鍵詞等）一樣，robots META標籤也是放在頁面的HEAD標籤中，專門用來告訴搜索引擎robots如何抓取該頁的內容。
<head>
<meta name="robots" content="noindex,nofollow" />
</head>
參考文獻
- ^ 使用robots.txt文件阻止或删除网页 (HTML). Google網站站長工具幫助. [2012-10-16]. （原始內容存檔於2012-10-18）.
- ^ 2.0 2.1 完全指南：如何写好WordPress博客的robots.txt文件. The Observing Mind. [2013-02-14]. （原始內容 (HTML)存檔於2013-09-15）.
- ^ Jerri L.Ledord著馬煜譯. 搜索引擎优化宝典. : 257.
- ^ How can I reduce the number of requests you make on my web site? (HTML). Yahoo! Slurp. [2007-02-08]. （原始內容存檔於2007-02-08） （英語）.
- ^ MSNBot is crawling a site too frequently. Troubleshoot issues with MSNBot and site crawling. [2007-02-08]. （原始內容 (HTML)存檔於2007-02-20） （英語）.
- ^ 如何攔截Googlebot（谷歌網站站長工具幫助）（簡體中文）
外部連結
- The Web Robots Pages（頁面存檔備份，存於網際網路檔案館）
- Robots.txt規範 （頁面存檔備份，存於網際網路檔案館）於Google
- 建立robots.txt檔案 （頁面存檔備份，存於網際網路檔案館）的說明於Google
| ||||||||||||||||||||||||||||||||