robots.txt概念
如果我們網(wǎng)站內(nèi)有某些特殊的文件不讓搜索引擎收錄，那怎么辦？
答案是：使用一個(gè)叫做robots.txt的文件。
robots.txt文件告訴搜索引擎本網(wǎng)站哪些文件是允許搜索引擎蜘蛛抓取，哪些不允許抓取。
搜索引擎蜘蛛訪問(wèn)網(wǎng)站任何文件之前，需先訪問(wèn)robots.txt文件，然后抓取robots.txt文件允許的路徑，跳過(guò)其禁止的路徑。
總結(jié)：robots.txt是一個(gè)簡(jiǎn)單的.txt文件，用以告訴搜索引擎哪些網(wǎng)頁(yè)可以收錄，哪些不允許收錄。
關(guān)于robots.txt文件的10條注意事項(xiàng)：
1、如果未創(chuàng)建robots.txt文件，則代表默認(rèn)網(wǎng)站所有文件向所有搜索引擎開(kāi)放爬取。
2、必須命名為：robots.txt，都是小寫(xiě)，robot后面加"s"。
3、robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下。
通過(guò)如http://www.amjx.cn/robots.txt 可以成功訪問(wèn)到，則說(shuō)明本站的放置正確。
4、一般情況下，robots.txt里只寫(xiě)著兩個(gè)函數(shù)：User-agent和 Disallow。
5、空格換行等不能弄錯(cuò)，可復(fù)制這個(gè)頁(yè)面并修改為自己的。點(diǎn)擊
6、有幾個(gè)禁止，就得有幾個(gè)Disallow函數(shù)，并分行描述。
7、至少要有一個(gè)Disallow函數(shù)，如果都允許收錄，則寫(xiě): Disallow:
如果都不允許收錄，則寫(xiě):Disallow: / （注：只是差一個(gè)斜桿）。
8、允許有多個(gè)User-agent，如果對(duì)所有爬取蜘蛛生效，則用“*”星號(hào)表示。
9、robtos.txt文件內(nèi)可以放上Sitemap文件地址，方便告訴搜索引擎Sitemap文件地址。
10、網(wǎng)站運(yùn)營(yíng)過(guò)程中，可以根據(jù)情況對(duì)robots.txt文件進(jìn)行更新，屏蔽一些不要搜索引擎抓取的文件地址。
舉例兩個(gè)常見(jiàn)屏蔽規(guī)則：
User-agent: * 星號(hào)說(shuō)明允許所有搜索引擎收錄
Disallow: /search.html 說(shuō)明 http://www.amjx.cn/search.html 這個(gè)頁(yè)面禁止搜索引擎抓取。
Disallow: /index.php? 說(shuō)明類似這樣的頁(yè)面http://www.amjx.cn/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。
擴(kuò)展閱讀：
