robots是什么
robots是網(wǎng)站跟蜘蛛間的協(xié)議，當訪問站點時，它首先檢查機器人是否存在于站點的根目錄中。如果找到，蜘蛛就會按照該文件中的內(nèi)容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取。一定要注意txt文件必須放在站點的根目錄中，文件名必須為小寫。
robots.txt是一個純文本文件，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被搜索引擎訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。因此，機器人的優(yōu)化將直接影響到搜索引擎對站點的收錄。
只有在需要禁止抓取某些內(nèi)容時，才寫robots。一些服務(wù)器設(shè)置是問題：當機器人文件不存在時，它返回200個狀態(tài)代碼和一些錯誤消息，而不是404頁面，這是因為搜索機器人誤讀了robots文件信息。
robots mate是什么
robots meta標簽主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關(guān)鍵詞等)一樣， robots meta標簽也是放在頁面的head>中，專門用來告訴搜索引擎機器人如何抓取該頁的內(nèi)容。
follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續(xù)抓取下去；
robots meta標簽的缺省值是index和follow；
index指令告訴搜索機器人抓取該頁面；
robots meta標簽中沒有大小寫之分，name=“robots”表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name=“ baiduspider' content部分有四個指令選項index、noindex、follow、nofollow，指令間以“，”分隔。
Robots和robots mate的區(qū)別
目前來說，所有的搜索引擎都支持和遵守robots.txt的規(guī)定，但是支持robots mate的卻比較少，大家可以酌情使用。
閱讀本文的人還可以閱讀：
