爬行和抓取 是搜索引擎工作的第一步，完成數(shù)據(jù)收集任務(wù)。
1、蜘蛛：
搜索引擎用來(lái)爬行和訪問(wèn)頁(yè)面的程序被稱為蜘蛛（spider），也稱為機(jī)器人（bot）。
2、跟蹤鏈接：
為了抓取網(wǎng)上盡量多的頁(yè)面，搜索引擎蜘蛛會(huì)跟蹤頁(yè)面上的鏈接，從一個(gè)頁(yè)面爬到下一個(gè)頁(yè)面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也是搜索引擎蜘蛛這個(gè)名稱的由來(lái)。
3、吸引蜘蛛：
理論上蜘蛛能爬行和抓取所有頁(yè)面，但實(shí)際上不能，也不會(huì)這么做。SEO人員想要讓自己的更多頁(yè)面被收錄，就要想方設(shè)法吸引蜘蛛抓取。
4、地址庫(kù)：
為了避免重復(fù)爬行和抓取網(wǎng)址，搜索引擎會(huì)建立一個(gè)地址庫(kù)，記錄已經(jīng)被發(fā)現(xiàn)還沒(méi)有抓取的頁(yè)面，以及已經(jīng)被抓取的頁(yè)面。
5、文件儲(chǔ)蓄：
搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)。其他的頁(yè)面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。每個(gè)URL都是這樣一個(gè)獨(dú)特的文件編號(hào)。
