每個(gè)做SEO的站長(zhǎng)們都應(yīng)該基本分析網(wǎng)站日志的能力。因?yàn)橥ㄟ^網(wǎng)站的日志可以分析出搜索引擎蜘蛛的動(dòng)態(tài)，用戶訪問的動(dòng)態(tài)，以及發(fā)現(xiàn)網(wǎng)站哪些鏈接存在異常。
網(wǎng)站日志的分析和診斷就像給網(wǎng)站看病一樣，我們通過網(wǎng)站日志的分析，可以更加清楚的知道網(wǎng)站的健康狀況，可以利于這些數(shù)據(jù)讓我們更好的做網(wǎng)站SEO優(yōu)化。下面就和大家說下日志分析的一些事項(xiàng)：
常見的蜘蛛名稱：
Baiduspider;
Baiduspider-Image;
Googlebot;
Googlebot-Image;
360Spider;
sogou spider。
一、網(wǎng)站日志的重要作用？
1、通過網(wǎng)站日志可以了解蜘蛛對(duì)網(wǎng)站的基本爬取情況，可以知道蜘蛛的爬取軌跡和爬取量，通過我們的網(wǎng)站日志，外鏈的多和少和網(wǎng)站蜘蛛的爬取量是有直接影響的，我們所說的鏈接誘餌就是如果你做了一個(gè)外鏈，蜘蛛在爬取這個(gè)外鏈頁(yè)面并把頁(yè)面放出來時(shí)，蜘蛛可以通過你留的這個(gè)鏈接來爬取你的網(wǎng)站，而網(wǎng)站日志正是會(huì)記錄下蜘蛛的這次爬取行動(dòng)。
2、網(wǎng)站的更新頻率也和網(wǎng)站日志中蜘蛛抓取的頻率有關(guān)，一般來說更新頻率越高，蜘蛛的抓取頻率越高，而我們網(wǎng)站的更新不但僅只是新內(nèi)容的添加同時(shí)還有我們的微調(diào)操作。
3、我們可以按照網(wǎng)站日志的反應(yīng)情況，對(duì)我們的空間的某些事情和問題提前進(jìn)行預(yù)警，因?yàn)檗k事器如果出問題的話在網(wǎng)站日志中會(huì)第一時(shí)間反映出來，要知道辦事器的不變速度和打開速度兩者都會(huì)直接影響我們的網(wǎng)站。
4、通過網(wǎng)站日志我們可以知道網(wǎng)站的那些頁(yè)面是很受蜘蛛歡迎的，而哪些頁(yè)面是蜘蛛連碰都不去碰的，同時(shí)我們還能發(fā)現(xiàn)有一些蜘蛛由于是過度爬取對(duì)我們的辦事器資源損耗是很大的，我們要進(jìn)行屏蔽工作。
二、如何下載日志及日志設(shè)置注意事項(xiàng)？
1、首先我們的空間要支持網(wǎng)站日志下載，這一點(diǎn)是很重要的，在我們購(gòu)買空間之前必需要先問好支不支持網(wǎng)站日志下載，因?yàn)橛械霓k事商是不提供這項(xiàng)辦事的，如果支持的話空間后臺(tái)一般都有日志W(wǎng)ebLog日志下載這個(gè)功能把它下載到根目錄在用FTP傳到當(dāng)?shù)鼐涂梢裕k事器的話可以設(shè)置將日志文件下載到指定路徑。
2、這里有個(gè)很重要的問題，網(wǎng)站日志強(qiáng)烈建議設(shè)置成每小時(shí)生成一次，小型的企業(yè)站和頁(yè)面內(nèi)容較少的網(wǎng)站可以設(shè)置成一天，它默認(rèn)是一天，如果內(nèi)容多或者大型站設(shè)置成一天生成一次，那么一天只生成一個(gè)文件，這個(gè)文件會(huì)相當(dāng)?shù)拇?，我們有時(shí)電腦打開是會(huì)造成死機(jī)，設(shè)置的話找空間商協(xié)調(diào)設(shè)置即可。
三、網(wǎng)站日志的分析。
1、日志的后綴名是log的我們用記事本打開，選擇格式里的自動(dòng)換行這樣看起來便利，同時(shí)用搜索功能搜索BaiduSpider和Googlebot這兩個(gè)蜘蛛。
例如：
百度蜘蛛 2012-03-13 00：47：10 W3SVC177 116.255.169.37 GET / – 80 – 220.181.51.144 Baiduspider-favo+（+ baidu /search/spider ） 200 0 0 15256 197 265
谷歌機(jī)器人 2012-03-13 08：18：48 W3SVC177 116.255.169.37 GET /robots.txt – 80 – 222.186.24.26 Googlebot/2.1+（+ google /bot ） 200 0 0 985 200 31
我們分段來解釋
2012-03-13 00：47：10 蜘蛛爬取的日期和時(shí)間點(diǎn)；W3SVC177 這個(gè)是機(jī)器碼這個(gè)是惟一的 我們不去管它；116.255.169.37 這個(gè)IP地址是辦事器的IP地址；GET 代表事件，GET后面就是蜘蛛爬取的網(wǎng)站頁(yè)面，斜杠就代表首頁(yè)，80 是端口的意思，220.181.51.144 這個(gè)IP則是蜘蛛的IP，這里快排發(fā)包技術(shù)小編告訴大家一個(gè)辨別真假百度蜘蛛的方法，我們電腦點(diǎn)擊開始運(yùn)行輸入cmd打開命令提示符，輸入nslookup空格加蜘蛛IP點(diǎn)擊回車，一般真百度蜘蛛都有本身的辦事器IP而假蜘蛛則沒有。
如果網(wǎng)站中出現(xiàn)了大量的假蜘蛛則說明有人冒充百度蜘蛛來采集你的內(nèi)容，你就需要注意了，如果太跋扈獗那會(huì)很占用你的辦事器資源，我們需要屏蔽他們的IP.200 0 0這里是狀態(tài)碼 狀態(tài)碼的意思可以在百度里搜索下；197 265最后兩個(gè)數(shù)字則代表著拜候和下載的數(shù)據(jù)字節(jié)數(shù)。
2、我們分析的時(shí)候先看看狀態(tài)碼 200代表下載成功，304代表頁(yè)面未修改，500代表辦事器超時(shí)，這些是一般的其他代碼可以百度一下，對(duì)于差別的問題我們要處理。
3、我們要看蜘蛛經(jīng)常爬取哪些頁(yè)面，我們要記錄下來，分析他們?yōu)槭裁磿?huì)經(jīng)常被蜘蛛爬取，從而分析出蜘蛛所喜歡內(nèi)容。
4、有時(shí)候我們的路徑不統(tǒng)一出現(xiàn)帶斜杠和不帶斜杠的問題，蜘蛛會(huì)自動(dòng)識(shí)別為301跳轉(zhuǎn)到帶斜杠的頁(yè)面，這里我們就發(fā)現(xiàn)了搜索引擎是可以判斷我們的目錄的，所以我們要對(duì)我們的目錄進(jìn)行統(tǒng)一。
