站長(zhǎng)朋友們都了解，搜索引擎蜘蛛程序通過(guò)域名進(jìn)入網(wǎng)站，從而開(kāi)展對(duì)頁(yè)面的抓取，蜘蛛從指定的頁(yè)面出發(fā)，沿著頁(yè)面中的鏈接，按照某種特定的策略對(duì)網(wǎng)站中的頁(yè)面進(jìn)行遍歷，收錄未訪問(wèn)的網(wǎng)頁(yè)，然后搜索引擎再對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行判斷，決定是否收錄入數(shù)據(jù)庫(kù)。

目前，常見(jiàn)的搜索引擎收錄方式主要廣度優(yōu)先，深度優(yōu)化和用戶(hù)提交這幾種方式，這幾種方式的結(jié)合，從而讓搜索引擎蜘蛛化的能夠遍歷網(wǎng)站的所有頁(yè)面，從而加以收錄，但是如果網(wǎng)站的結(jié)構(gòu)設(shè)置的不好，那么很容易導(dǎo)致蜘蛛無(wú)法爬行到某些頁(yè)面，自然也無(wú)法收錄。事實(shí)上，網(wǎng)站結(jié)構(gòu)在決定頁(yè)面權(quán)重方面起著非常關(guān)鍵的作用，直接影響搜索引擎對(duì)頁(yè)面的收錄，一個(gè)設(shè)計(jì)合理的網(wǎng)站結(jié)構(gòu)可以引導(dǎo)搜索引擎從中抓取到更多、更有價(jià)值的頁(yè)面。

那么，我們?nèi)绾胃鶕?jù)頁(yè)面的收錄原理來(lái)進(jìn)行網(wǎng)站的優(yōu)化工作呢？事實(shí)上，蜘蛛是通過(guò)連接不斷爬行，無(wú)論是采用深度優(yōu)先還是廣度優(yōu)先，由于蜘蛛的能力有限，只能爬到一定的地方，這要求我們盡量減少頁(yè)面的目錄深度及與重要頁(yè)面之間的鏈接深度，從而有利于蜘蛛的爬行，具體分析如下：

一、減少頁(yè)面的目錄深度

減少頁(yè)面的目錄深度，實(shí)際上是減少頁(yè)面URL的目錄層次，新手朋友可以從一下幾個(gè)方面入手：

1.對(duì)于全靜態(tài)頁(yè)面的網(wǎng)站，在規(guī)劃網(wǎng)站時(shí)要精簡(jiǎn)目錄結(jié)構(gòu)，比如http://www.xxx.com/ck/HTML/1.shtml，我們?cè)谝?guī)劃目錄時(shí)，可以精簡(jiǎn)為http://www.xxx.com/ck/1.shtml等。

2.對(duì)于動(dòng)態(tài)頁(yè)面的網(wǎng)站，則可以通過(guò) URL 重寫(xiě)的方式減少頁(yè)面的 URL 的目錄層次。在實(shí)際操作中，我們會(huì)通過(guò)URL重寫(xiě)的方式使得網(wǎng)站中的每個(gè)頁(yè)面的URL深度都為1，即URL 形式為 http://域名/文件名稱(chēng)。

二、一個(gè)頁(yè)面的鏈接數(shù)量不要超過(guò)100

這是很多站長(zhǎng)朋友所忽略的，事實(shí)上，如果一個(gè)頁(yè)面中的鏈接數(shù)量超過(guò)100，搜索引擎可能拒絕索引該頁(yè)面，或者忽略 100 以后的那部分鏈接指向的目標(biāo)頁(yè)面。這是一個(gè)很關(guān)鍵的內(nèi)容，很多站長(zhǎng)朋友并沒(méi)有意識(shí)到這點(diǎn)，所以很多時(shí)候超過(guò)100的那部分鏈接已經(jīng)沒(méi)有意義，不被搜搜引擎蜘蛛所爬行，那么這部分的鏈接所指向的頁(yè)面不會(huì)被收錄，所以如果要想這部分鏈接所指向的頁(yè)面被收錄，我們要另外做鏈接導(dǎo)入。

小肖認(rèn)為，良好的網(wǎng)站結(jié)構(gòu)是平鋪結(jié)構(gòu)，可惜這種結(jié)構(gòu)不適用于大部分站，但是針對(duì)大部分站，我們還是可以好好的進(jìn)行設(shè)計(jì)，遵循上面的三點(diǎn)原則，可以導(dǎo)致蜘蛛爬行到所有的頁(yè)面，從而有利于網(wǎng)站的收錄。

三、減少頁(yè)面之間的鏈接深度

減少頁(yè)面之間的鏈接深度包括減少普通頁(yè)面與重要頁(yè)面之間、重要頁(yè)面與重要頁(yè)面之間的鏈接深度，可以從以下幾點(diǎn)入手：

1.為網(wǎng)站中相對(duì)重要的頁(yè)面增加更多的鏈接入口。在相對(duì)重要的頁(yè)面中存放更多鏈接指向其他的頁(yè)面，這樣不但可以減少頁(yè)面之間的鏈接深度，還可以引導(dǎo)搜索引擎抓取網(wǎng)站中更多相對(duì)重要的頁(yè)面。舉個(gè)簡(jiǎn)單的例子，我們網(wǎng)站的首頁(yè)可以在合理的范圍內(nèi)加上更多指向其他相對(duì)重要的頁(yè)面的鏈接。這樣有利于蜘蛛的爬行收錄。

2.如果我們要突出某個(gè)重要的頁(yè)面，可以在更多的頁(yè)面中加上鏈接指向這個(gè)頁(yè)面，可以化的保證這個(gè)重要頁(yè)面的收錄和提高這個(gè)頁(yè)面的權(quán)重。

3.用心制作好網(wǎng)站地圖。網(wǎng)站地圖起到了減少頁(yè)面之間的鏈接深度，有利于蜘蛛查找到更多的頁(yè)面。