我是剛剛接觸站內(nèi)優(yōu)化的,因為之前一直是做站外優(yōu)化的,所以對站內(nèi)優(yōu)化還不是很了解,今天主要跟打擊分享的是站內(nèi)優(yōu)化過程中很多人會忽視的三個方面,即:sitemap、404頁面、robots.txt。很多站長在做站內(nèi)優(yōu)化的時候很容易忽視這三個方面,覺得sitemap、404頁面、robots.txt沒有什么優(yōu)化的必要,只要網(wǎng)站上有就行了。其實完全不是這樣的,很多新站收錄慢,或者根本不被收錄;老站排名上不去,很大的原因就是因為沒有做好這三方面的優(yōu)化。如果把這三個方面的優(yōu)化做好你會發(fā)現(xiàn)蜘蛛對你的網(wǎng)站的友好度會大大提升。
sitemap又稱網(wǎng)站地圖。
在專業(yè)術(shù)語上,sitemap就是一個頁面,上面放置了網(wǎng)站上所有頁面的鏈接,一個網(wǎng)站所有鏈接的容器,根據(jù)網(wǎng)站的結(jié)構(gòu)、框架、內(nèi)容,生成的導(dǎo)航網(wǎng)頁文件。大多數(shù)人在網(wǎng)站上找不到自己所需要的信息時,可能會將網(wǎng)站地圖作為一種補救措施,蜘蛛非常喜歡網(wǎng)站地圖。
為什么要講網(wǎng)站地圖呢,把蜘蛛比作是一個人,當(dāng)你到一個陌生的城市時,第一個想到的應(yīng)該是去買一張這個城市的地圖,不然很容易迷路的。同樣的道理蜘蛛爬行你的網(wǎng)站時要是有一張地圖引導(dǎo)他,他就不會迷路,而且要是你的地圖結(jié)構(gòu)合理且連續(xù)性強的話,蜘蛛就會長時間停留在你的網(wǎng)站上。做一個很形象的比喻,我們在買到一張地圖時,如果他上面的路標(biāo)、地名標(biāo)示的不是很明顯,或者說是很清晰,我們上哪去找我們要到達的地方呢。還有就是你的地圖很混亂,道路與道路之間沒有一定的延續(xù)性也會導(dǎo)致迷路的。所以我們的網(wǎng)站地圖優(yōu)化需要我們在做站內(nèi)鏈接的時候要有一定的合理延續(xù)性,當(dāng)你從一個頁面鏈接到另一個頁面是一定要有一定的相關(guān)性,不然很容易引起蜘蛛的反感的,網(wǎng)站的URL地址就跟地圖的路標(biāo)一樣一定要標(biāo)明的很明確,不要用一些不懂得或者跟頁面不相關(guān)的字母。不然蜘蛛在爬取你的網(wǎng)站時很難讀懂你網(wǎng)站網(wǎng)頁的具體內(nèi)容的。
404頁面
404是W3C規(guī)定的HTTP狀態(tài)碼中的一種。是WWW網(wǎng)站訪問比較經(jīng)常出現(xiàn)的錯誤。告訴瀏覽者其所請求的頁面不存在或鏈接錯誤,同時引導(dǎo)用戶使用網(wǎng)站其他頁面而不是關(guān)閉窗口離開,這種專業(yè)的官方解釋。通俗點將404頁面就是一個網(wǎng)站內(nèi)的報錯頁面,當(dāng)我們輸入你的網(wǎng)站網(wǎng)址出現(xiàn)錯誤時,就會直接跳轉(zhuǎn)到404頁面,404頁面會引導(dǎo)用戶返回到網(wǎng)站的首頁或者其他用戶比較關(guān)注的頁面。這就需要我們在制作404頁面時要給用戶或者蜘蛛做一個很好的引導(dǎo)作用,引導(dǎo)用戶回到你網(wǎng)站的首頁或者其他頁面,要是你的404頁面什么都沒有的話,蜘蛛或者用戶訪問到你這個頁面找不到任何的信息就會直接關(guān)閉,這樣的用戶體驗是很不好的。我們可以從下圖的一個404頁面看出來,這個網(wǎng)站的404頁面有一個返回首頁跟免費咨詢這兩個返回鏈接,這樣的404頁面優(yōu)化就已經(jīng)算是不錯的了,我們出錯了可以回到首頁尋找我們想要找的信息。
Robots.txt
在搜索引擎訪問網(wǎng)站的時候,Robots.txt是第一個要被查看的文件,Robots.txt會告訴網(wǎng)絡(luò)蜘蛛程序在服務(wù)器上什么文件是可以被查看的。在進行SEO網(wǎng)站優(yōu)化的時候,通過Robots.txt把一些內(nèi)容不想讓蜘蛛抓取,比如js等后臺程序文件 進行攔截,如果沒有Robots.txt,蜘蛛會抓取你網(wǎng)站上所有的文件,這樣的話你網(wǎng)站內(nèi)部一些蜘蛛不喜歡的文件也會被抓取到,這樣會讓蜘蛛對你的網(wǎng)站產(chǎn)生很嚴(yán)重 的排斥心理,會大大降低網(wǎng)站的搜索引擎抓取效率!所以,我們一定要記得設(shè)置Robots.txt,不僅要設(shè)置,特別是一些JS跳轉(zhuǎn)的文件,一定不要讓那個蜘蛛抓取。一些網(wǎng)站是可以注冊的,我們也要把注冊信息屏蔽掉,你想你那么多的注冊信息讓蜘蛛抓取的話,一點實用的信息都沒有,這也是不利于網(wǎng)站的優(yōu)化的。包括網(wǎng)站內(nèi)部的登陸頁面、評論頁面之類的,因為這些頁面每個頁面都存在,這樣蜘蛛抓取的話會主導(dǎo)很多的重復(fù)頁面的,也是不利于網(wǎng)站的排名的。