網站如何控制索引範圍?

網站如何控制索引範圍?

過去在操作規模較小的網站時,重點往往是增加網站的網頁索引數,但操作大型網站除了增加索引數外,更重要的是引導搜尋引擎爬取正確的路線/頁面,意即有效控制索引範圍。一方面是不浪費索引的額度(Google對每個網站都有一定的索引額度),另一方面也是不增加我們網站本身的流量負擔(CDN等也是很貴的)。

網站結構

避免重要頁面埋得太深而不易被索引,重要的頁面離首頁愈近愈好,愈多內部連結連到愈好。

網址結構

三層以後的網址易被robot忽略。例如:http://sample/abc/def/ghi,其中「def」是第三層,「ghi」是第四層。網址太長可能會遭到robot捨棄。但根據我的觀察,這樣的狀況是很少的,但如果使用site指令是可以發現有這樣的狀況,超過某個長度後的網址便不完全比對。

因此,重要的頁面要放在三層以內,確保網址不會因為太長而被捨棄索引。

內部連結要妥善設計,必要時加上nofollow

避免robot迴圈般的爬取網址,或爬某個需要登入或偽連結,導致連不到重點和深層連結。

為什麼我會注意到這個問題呢?因為在Search Console上,我常看到報錯上顯示一個很有趣的狀況...

網站上有些功能是需要登入才能使用的,因此當點擊這個連結的時候,如果使用者沒有登入,就會回傳登入頁面。若是robot做這個動作,它就會看到soft 404,也就是想要找的頁面不見了,但又沒有回傳404。

這樣的功能問題在我們網站上好像挺多的,例如:商品檢舉(登入後,點擊商品檢舉連結,會跳到填寫檢舉表單頁)--我常常看到一種報錯--soft 404,來源是某個需要登入的連結,範例:http://goods.ruten.com.tw/item/violate.htm?123456789,這就是因為robot在爬這個商品頁時,遇到這個連結,跟著進去發現需要登入(被轉址導到登入頁)而產生的。這種浪費robot時間資源、對自己網站產生無謂流量的狀況應該要盡量避免。

解決辦法,最簡單的就是當使用者沒有登入的時候,就不要顯示這個連結;或是,在這個連結上加入 「nofollow」,明確告知robot不要去爬。

canonical

網站格式統一,避免同一頁但不同網址的頁面競爭排名。使用canonical可能會導致網站總索引數下降,但若下降也代表網站有太多虛報的頁面了。

配合<link rel="alternate">,這個指令同時也能使robot得知並索引手機版網頁、AMP網頁,這在官方文件上是有提到的。在做桌機與手機版網址對應的優化前,我們家露天在桌機常搜尋到手機版的頁面,或在手機上搜尋到桌機版的頁面,利用<link rel"canonical"><link rel="alternate">設定桌機與手機版本網址的對應,這情況已逐漸改善。

robots.txt:disallow

避免robot爬到或索引到不必要的頁面,例如:需要登入的頁面、沒有價值的頁面。好處是避免robot不停地去訪問這些頁面,減少流量的負擔。我們家網站在做這個優化後,在search console上可以看到robot每日讀取的byte數逐漸下降。

另外,你可能會有疑惑,到底什麼時候要用robots.txt:disallow?什麼時候要用meta noindex呢?我的原則是,如果這是server端的controller而非view,或是在某個資料夾底下都要阻擋,那就用robots.txt:disallow;而若只是單一頁面,就可用meta noindex。順到一提,如果想要使用search console上在搜尋結果上移除網址的功能,這兩個動作至少要選一個來做。

search console網址參數設定

避免robot爬到或索引到不必要的頁面,或建議對某些有意義的參數設定逐一檢索。這個要小心設定,對於網站索引數是有一定大的影響的。

另外,使用canonical或search console網址參數設定的判斷標準是比較模糊的,這邊我兩邊都會做設定,但若參數太多太複雜太難考究,我就會以search console網址參數設定為主,避免網站索引數掉得太多。

HTML撰寫

script盡量使用外部檔案,避免robot拆解script中長得像網址的字串,拼成網址後拿去訪問這個網址。同理html中的<a> tag的href中有 javascript:void(0),UI元件的tab中有 #,也是會被robot拆解成網址去訪問。這在search console報錯上很常看到,做這項優化也是為了不要產生額外的流量負擔!


以上重點是這一年我在露天拍賣網站上,對於控制索引範圍議題的構思、實作與心得,但由於寫文章的時間有限就只能簡短摘要了,歡迎交流討論噢。


由於部落格搬家了,因此在新落格也放了一份,未來若有增刪會在這裡更新-網站如何控制索引範圍?
張貼留言