很多人在做網站的時候都會去刻意追求收錄,但是根本就沒有注重網站的質量,以及網站的哪些頁面需要收錄,哪些頁面不需要收錄都不知道,這些最基礎的點都沒有弄明白就去操作整個網站。這樣在整個網站的優化過程中,我們會浪費掉大量的時間和精力。
蜘蛛在抓取一個網站的之前,都是經過計算過一個網站有多少頁面需要進行抓取,那么這個資源肯定是非常珍貴有限的。如果那這個價值發揮到最大化,就要把一些不用收錄的頁面進行屏蔽,合理的分配資源。
在參加關鍵詞排名的過程中,都是以單個頁面來也進行排序。那么這個問題就很顯而易見了,也就是說對于我們網站有參與關鍵詞排名的頁面,以及能夠促進關鍵詞排名的頁面都是有需要被收錄的。
既然明白這個道理,那么網站上面出現的關于我們,聯系我們,在線留言等等這些頁面都是不需要被搜索引擎抓取的。(除非你想要來做關于我們、聯系我們、在線留言這些關鍵詞來參加排名)
還有一個大家經常忽略的一個問題,就是網站路徑結構的問題,比如說www.qqzdz.com與www.qqzdz.com/index.html這兩個路徑都是同一個頁面,比如:同一篇文章在不同的幾個欄目下,也會造成一個頁面有多個不同的路徑。這樣的不同路徑相同頁面都是需要進行301跳轉或者robots屏蔽。
屏蔽這些頁面的做法就非常簡單了,在robots文件中添加一段代碼屏蔽蜘蛛抓取的代碼就可以了Disallow: /about_us.html (about_us.html就是你要屏蔽頁面的路徑)
暫無觀點或提問! |