爬行和索引是seo的兩個專業術語，當很多新手接觸seo的時候，他們會將這兩個詞混合使用，認為爬行就是索引。今天筆者就和大家仔細講述一些爬行好索引之間的區別是什么?
1、爬行
當搜索引擎蜘蛛在站點中發生爬行時，站點中有一個并且只有唯一一個url被抓取，搜索引擎可以從其他網頁的鏈接跟蹤爬行到這個站點中，所以對爬行的認識就是搜索引擎按照鏈接對站點特定的url進行抓取。
可能上面的概念比較抽象，我們舉例簡單說明，比如說，在很多時候蜘蛛在爬行站點的時候，站點中的有些鏈接就不能被抓取，比如：
(1)鏈接編碼是Javascript，因為這被稱為“蜘蛛陷阱”，爬行站點的時候，蜘蛛會自動屏蔽爬行這些鏈接。
(2)鏈接被標記為robots.txt的 “禁止指令。
(3)孤立的鏈接(沒有人掛的情況下的sitemaps.xml，包括如鏈接)
(4)鏈接所在的頁面是一個包含鏈nofollow指令的頁面
(5)本來是要抓取的鏈接，但是因為服務器不穩定的原因無法進行抓取。
2、索引
索引和爬行最大的區別就是，索引不是一個特定的url被抓取，而是頁面中的很多歌url，簡單的說就是當搜索引擎確定好要索引哪個頁面之后，它就會這個頁面中的所有url進行處理和抓取，在抓取的過程中，蜘蛛會根據頁面的內容進行適當的處理，舉一個簡單的例子，在有的頁面內容中雖然存在一個url但這個url已經加上了NOINDEX指令，那么搜索引擎是不會抓取這個頁面的。
站點頁面處于非索引狀態的原因：
(1)在頁面中含有NOINDEX指令()
(2)重復的內容：具有相同內容頁面可能無法被索引。
(3)其他原因：鏈接的年齡和鏈接流行
如果新手想知道站點中的哪些頁面已經被索引了，那么可以通過“site+網站域名”的方式檢索，通過這樣的方式，搜索引擎將會顯示有多少個頁面已經被蜘蛛所引并且是哪些頁面。
爬行和索引雖然表示的都是蜘蛛抓取站點，但他們所包含的方向是不一樣的，這里筆者建議注意區分開。
本文原創http://www.jiaodahaiwai.net 網站，首發A5網站，轉載請保留有效的鏈接地址，謝謝!
粵公網安備 44010402000282號