當網站有蜘蛛訪問時，你的網站頁面有可能被收錄，百度蜘蛛會抓取我們網站的html代碼，然后將數據拆分成標題、摘要、頁眉、正文等結構化數據。帶回百度的服務器，過濾后放入數據庫，然后在網站頁面分享百度蜘蛛的抓取規則。【網站優化】

　　目前網站數以百億計算，每個頁面都有快照備份是不現實的，所以百度蜘蛛會優勝劣汰，就像有探路、有主力、有功能的開拓者一樣。事實上，高權重和低權重沒有區別。

　　百度蜘蛛在網站內頁的爬行規律;

　　百度蜘蛛主要由兩種蜘蛛組成，即收錄蜘蛛和快照蜘蛛。通常，123IP從包含的蜘蛛開始，220IP從快照蜘蛛開始。通過這兩種蜘蛛的日志訪問量，我們基本可以確定這個網站在百度看來是否是優質網站。

　　1.有優質內容的頁面：新文章發表后，通常是123開頭的蜘蛛先走，然后220開頭的蜘蛛再回去，然后快照會在同一天或者每1-2天更新一次。

　　2.404頁面的抓取規則：當網站刪除幾個收錄頁面，訪問變成404時，123開頭的蜘蛛抓取時，一般會發現百度蜘蛛兩次404后都不會來。

　　3.文章內容差頁：如果是文章生成器生成的拼湊文章，排版凌亂不可讀，123開頭的蜘蛛來過一次就再也沒有來過。

　　那么百度蜘蛛爬行的真正邏輯應該是：123年初，蜘蛛為了減少不必要的服務器資源浪費，對網頁內容進行收費和篩選;200開始的蜘蛛通常在123只蜘蛛被篩選后進入。如果網頁的內容真的很劣質，220開頭的蜘蛛是不會訪問的。對于已經包含快照的頁面，直接訪問從220開始。

　　最終結論如下：

　　1.IP開頭的123指的是包含蜘蛛。所謂收錄蜘蛛，是指百度蜘蛛訪問后，百度后端會通過反作弊處理、原創性檢測等一系列判斷手段，決定是否可以收錄，是否可以拖百度快照蜘蛛訪問。

　　2.220開頭的IP是快照蜘蛛。當快速包含蜘蛛檢測到網頁已經通過包含標準時，快照蜘蛛生成結構化數據并進入倒排索引。此時，網頁在被用戶搜索之前有一個快照。

　　因此，在每次快照更新之前，包含蜘蛛和快照蜘蛛都會訪問，并且包含蜘蛛和快照蜘蛛之間的訪問比率一般不超過2，333，601。如果收錄蜘蛛的數量遠遠大于快照蜘蛛，說明網頁的內容不夠。