今天我們眾騰網絡給大家分享搜索引擎工作過程中一個非常重要的階段“收錄預處理”,也就是大家常說的索引。當用戶在搜索引擎中輸入搜索詞之后,搜索引擎并不是根據用戶的搜索詞然后來計算頁面給予排名的,而是事先在爬行和抓取頁面的時候就進行了預處理,要不然也不可能在很短時間內根據搜索詞展現出排名。
首先,搜索引擎會對爬行的頁面進行篩選和提取文字信息,以便進行排名處理,通過搜索引擎的這個動作,我們知道在頁面中添加meta信息,圖片的alt標簽,錨文本的文字設定,a標記中的title標簽還是非常有必要的。
緊接著搜索引擎會對篩選出來的這一大堆文字進行分詞處理,以此來判定哪些字可以組成一個詞,比如眾騰網絡網站,通常會被分成“眾騰”,“網絡”,“網站”。搜索引擎的分詞過程一般有兩種分法,一個是通過搜索引擎數據庫中已經創建好的詞典,另一種是根據日常統計,不過為了提高分詞的效率,通常都是兩種方法并行的。
通過詞典進行分詞,是指搜索引擎根據自己創建的詞典,跟網頁中提取的文字進行匹配,如果匹配成功的話,就算分出了一個詞,而根據日常統計則是指搜索引擎對網絡上提取的文本做了大量的分析,哪些字經常出現在一起,那么就會把它判定為一個詞組,不過搜索引擎更喜歡的是比較長的最大匹配詞組,也就是我們常說的長尾關鍵詞,因為這樣顯示出來的搜索結果將會更加精確。關于搜索引擎是如何進行分組的,大家可以參考網站快照中帶顏色的詞,這里說明這只是一個參考,因為網站快照所能提供的分詞信息很少,有時也并不能完全表達出搜索引擎的意愿。而我們在這個環節能進行優化的就是,通過頁面標題,H1標簽,關鍵詞加粗的方式來提示搜索引擎,這是一個詞組,同時還有強調的作用。
當搜索引擎分詞完畢后,接下來要進行的工作就是去除這些詞中的干擾信息,俗稱“去噪”,搜索引擎去噪主要從兩方面進行去噪,一個是把這些詞組中一些完全跟網站主題無關的詞組去掉,比如我們文章中經常包含的一些“的”,“啊”,“然而”之類的助詞,感嘆詞和副詞,進行去噪的第二步則是把網站中沒有用的模塊中包含的詞組去掉,比如免責聲明,廣告字段,版權信息,分頁列表等等,通過去噪后剩余的內容才是搜索引擎想要的內容。
在搜索引擎獲得了有用的信息之后,是不是我們就可以通過這些內容進行網頁排名了?NO!接下來的這一步,我相信是很多站長比較心痛的一個環節——去重。搜索引擎會在這些得到的內容中提取出N個最能代表頁面主題的關鍵詞,進行指數分析,如果指數顯示網上已經存在大量的相同信息,搜索引擎將會進行刪除操作,這也就是為什么很多站長通過復制或轉載來的文章不被收錄展示的原因。