搜索引擎對網站內容提取？

搜索引擎對網站內容提取？深圳網站設計公司創新互聯指出搜索引擎建立網頁索引，處理的對象是文本文件。對于網絡蜘蛛來說，抓取下來網頁包括各種格式，包括html、圖片、doc、pdf、多媒體、動態網頁及其它格式等。這些文件抓取下來后，需要把這些文件中的文本信息提取出來。準確提取這些文檔的信息，一方面對搜索引擎的搜索準確性有重要作用，另一方面對于網絡蜘蛛正確跟蹤其它鏈接有一定影響。對于doc、pdf等文檔，這種由專業廠商提供的軟件生成的文檔，廠商都會提供相應的文本提取接口。網絡蜘蛛只需要調用這些插件的接口，就可以輕松的提取文檔中的文本信息和文件其它相關的信息。

HTML等文檔不一樣，HTML有一套自己的語法，通過不同的命令標識符來表示不同的字體、顏色、位置等版式，如：、、等，提取文本信息時需要把這些標識符都過濾掉。過濾標識符并非難事，因為這些標識符都有一定的規則，只要按照不同的標識符取得相應的信息即可。但在識別這些信息的時候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標題、是否是加粗顯示、是否是頁面的關鍵詞等，這些信息有助于計算單詞在網頁中的重要程度。同時，對于HTML網頁來說，除了標題和正文以外，會有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點關系也沒有，在提取網頁內容的時候，也需要過濾這些無用的鏈接。例如某個網站有“產品介紹”頻道，因為導航條在網站內每個網頁都有，若不過濾導航條鏈接，在搜索“產品介紹”的時候，則網站內每個網頁都會搜索到，無疑會帶來大量垃圾信息。過濾這些無效鏈接需要統計大量的網頁結構規律，抽取一些共性，統一過濾；對于一些重要而結果特殊的網站，還需要個別處理。這就需要網絡蜘蛛的設計有一定的擴展性。對于多媒體、圖片等文件，一般是通過鏈接的錨文本（即，鏈接文本）和相關的文件注釋來判斷這些文件的內容。例如有一個鏈接文字為“張曼玉照片”，其鏈接指向一張bmp格式的圖片，那么網絡蜘蛛就知道這張圖片的內容是“張曼玉的照片”。這樣，在搜索“張曼玉”和“照片”的時候都能讓搜索引擎找到這張圖片。另外，許多多媒體文件中有文件屬性，考慮這些屬性也可以更好的了解文件的內容。

動態網頁一直是網絡蜘蛛面臨的難題。所謂動態網頁，是相對于靜態網頁而言，是由程序自動生成的頁面，這樣的好處是可以快速統一更改網頁風格，也可以減少網頁所占服務器的空間，但同樣給網絡蜘蛛的抓取帶來一些麻煩。由于開發語言不斷的增多，動態網頁的類型也越來越多，如：asp、jsp、php等。這些類型的網頁對于網絡蜘蛛來說，可能還稍微容易一些。網絡蜘蛛比較難于處理的是一些腳本語言（如VBScript和JavaScript）生成的網頁，如果要完善的處理好這些網頁，網絡蜘蛛需要有自己的腳本解釋程序。對于許多數據是放在數據庫的網站，需要通過本網站的數據庫搜索才能獲得信息，這些給網絡蜘蛛的抓取帶來很大的困難。對于這類網站，如果網站設計者希望這些數據能被搜索引擎搜索，則需要提供一種可以遍歷整個數據庫內容的方法。

搜索引擎對網站內容提取？對于網頁內容的提取，一直是網絡蜘蛛中重要的技術。整個系統一般采用插件的形式，通過一個插件管理服務程序，遇到不同格式的網頁采用不同的插件處理。這種方式的好處在于擴充性好，以后每發現一種新的類型，就可以把其處理方式做成一個插件補充到插件管理服務程序之中。

當前標題：搜索引擎對網站內容提取？
分享鏈接：http://m.kartarina.com/news/166980.html

成都網站建設公司_創新互聯，為您提供網頁設計公司、網站設計公司、移動網站建設、用戶體驗、軟件開發、定制網站

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯