搜尋引擎抓取策略
深度優先:
與上一篇廣度優先抓取方式剛好相反,深度優先是一種縱向的頁面抓取方式,首先跟蹤淺層某一個連結,從而逐步抓取深層次頁面,直至抓取完最深層頁面後才返回淺層頁面繼續向深層頁面抓取。搜尋引擎使用深度優先方式抓取可以取到網站中較隱蔽、冷門的頁面,這樣才能買足更多用戶的需求。
深度優先的抓取流程:
1.搜尋引擎會抓取網站首頁,並提取首頁中的連結,沿著其中的一個連結抓到頁面1-1,同時提取其中的連結。
2.再沿1-1中的一個連結A-1抓取到頁面2-1,同時提取其中的連結。
3.再沿2-1中的一個連結抓取更深一層頁面。
4.遞迴下去,直至抓取到網站最深層頁面或滿足某個設定條件才回到首頁繼續抓取。
目的:使搜尋引擎可抓取更多資訊!
深度優先的抓取流程:
1.搜尋引擎會抓取網站首頁,並提取首頁中的連結,沿著其中的一個連結抓到頁面1-1,同時提取其中的連結。
2.再沿1-1中的一個連結A-1抓取到頁面2-1,同時提取其中的連結。
3.再沿2-1中的一個連結抓取更深一層頁面。
4.遞迴下去,直至抓取到網站最深層頁面或滿足某個設定條件才回到首頁繼續抓取。
深度優先抓取流程示意圖
|
目的:使搜尋引擎可抓取更多資訊!
每天學一點快樂輕鬆學~
「往上走的人沒時間往後看,因為你不會發現你們正在拉開差距。」
沒有留言:
張貼留言