搜索引擎對一個網站很重要,是很多網站重要的流量來源。熟悉各大搜索引擎的蜘蛛就顯得必要呢。蜘蛛爬得勤快,網頁收錄也快。通過分析網站訪問日志:查看訪問者的user-agent,我們也可以了解哪些搜索蜘蛛過來爬行過你的網站頁面:
1、 百度蜘蛛:Baiduspider Baiduspider-image baiduboxapp Baiduspider-render
2、 谷歌蜘蛛:Googlebot (很勤奮的蜘蛛) Googlebot-Image Google-Read-Aloud Googlebot-Video
3、 360蜘蛛:360Spider (比較懶的蜘蛛)
4、 搜狗蜘蛛:SogouSpider, Sogou web spider
5、 神馬蜘蛛:YisouSpider (UC瀏覽器默認搜索sm.cn的蜘蛛)
6、 必應蜘蛛:bingbot BingPreview
7、 有道蜘蛛:YoudaoBot,YodaoBot(不多見了)
8、 MSN蜘蛛:msnbot,msnbot-media
9、 雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!（不多見了）
10、 Yandex蜘蛛:YandexBot (俄羅斯搜索引擎)
11、 DNSPOD監控蜘蛛:DNSPod-Monitor
12、 MJ12bot:MJ12bot (英國SEO分析頁面蜘蛛)
13、 SEMrush:SemrushBot (美國SEO綜合分析網站的蜘蛛)
14、 頭條蜘蛛:Bytespider (今日頭條旗下:高頻抓取 被很多站長封禁后 有所改善)
15、 華為蜘蛛:AspiegelBot ( 華為旗下Aspiegel公司 瘋狂高頻爬行無節制 )
以上蜘蛛:對于國內中文用戶為主的站長來說。 主要是 百度 Google Sogou搜狗 Bing 360搜索 神馬 頭條 這幾個蜘蛛比較重要。
對于大陸中文網站的用戶來說，主要就是百度、360搜索和頭條搜索，其它的可有可無，若是不需要可以禁止。
若是網站客戶來源，手機端特別多，建議神馬的不要禁止，畢竟UC的用戶也有不少。
特別推薦屏蔽，甚至是拉進黑名單的：Yandex MJ12bot SEMrush，至于AspiegelBot 需要看日志在決定，搞完之后能省下來不少性能和流量。
