BLEXBot是什么蜘蛛？有用嗎？需要屏蔽嗎？

我們都了希望自己的網(wǎng)站能夠被搜索引擎蜘蛛抓取，但很多時間搜索引擎蜘蛛抓取的并不多，反而是一些“垃圾蛛蛛”抓取的特別頻繁，很多人對于這些“垃圾蜘蛛”都比較陌生，不知道它們對網(wǎng)站有什么用，也不知道是否需要屏蔽。

所以本期開始悅?cè)黄髽I(yè)網(wǎng)站建設(shè)給大家介紹一些垃圾蜘蛛。

今天我們講的蜘蛛是——BLEXBot，這是一家美國的反向鏈接查詢網(wǎng)站（WebMeUp）的蜘蛛程序，它會大量的抓取我們的網(wǎng)站鏈接，最終把這個鏈接提交給他們自己的系統(tǒng)。一般情況下我們剛開始發(fā)現(xiàn)BLEXBot蜘蛛時，它是抓取量都比較大，可能與百度不相上下。

大家關(guān)心的問題來了，BLEXBot蜘蛛有用嗎？

從理論上來講，BLEXBot蜘蛛并沒有什么壞處，如果你的服務(wù)器資源足夠，不管它也沒關(guān)系。BLEXBot蜘蛛可能有那么一點點作用吧，對與國內(nèi)網(wǎng)站來說沒什么意義。

BLEXBot蜘蛛需要屏蔽嗎？

其中上面已經(jīng)回答了，只要你的服務(wù)器資源足夠，BLEXBot蜘蛛也沒有對你的網(wǎng)站速度造成負(fù)面影響，那么你可以選擇不管它，至少它每天抓取的數(shù)量看起來還是比較美好的。

如果你的服務(wù)器配置比較差，BLEXBot蜘蛛可能就會對你的網(wǎng)站速度造成一些負(fù)面影響，那你就需要屏蔽BLEXBot蜘蛛。

BLEXBot蜘蛛屏蔽方法如下：

在你的網(wǎng)站robot.txt文件中添加如下內(nèi)容

User-agent: BLEXBot
Disallow: /