SemrushBot是什么蜘蛛？需要屏蔽嗎？

最近有用戶反映，他們發(fā)現(xiàn)有一些不認(rèn)識(shí)的搜索引擎蜘蛛在抓取他們的網(wǎng)站，其中抓取最頻繁的是一個(gè)叫SemrushBot的蜘蛛，他們咨詢悅?cè)痪W(wǎng)絡(luò)工作室這個(gè)蜘蛛是否有害，是否需要屏蔽。

SemrushBot是什么蜘蛛？

想要知道答案，我們就得先了解一下SemrushBot蜘蛛的出處。這是一個(gè)在線SEO分析平臺(tái)的蜘蛛，他們的官網(wǎng)是www.semrushchina.cn，對(duì)國(guó)內(nèi)網(wǎng)站用戶來(lái)說(shuō)，大家可能對(duì)它有些陌生，但是有很多做外貿(mào)的朋友應(yīng)該都知道或使用過(guò)它，它在行業(yè)內(nèi)還是比較知名的。

它對(duì)網(wǎng)站有害嗎？

通過(guò)以上了解，相信大家已經(jīng)大概明白，SemrushBot蜘蛛是一個(gè)正規(guī)的蜘蛛，至少它對(duì)你的網(wǎng)站是沒有害處的，一般情況下我們不用去管它，如上圖，悅?cè)痪W(wǎng)絡(luò)工作室的官網(wǎng)也有SemrushBot蜘蛛來(lái)抓取。

需要屏蔽嗎？

即然SemrushBot蜘蛛對(duì)我們的網(wǎng)站沒有害處，那么我們也就不用對(duì)它進(jìn)行屏蔽了。不過(guò)也有例外情況，如果你的網(wǎng)站服務(wù)器配置比較差，過(guò)多的蜘蛛抓取可能會(huì)影響網(wǎng)站速度，所以你也可以選擇對(duì)SemrushBot蜘蛛進(jìn)行屏蔽，操作如下：

打開網(wǎng)站robots.txt文件，把下面的兩行內(nèi)容加進(jìn)去就可以了。

user-agent: SemrushBot 
disallow: / 

總結(jié)

一般情況下，對(duì)一個(gè)網(wǎng)站來(lái)說(shuō)，搜索引擎蜘蛛的抓取是多多益善的，當(dāng)然前提得是正規(guī)蜘蛛，同時(shí)你的網(wǎng)站服務(wù)器也需要有足夠的承受蜘蛛抓取的能力。