Preload Bot是什么蜘蛛？有用嗎？需要屏蔽嗎？

Preload Bot是什么蜘蛛？相信有很多人都不太清楚吧，可能大家也沒能遇到過。不過最近悅?cè)痪W(wǎng)絡(luò)工作室就遇到了，如上圖所示，Preload Bot這個(gè)蜘蛛的抓取還是比較頻繁的，僅次于百度搜索蜘蛛。

那么Preload Bot到底是什么蜘蛛呢，它是正規(guī)的搜索引擎蜘蛛嗎？剛開始悅?cè)痪W(wǎng)絡(luò)工作室也不是很明白，百度和谷歌搜索也沒有找到很確切的答案，直到我回憶起最近在安裝過的插件才反應(yīng)過來，Preload Bot可能是某些插件的“蜘蛛”，而這個(gè)蜘蛛正是大名鼎鼎的wp rocket緩存加載插件的。因?yàn)閻側(cè)痪W(wǎng)絡(luò)工作室官網(wǎng)是使用wordpress建站開發(fā)的，因?yàn)榻o網(wǎng)站加速，之前就嘗試過wp rocket插件。

Preload翻譯過來就是預(yù)裝、預(yù)載的意思，而wp rocket插件中有一個(gè)預(yù)加載功能，所以Preload Bot應(yīng)該就是wp rocket插件的一個(gè)預(yù)加載程序，只要我們開啟或開戶過這個(gè)功能，那么wp rocket插件服務(wù)商的Preload Bot程序就會(huì)自動(dòng)來抓取我們的網(wǎng)站內(nèi)容。

中文版的wp rocket插件大家可能看不出來，把它成老一點(diǎn)的英文版，切換到Preload選項(xiàng)中，就可以看到里面有一個(gè)Preload Bot選項(xiàng)，所以現(xiàn)在基本可以確定Preload Bot就是wp rocket插件的一個(gè)爬蟲程序了，開啟過后它就會(huì)自動(dòng)來抓取我們的網(wǎng)站內(nèi)容，然后緩存，可以在一定程度上提升網(wǎng)站打開速度。

如果你正在使用wp rocket插件這款插件，那么不用管它，因?yàn)樗鼘?duì)我們的網(wǎng)站沒什么影響。

如果你不準(zhǔn)備使用wp rocket插件了，那么可雙先關(guān)閉預(yù)加載功能，然后再禁用、刪除插件。

另外我們也可以嘗試在robots.txt文件中禁止Preload Bot，把下面的內(nèi)容添加到robotx.txt文件中即可。

User-agent: Preload Bot
Disallow: /

小結(jié)：理論來講，Preload Bot蜘蛛應(yīng)該是只會(huì)再現(xiàn)在wordpress建站環(huán)境中，而且是使用過wp rocket插件的站點(diǎn)中，一般沒有必要管它。