百度站長平臺使用教程：robots檢測

我們之前的文章已經(jīng)給大家分享過robots文件的作用和寫法（企業(yè)網(wǎng)站建設(shè)提高收錄的方法：編寫合理的robots文件），通過robots.txt文件，我們可以直接告訴百度蜘蛛哪些頁面可以被抓取，哪些頁面不能被抓取。不過有時(shí)候可能由于某些疏忽，我們的robots.txt文件可能會存在一些錯(cuò)誤，這就有可能導(dǎo)致網(wǎng)站內(nèi)容不能被正常抓取。所以今天我們繼續(xù)給大家分享百度站長平臺使用教程，使用平臺自帶工具檢測robots文件。

robots檢測

登陸百度站長平臺，依次點(diǎn)開“數(shù)據(jù)統(tǒng)計(jì)”-“Robots”。該工具的使用非常簡單，直接占“檢測并更新”就可以顯示當(dāng)前網(wǎng)站的robots.txt文件是否正確。同時(shí)我們還可以輸入網(wǎng)站鏈接去測試它是否允許百度蜘蛛抓取。

不過，最近一段時(shí)間，百度站長平臺可能在進(jìn)行維護(hù)調(diào)整，最近幾天該工具都不能正常使用，會出現(xiàn)如上圖這樣的提示，大家可以過一段時(shí)間再來看看，或者使用其它類似的工具來代替。

總結(jié)

大多數(shù)搜索引擎蜘蛛都會遵循robots協(xié)議，即你告訴它能抓取哪些內(nèi)容它就抓取哪些，所以我們一定要注意robots文件是否寫正確，錯(cuò)誤的寫法會直接影響網(wǎng)站的收錄排名。在網(wǎng)站上線之前大家一定要用該工具檢測一下，如果目前暫時(shí)用不了，大家也可以使用第三方平臺的robots檢測工具（https://tools.aizhan.com/robots/）。