悅?cè)唤ㄕ痉窒恚簉obots文件相關(guān)問題解答

robots文件可以用來控制搜索引擎蜘蛛抓取什么內(nèi)容，這樣我們就可以讓蜘蛛不去抓取一個私密內(nèi)容，避免一些安全風(fēng)險(xiǎn)。但是也是一些網(wǎng)站因?yàn)閞obots文件填寫不正確，導(dǎo)致網(wǎng)站沒法被抓取，這對網(wǎng)站的收錄、排名都是有極大的影響。

下以是百度官方搜索資源平臺問答中關(guān)于robots文件的相關(guān)回答，【悅?cè)黄髽I(yè)網(wǎng)站建設(shè)】把它整理出來了，希望對大家有所幫助。

為什么我網(wǎng)站上的robots文件已經(jīng)更新一個月了，新禁止的文件還在抓取狀態(tài)？

在百度搜索資源平臺使用Robots工具進(jìn)行更新，并及時(shí)關(guān)注文件生效時(shí)間，若3三天后還未生效，建議提供具體問題截圖和具體的URL在反饋中心反饋，以便排查問題。

另外開發(fā)者自查robots.txt文件是否書寫錯誤，robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開。

網(wǎng)站誤封了robots怎么辦？

（1）修改Robots封禁為允許，然后到百度搜索資源后臺檢測并更新Robots。

（2）在百度搜索資源后臺抓取檢測，此時(shí)顯示抓取失敗，沒關(guān)系，多點(diǎn)擊抓取幾次，觸發(fā)蜘蛛抓取站點(diǎn)。

（3）在百度搜索資源后臺抓取頻次，申請抓取頻次上調(diào)。

（4）前往平臺反饋中心，反饋是因?yàn)檎`操作導(dǎo)致了這種情況的發(fā)生。

企業(yè)網(wǎng)站建設(shè)提高收錄的方法：編寫合理的robots文件

總結(jié)

因?yàn)閞obots文件導(dǎo)致網(wǎng)站收錄、排名受影響是非常不劃算的，這是一種低級錯誤，我們一定要盡量去避免。如果你不知道怎么編輯robots文件，可以參考一下我們之前發(fā)布的文章，里面有詳細(xì)介紹robots文件的寫法。