百度是否支持crawl-delay，是否支持使用robots文件控制抓取頻率和時間？

2014-09-23　瀏覽：150

User-agent：Sosospider
Crawl-delay：5
抓取時間和頻率限制是否支持呢？
可以在robots中的Crawl-delay中設(shè)置，這個參數(shù)是baidu spider對網(wǎng)站訪問頻率的重要參考信息之一，但spider系統(tǒng)會根據(jù)網(wǎng)站規(guī)模、質(zhì)量、更新頻率等多方面信息綜合計算得出最終的執(zhí)行壓力，因此并不保證嚴(yán)格遵守Crawl-delay中的設(shè)置值。

上一條: 為什么站內(nèi)沒有鏈接的私密性網(wǎng)頁，或需要訪問權(quán)限的網(wǎng)頁，也會被百度收錄？
下一條: 百度是否支持通過robots提交sitemap？

新聞資訊

相關(guān)資訊