暫時還沒有這個打算。一般情況下,spider能處理大多數(shù)網(wǎng)站的數(shù)據(jù)抓取和更新,而無須借助sitemap。
現(xiàn)在百度已經(jīng)支持在站長平臺提交sitemap了,不過為了保證提交網(wǎng)站的質(zhì)量,對提交資格進(jìn)行了限制。所以現(xiàn)在也不支持通過robots提交sitemap,不然站長平臺的限制就沒有意義了。
上一條: 百度是否支持crawl-delay,是否支持使用robots文件控制抓取頻率和時間?
下一條: Robots解禁禁止抓取后的生效時間是多長?
百度是否支持crawl-delay,是否支持使用robots文件控制抓取頻率和時間?-義烏市洲盾網(wǎng)絡(luò)..
為什么站內(nèi)沒有鏈接的私密性網(wǎng)頁,或需要訪問權(quán)限的網(wǎng)頁,也會被百度收錄?-義烏市洲盾網(wǎng)絡(luò)..
被robots屏蔽的網(wǎng)頁如果獲取了外鏈還會獲取權(quán)重嗎?-義烏市洲盾網(wǎng)絡(luò)..
百度打擊義烏做網(wǎng)站TAG詞作弊,義烏做網(wǎng)站TAG詞是否就不能使用了呢?-義烏市洲盾網(wǎng)絡(luò)..