百度spider的訪問權限和普通用戶一樣的,因此,普通用戶沒有權限訪問的內容,spider也沒有訪問權限。之所以看上去某些訪問權限限制的內容被百度收錄,原因有兩點:
(1) 該內容在spider訪問時是沒有權限限制的,當抓取之后,內容的權限發(fā)生了變化。
(2) 該內容有權限限制,但是由于網站安全漏洞問題,導致用戶可以通過某些特殊路徑直接訪問。而一旦這樣的路徑被公布在互聯網上,則spider就會循著這條路徑抓出受限內容。
如果你不希望這些私密性內容被百度收錄,一方面可以通過robots協議加以限制;另一方面,也可以通過反饋中心反饋給我們進行解決。
上一條: 為什么被robots屏蔽的網站還會被百度收錄?
下一條: 百度是否支持crawl-delay,是否支持使用robots文件控制抓取頻率和時間?