百度蜘蛛一直抓取卡盟页面被删除的链接怎么办?

378 · 发表于 2020-4-4 11:16:39

一个月之前删掉了一些卡盟文章内容，通过卡盟日志发现，百度蜘蛛还在抓取这些被删除的链接，都删掉一个月了还能抓取，不知道蜘蛛是怎么发现的，现在有什么好的办法不让蜘蛛抓取这些链接

obeckham · 发表于 2020-4-4 11:17:02

提交死链，或者设置卡盟404顺其自然，一般设置了后再抓一次就不抓了。还有一种可能是来的假蜘蛛

roger2001c · 发表于 2020-4-4 11:17:23

提交死链，做好404

shuka · 发表于 2020-4-4 11:17:31

百度蜘蛛就是流氓，总是跟你反着来，等哪天抓到他揍他一顿就好了

ad爱迪生 · 发表于 2020-4-4 11:17:50

可以站长平台提交死链，另外做好服务端的404判断，所有访问不了的链接都应该是到404页面