IT门户, 中国互联网人工智能物联网行业资讯平台--公众IT

当前位置：公众IT > 技术文章 > 上传了robots文件，不让爬虫继续抓取为啥还会抓取已经禁止访问的目录？

新闻来源：互联网资料整理       发布时间：2023/4/5 14:06:00       共计：4636 浏览

前言：

随着百度小程序的风头正劲,越来越多的站长投入到百度小程序的开发中来，但是开发过程中难免会碰到诸多问题无法自己解决，03-18小编发现百度用户：【支持你百度小程序】提出了一个关于“上传了robots文件，不让爬虫继续抓取为啥还会抓取已经禁止访问的目录？”的问题,在问题中开发者支持你百度小程序对该问题做了如下阐述：

问题类型：

  • 问题类型:咨询

问题描述：

为什么抓取的，路径是不对的? /pages/article/，这样的路径抓不到东西，请解释一下

?

该图片引用百度小程序公众平台

该图片引用百度小程序公众平台

注：以上是百度小程序开发者：”支持你百度小程序”对于本问题的一些阐述，这里做一个引用，我们将实时关注百度小程序助手对该问题提出的解决方案。

解决方案：

【03-18】百度官方对用户支持你百度小程序提出的上传了robots文件，不让爬虫继续抓取为啥还会抓取已经禁止访问的目录？给予如下回复

您好，是数据反馈有延迟导致的，未收录数据反馈是7天更新一次，您是今天上传的robots协议，请保持观察。

结语：

流量变现是移动互联网永远的话题。由于用户属性和所属行业等原因，部分APP空有流量，但变现能力较弱。受制于原生APP单一的功能，这类企业对变现模式的探索屡屡碰壁。加入百度智能小程序，可以用智能小程序提升自己的商业化效率。

如果您也在使用百度小程序，请关注我们，如果您有关于百度小程序的使用问题请联系我们，或者去百度小程序平台找官方人员给予解决，相信百度在小程序上的发力会是一个里程碑！

版权说明：
本网站凡注明“公众IT 原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
您可以扫描右侧微信二维码联系我们。
QQ空间腾讯微博微信QQ好友新浪微博人人网复制网址一键分享分享到：
·上一条：58类型的小程序什么条件可以展现在家庭服务->服务中心 | ·下一条：使用页面质量检测工具显示死链
网站首页 关于我们 联系我们 合作联系 会员说明 新闻投稿 隐私协议 网站地图