把网站链接或站点地图提交给百度之后,心里总会惦记着数据是否被接收、蜘蛛有没有来抓取。这些信息其实都有迹可循,只是很多人不清楚该去哪里看、每个状态数字代表什么。下面按照不同的提交方式,把查询进度的路径和判断要点一次说清楚。
百度后台的记录跟你的提交动作是对应的,想查进度,第一步就要回忆自己当初是怎么提交的。前提条件是已经登录百度搜索资源平台并验证了站点所有权,没有这一步,后面所有功能都用不了。
常见的提交行为大致分三类,它们对应的查询位置各不相同:
找准入口之后,就能在对应页面看到状态信息了。下面按三种常见情形给出详细的操作步骤。
提交之后系统要排队处理,等几分钟到几小时都不奇怪。要是长时间卡在“排队中”,不妨检查一下链接开头是否有完整的https或http协议头,顺便看看今天是不是已经超过了推送上限。有一点要提醒,反复手动提交同一条链接不会让处理变快,反而会产生大量重复记录,干扰你后面的数据统计。
对比这两个数字的时候,你会发现抓取数往往少于总数,这是完全正常的。有些页面因为质量不高、内容重复,或者被robots规则挡在门外,暂时不会被纳入抓取范围。另外,别出于着急就反复提交同一个sitemap文件,系统会按周期自动来抓取更新。真正需要手动提交的时机,是网站上线了新频道或者内容做过大规模调整之后。
如果你手头管着多个站点,或希望实时掌握推送反馈,可以申请百度搜索资源平台的API权限。开通方法是进入“开放API”页面创建应用、拿到密钥,然后写脚本定时请求接口,就能批量拿到URL的抓取时间、状态码等数据。
接口返回的数据适合存到本地数据库,方便搭建自己的收录监控看板。第一次对接时,建议先用官方文档里的测试环境跑一遍,确认每个字段的含义,再切换到正式环境,免得因为理解偏差误判了数据。
查询进度时,会碰到不少表示状态的词汇,明白它们的意思才能做出正确判断。
看到失败状态别急着反复提交,先按提示排查问题。比如服务器响应慢,就去检查主机负载;被判定为低质量,就去优化内容本身。盲目的重复操作只会让后台出现一大片无效记录,掩盖真正需要关注的信息。
实际操作中,不少人会陷入一些认知上的误区,提前了解一下能省去不少折腾。
误解一:动动“抓取”按钮就能立刻收录。手动点击抓取只是发出一条请求,蜘蛛是否真的来访问、来访问后是否收录,还要看页面质量和服务器状态,不能指望点击之后就立竿见影。
误解二:查询到的“抓取数量”等于“收录数量”。抓取只是第一步,抓取成功不代表页面会被放出来。页面是否在搜索结果中展示,还取决于内容质量和原创度。想确认收录情况,要用平台里的“URL检查”功能去查询单个链接的索引状态。
误解三:多提交几次总没坏处。频繁提交同一资源,不但不提高效率,还容易触发系统的风控机制,带来不必要的隐患。提交数据贵在有效,不在次数多。
通常几分钟内就能在提交记录里看到状态变化,但具体处理时间取决于你提交的量以及当时系统队列的繁忙程度。如果半小时后仍显示“处理中”,不需要着急,耐心等一等,没必要马上重复提交。
先点开那条记录的详情,系统一般会写明失败原因,比如链接返回404、服务器超时、内容与已有页面高度重复等。针对原因做修改后,间隔一段时间再提交一次。如果多次尝试仍失败,建议通过平台的反馈入口提交申诉,附上必要的说明材料。
新提交的sitemap通常会在几小时到一到两天内完成首次抓取。超过两天还没有动静,可以检查一下文件地址是否可以正常访问,是否设置了robots屏蔽,以及文件格式是不是标准XML。确认没有问题后,再手动提交一次即可。
查询百度提交进度并不复杂,关键是用对方法:先认清自己的提交类型,再去对应的后台页面看数据,最后结合状态提示做针对性调整。同时放平心态——收录本身有它自己的节奏,与其频繁刷新页面、反复提交,不如把精力放在内容质量和页面稳定性上,这才是搜索引擎更看重的根本。