[交流] 百度蜘蛛抓取网站API链接的信息，讲解！ [复制链接]
查看:2772 | 回复:4

blogabs · 发表于 2021-11-9 15:19:35

本帖最后由 blogabs 于 2021-11-9 15:28 编辑

百度蜘蛛抓取网站API链接的信息，是以下这种情况：

蜘蛛抓取数据的链接大多数带有/api/，而非网站前端正常访问的网址。

对此，我们打开一条带/api/链接，在网页可以看到一个原始数据，

从反馈来看，这段数据是被“获取成功”的，但有什么用呢？

这种情况比较少见，我在百度站长论坛也没找到合理的解释，但这些天观察下来，我只能自己给出这样的解释：

对静态或伪静态网页，百度蜘蛛进到一个页面后，会先抓取该页面文字、图片、链接、样式等数据，然后接着到一个页面抓取内容；

但对由Javascript生成的网页，百度蜘蛛进入后，发现除了一个标题和几条Javascript链接，其它什么都没有。

遇到这种情况，百度蜘蛛要么放弃，要么只能顺着Javascript链接去抓取数据。

由此，我们大概可以知道，为什么百度蜘蛛会抓取网站API链接里的信息？

因为网站的/api/链接被写进Javascript的代码里，用来调用各种信息。

而百度蜘蛛顺着这个/api/链接抓取到各种信息。

原本我想在robots文件禁用/api/，但考虑到这个站点是新站，所以没有禁止百度蜘蛛抓取。

目前该站点已经被百度收录了。

zhao825 · 发表于 2021-12-16 10:17:15

这是什么意思呀，想办法把关键词优化上来可以吗。

福利社 · 发表于 2021-12-21 11:36:45

没看明白

blogabs · 发表于 2021-12-23 16:36:49

福利社发表于 2021-12-21 11:36
没看明白

Javascript SEO，可以去了解一下

风雨过后888 · 发表于 2022-1-22 20:47:14

看不懂

百独托管7500 紫田网络	超高转化播放器收cps[推荐]	速盾CDN 免实名免备防屏蔽	阿里云爆款特卖9.9元封顶	提升alexa、IP流量7Q5团队
【腾讯云】中小企福利专场	【腾讯云】多款产品1折起	高防随时退换好耶数据	小飞国外网赚带你月入万元	炎黄网络4H4G10M 99每月
香港带宽CN2/美国站群优惠	中客数据中心服务器租用	联盟系统移动广告平台中易	企业专场腾讯云服务器2.5折	九九数据工信部正规资质
腾讯云新用户大礼包代金券	高价收cpa注册量高价展示	【腾讯云】2核2G/9.93起	租服务器找45互联随时退换	阿里云短信服务验证秒达

[交流] 百度蜘蛛抓取网站API链接的信息，讲解！ [复制链接]
查看:2772 | 回复:4

本帖子中包含更多资源

落伍手机绑定

落伍者

QQ绑定

落伍微信绑定

[交流] 百度蜘蛛抓取网站API链接的信息，讲解！ [复制链接] 查看:2772 | 回复:4

本帖子中包含更多资源

落伍手机绑定

落伍者

QQ绑定

落伍微信绑定

[交流] 百度蜘蛛抓取网站API链接的信息，讲解！ [复制链接]
查看:2772 | 回复:4