[已解决] pq从网页中取数的问题

  [复制链接]
查看94715 | 回复111 | 2020-9-25 00:35:57 | 显示全部楼层 |阅读模式
pq从网页中取数,只能取到有标准表格内容的数据。有些网页的防抓取措施做的好,但绝对是我水平不够的原因。抓不出数据,比如这个网页:https://union.jd.com/commiRate 我想把一到三级类目的比例整理到一个表格里面,高手给个思路吧。
回复

使用道具 举报

曾爷 | 2020-9-25 00:41:57 | 显示全部楼层
是你数据链接没找到。
一级链接是 https://union.jd.com/api/help/ge ... el=1&parentId=0

二级链接https://union.jd.com/api/help/ge ... =2&parentId=652


三级链接https://union.jd.com/api/help/ge ... =3&parentId=654

一级链接返回的数据里 有ID信息,这个信息就是二级链接 parentId。同样的,二级返回的id就传给三级的parentId

这是一个循环采集过程。你可以用PQ写一个 自定义函数调用。
回复

使用道具 举报

颓废的飞鱼 | 2020-9-25 00:46:57 | 显示全部楼层
是你数据链接没找到。
一级链接是 https://union.jd.com/api/help/getCategoryList?level=1&parentId=0

...


谢谢,我之前是找到这个几个链接了,但没相通该怎么做 。大神点一下 就通了!
回复

使用道具 举报

newdeng | 2021-5-2 18:28:04 | 显示全部楼层
非常好,顶一下
回复

使用道具 举报

lijunw | 2021-7-14 15:08:12 | 显示全部楼层
回个帖子,下班咯~
回复

使用道具 举报

一切都好说 | 2021-7-18 06:37:21 | 显示全部楼层
广告位,,坐下看看
回复

使用道具 举报

雄蟹 | 2021-10-28 14:14:42 来自手机 | 显示全部楼层
打酱油的人拉,回复下赚取积分
回复

使用道具 举报

alandeng | 2021-11-30 09:16:09 | 显示全部楼层
好帖必须得顶起
回复

使用道具 举报

lucknow | 2021-12-3 17:53:02 | 显示全部楼层
我也是坐沙发的
回复

使用道具 举报

yxg | 2021-12-15 08:07:40 来自手机 | 显示全部楼层
感謝云发教育!!!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则