如何使用Excel中的pq获取网页上的表格数据？？

显示全部楼层 · 2020-11-5 20:36:18

各位老师好，我想使用Excel中的pq获取网页上的表格数据？网址如下，希望获取这网页上的表格数据的内容，直接使用pq不能直接后去网页中的表格，貌似还需要进行处理之后才能获取表格的数据。

https://www.jisilu.cn/data/cbnew/#delisted

whoam · 2020-11-5 20:42:19

谷歌浏览器-打开网址，f12-network-xhr-ctrl+r--带？那行点击---headers--general---ruquest-url就是动态网址
地址变了就再来一遍

10485102004403.rar (12.4 KB, 下载次数: 0)

mychu · 2020-11-5 20:46:19

谷歌浏览器-打开网址，f12-network-xhr-ctrl+r--带？那行点击---headers--general---ruquest-url就是动态网 ...

谢谢大神，授之以鱼不如授之以渔，想请问下大神，我想学习pbi关于网页抓取的相关内容，有没有推荐的学习资料哈，非计算机人员，对网页结构不是零基础。

x_vios · 2020-11-5 20:51:19

找到原因了，后面会变的那串数字，是指格林威治时间1970年01月01日00时00分00秒起至当下的总秒数，就是计算 Duration.TotalSeconds(
DateTime.LocalNow() - #datetime(1970,1,1,0,0,0)
)之间的总秒数，把他和URL前半部分连起来，以后就可以愉快的动态刷新了，有大神以前写过，没解释，当时不明白为什么，现在清楚了

i-shop · 2020-11-5 20:59:19

谷歌浏览器-打开网址，f12-network-xhr-ctrl+r--带？那行点击---headers--general---ruquest-url就是动态网 ...

老师，我又在其他地方找到一个方法，解决动态网址中的问题用这个方法应该就不用日后每天换更换网址获取数据了

let
Source = Json.Document(Web.Contents("https://www.jisilu.cn/data/cbnew/delisted/?")),
rows = Table.Combine(Table.FromList(Source[rows],each {Table.FromRecords({Record.FieldValues(_){1}})},{"t"})[t]),
重命名的列 = Table.RenameColumns(rows,{{"bond_id", "转债代码"},{"bond_nm", "转债名称"},{"price", "最后交易价格"},{"stock_id", "正股代码"},{"stock_nm", "正股名称"},{"orig_iss_amt", "发行规模"},{"put_iss_amt", "回售规模"},{"curr_iss_amt", "剩余规模"},{"issue_dt", "发行日期"},{"redeem_dt", "最后交易日"},{"delist_dt", "到期日期"},{"maturity_dt", "计划到期日期"},{"listed_years", "存续年限"},{"delist_notes", "退市原因"}}),
更改的类型 = Table.TransformColumnTypes(重命名的列,{{"转债代码", type text}, {"转债名称", type text}, {"正股名称", type text}, {"正股代码", type text}, {"退市原因", type text}, {"最后交易价格", type number}, {"发行规模", type number}, {"回售规模", type number}, {"剩余规模", type number}, {"存续年限", type number}, {"发行日期", type date}, {"最后交易日", type date}, {"到期日期", type date}, {"计划到期日期", type date}})
in
更改的类型

复制代码