[已解决] 对比两个大数据的表格时,PP运行速度非常慢,怎么破解,...

  [复制链接]
查看173502 | 回复150 | 2021-2-19 00:25:51 | 显示全部楼层 |阅读模式
各位大神好:
   我需要比对两个表的数据差异,表一和表二结构是一样呢,内容绝大部分相同,只有个别不同,我需要进行对比这两个表找出差异部分的内容。
  我初步做了一个表格模型,由于表一和表二数量比较多有2万行*58列的数据内容,我先用PQ进行数据清洗,删除不需要的列,清洗过之后是2万行*20列的内容,清洗过之后直接进入PP内部模型。同时通过表一客户和表二客户号汇总去重构建唯一客户号的表三 ,也同时导入模型。
   最后在模型中,用表三为主表,建立索引关系,从表一取一个数值,然后再从表二取一个数值,最后两个相减 得到差异 如此取数值了十几项 都是很简单的操作,十几项全部对应并相减之后,再生成数据透视表。但是由于每天都要更新数据,更新一次都需要300多秒,运行特别卡,有时候会直接卡死,想寻找有没有高效一点的核对方法。
  用的公式都很简单 都是related 对应值过来 然后两个数值相减 so-上日结存= RELATED(v6so[上日结存])  s-上日结存 RELATED(v6s[上日结存]) 上日结存差额=ABS([so-上日结存]-[s-上日结存])
  跪求大神给指点指点,比对两个表的差异,有没有什么更高校的方法!跪求指点下,简单说下大概的比对思路,非常感谢。






11158112022291.png
关系表
11158112022292.png
回复

使用道具 举报

lwfeng | 2021-2-19 00:32:51 | 显示全部楼层
数据导入(PQ)过程大概多久
从导入结束到透视表加载出来需要多久 excel 是32位还是64位
回复

使用道具 举报

长发麦琪 | 2021-2-19 00:36:51 | 显示全部楼层
数据导入(PQ)过程大概多久
从导入结束到透视表加载出来需要多久 excel 是32位还是64位


电脑配置绝对可以,i7 64位,安装的事office2016专业版的,因为我是用VB从外部把数据抓取到表格模板中,然后点击全部刷新,此时会先对抓取过了的表格进行PQ清洗,删除不必要的数据,然后导入pp模型中进行运算,最后通过透视表刷新过来应对的数据。 整个全部刷新的过程在260-500秒左右不等的时间,有时候excel还会卡死。
回复

使用道具 举报

tyc32 | 2021-2-19 00:44:51 | 显示全部楼层
另外大神想问下,如果我不用PQ清洗,直接把数据抓取过来之后,直接用VB进行处理下,然后直接进入PP模型,设计运算,然后透视表,这样会不会效率更高一些呢???这期间不用PQ,只用PP,会不会好一些。
回复

使用道具 举报

china0578 | 2021-2-19 00:49:52 | 显示全部楼层
另外大神想问下,如果我不用PQ清洗,直接把数据抓取过来之后,直接用VB进行处理下,然后直接进入PP模型,设 ...


所以我前面的问题是PQ,PP分别各占多少时间,你的回答里还是没有这个信息
回复

使用道具 举报

63848181 | 2021-2-19 00:54:52 | 显示全部楼层
所以我前面的问题是PQ,PP分别各占多少时间,你的回答里还是没有这个信息


我也不知道呢因为我数据源采集过了之后直接点击的数据——全部刷新,然后就看excel一直在转圈,区分不出来每个占用的时间
回复

使用道具 举报

独行侠 | 2021-2-19 00:57:52 | 显示全部楼层
我也不知道呢因为我数据源采集过了之后直接点击的数据——全部刷新,然后就看excel一直在转圈,区分 ...


调出excel右侧的编辑查询界面,再全部刷新一次,看一下PQ处理数据总共花了多长时间
回复

使用道具 举报

潘老大 | 2021-2-19 01:00:52 | 显示全部楼层
另外大神想问下,如果我不用PQ清洗,直接把数据抓取过来之后,直接用VB进行处理下,然后直接进入PP模型,设 ...


一般都是先sql清晰,只取自己需要的数据,vb先预处理下肯定也好很多的
回复

使用道具 举报

白兔仔 | 2021-6-15 08:53:00 来自手机 | 显示全部楼层
这个视频很不错,推荐一下
回复

使用道具 举报

aiqindehaiyang | 2021-7-9 13:24:25 | 显示全部楼层
一直在看
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则