[已解决] 每日固定的csv数据,如何删除特定数据行

  [复制链接]
查看116836 | 回复125 | 2020-11-5 20:49:44 | 显示全部楼层 |阅读模式
背景:power bi导入每日固定的csv数据,为公司统一给各部门汇总提取(无法更改推送的数据源),但是有一半的数据不是我所需要的,我如何按照部门字段删除其他不是我想要的数据呢?
举个栗子:csv文档有300M/日,其中字段A,是业务分类,包含值11/12/13/14,其中12和14是我所需要的,11和13不是。需求:我如何在导入前后删除我不需要的那部分,确保保存的数据占用存储小,存储更多的我所需要的数据,加快运算速度。在Query 或者Bi Desktop界面操作删除操作数据源最好,用函数麻烦点也行,感谢大神!~!~
回复

使用道具 举报

VBS | 2020-11-5 20:54:44 | 显示全部楼层
自己顶贴,免得沉了
回复

使用道具 举报

nq1999 | 2020-11-5 21:03:45 | 显示全部楼层
在Power Query中先清洗数据,如果你需要呈现的部门是固定的,可以在PQ中的筛选项里,选择“包含” 的方式把你需要的筛选出来。(你应该是有制作一个固定模板的)这样第二天导入数据进去,刷新一下PQ结果就出来了
回复

使用道具 举报

really | 2020-11-5 21:04:45 | 显示全部楼层
vba来完成也可以,前提是有附件
回复

使用道具 举报

秦川 | 2020-11-5 21:11:45 | 显示全部楼层
vba来完成也可以,前提是有附件


是EXCEL 的宏语言吗?每天需要打开的数据行数都超过了100万,可能没法用EXCEL打开,会丢失很多。M语言的话可以现成的哇?
回复

使用道具 举报

小滋 | 2020-11-5 21:15:45 | 显示全部楼层
在Power Query中先清洗数据,如果你需要呈现的部门是固定的,可以在PQ中的筛选项里,选择“包含” 的方式把 ...


大神,没懂是利用Query的筛选功能吗逆筛选出来 删除? Ps: 不知道为什么,我的Query 没有倒三角的筛选按钮D:\
回复

使用道具 举报

穷疯了 | 2020-11-5 21:23:46 | 显示全部楼层
【楼主补充】补充的Query 界面的图片和部分数据
10508102039541.png
回复

使用道具 举报

草原 | 2020-11-5 21:25:46 | 显示全部楼层
10508102039542.png 没有筛选就自己写语句咯,Table.SelectRows(上一步表名,each ([业务分类]=12 or [业务分类]=14) ),如果是模糊包含,就用Table.SelectRows(上一步表名,each (Text.Contains([业务分类],"12") or Text.Contains([业务分类],"14")) )。数字列也要改成文本,另外还有不包含,那就是Table.SelectRows(上一步表名,each ([业务分类]12 and [业务分类]14) )。另外一半应该有倒三角筛选按钮的,你截图下你为啥没有
回复

使用道具 举报

etrader | 2020-11-5 21:29:46 | 显示全部楼层
【楼主补充】补充的Query 界面的图片和部分数据


你这个 是不是powerpivot的页面啊,还是powerbi里面的某个操作页面
回复

使用道具 举报

renoir | 2020-11-5 21:38:46 | 显示全部楼层
你这个 是不是powerpivot的页面啊,还是powerbi里面的某个操作页面


大神,都有的。我刚才上传的是Power Query界面,建模界面肯定有的。我在建模 Pivot上尝试下,感谢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则