新人有关学习POWER BI的几个问题~~

显示全部楼层 · 2020-9-16 05:45:56

Excel用了很久，但是在处理百万以上数据遇到瓶颈，会sql，但终归不够这边灵活，在开始入坑pq之前，想先请教前辈们几个问题：

1、PQ可以突破excel在数据量上的瓶颈吗？比如说，源文件CSV200w行，我想筛其中50w导入excel，PQ可以做到吗？
2、PQ的语法（叫M？）是不是既不同vba也不同于sql？是独立的一套东西？
3、有点想入坑PYTHON ，对比PQ是不是更彻底的解决方案？

dg0013111 · 2020-9-16 05:51:56

1.可以
2.M语言有自己的一套用法
3.PYTHON涉及面比较广，主要看用处，而且python可以和m语言合起来用

sissyboy · 2020-9-16 05:58:57

1.可以
2.M语言有自己的一套用法
3.PYTHON涉及面比较广，主要看用处，而且python可以和m语言合起来用

昨晚有试了一下，所谓可以就是在pq 那个查询界面里其实是不限 104w 的是吗？

只是最终加载过来excel 不能超？

蓝天 · 2020-9-16 06:04:57

昨晚有试了一下，所谓可以就是在pq 那个查询界面里其实是不限 104w 的是吗？

只是最终加载过来e ...

在PQ处理完点击应用的时候，可以选择加载到表格或者只创建连接，下面还有是否添加到数据模型：
如果你选择加载到表格，那么就要受表格行数的限制；
如果你选择仅创建连接（即不在工作表中显示），并且选择添加到数据模型，那么就不受表格行数的限制，可以通过PowerPivot查看数据并进行分析，例如自定义透视表或者DAX查询。

PowerQuery是获取数据+整理数据的工具，使用的是微软自家的M语言，PowerPivot是整理完以后做数据分析的工具，使用的是微软自家的DAX语言，两种语言在各自领域都非常强大。
PQ也支持使用SQL从数据库取出数据，并不冲突。

Excel中虽然这两个模块都有，但是PowerPivot模块默认是隐藏的，而且不能发挥DAX公式的全部性能(不像PowerBI那样与可视化结合紧密)，所以我觉得Excel更偏向PQ一点。
相比之下，真正结合PQ(M语言)与PP(DAX语言)的其实是微软专门围绕数据分析做的软件，也就是你标题上的PowerBI。
当然不管哪个软件，同一个模块的功能是一样的。

yuxin · 2020-9-16 06:08:57

PQ用多了你就会发现瓶颈，对于大数据量PQ的加载很慢，例如你举例的100万数据，PQ也可以处理，但是一旦涉及到复杂计算，加载速度能急死人，所以PQ还是安心当个简单的ETL使用，计算的活还是交给power pivot，分工很明确。至于python，如果只是做数据处理，只要会两三个包和基础语法就行，要写代码，如果没有工作环境，还不如PBI用起来简单，python更大的优势是后面的数据深度挖掘和机器学习方面，个人见解。