现在有个查询需要使用PQ读取某个文件夹,然后汇总里面的xlsx文件。这个文件夹会每周增加一个新的文件,其他旧文件正常情况下是不会变动的。
如果直接用PQ提供的“查询-从文件夹”功能,是没问题。不过文件越来越多,而且每次都从头个文件开始查询,会导致查询速度越来越慢。
现在只有个想法,类似分段处理:预先将确定不会变动的文件先用PQ汇总合并到一个文件A,然后每周查询没被预先汇总的文件后,再追加文件A内容。
原来方法:1、直接查询文件夹,包含文件:1,2,3,4...100,101,102
优化方案:1、预先汇总文件1,2,3,4...100,这100个文件的内容到新文件A;
2、每周只查询101及之后的文件,得到文件B;
3、文件B中追加文件A
不过感觉这样有点折腾,大家有没好点的方法/思路? |