告别数据库束缚！用esProc在 csv 文件上执行 SQL

admin管理员组

文章数量:1446760

告别数据库束缚！用esProc在 csv 文件上执行 SQL

esProc SPL 支持简单 SQL，可以直接在 csv 等结构化文本文件上执行 SQL 语句，这样，不用数据库也可以用 SQL 计算了。

先前往乾学院下载 esProc SPL

推荐用标准版，找到相应版本下载后安装即可。

准备好一个格式标准的 csv 文件。

打开 esProc IDE，新建脚本，在 A1 格写 SQL：

代码语言：javascript代码运行次数：0运行复制

$select * from d:/Orders.csv

注意前面的 $ 表示这句是 SQL，否则缺省认为是原生的 SPL 语句。

按 Ctrl-F9 执行，在右边可以看到，文件被读成数据表的形式：

SPL 代码写在这些单元格中，每个格执行完后就会有个值，在右边可以实时看到，这样非常便于调试。

TAB 分隔的 txt 也一样可以支持，比如这个文件：

在 A2 中写入：

代码语言：javascript代码运行次数：0运行复制

$select * from d:/Orders.txt

并按 Alt-Enter 执行该格，esProc IDE 允许单步执行某一条语句，这样特别方便交互式数据分析。 右边会看到同样的结果：

esProc 的 SQL 认为 txt 是 TAB 分隔的，csv 是逗号分隔，会根据扩展名自动处理。如果扩展名写错就可能读出错误的结果。

有些文件没有标题行：

这里需要用 SPL 原生语法才能读出来，在 A3 中写：

代码语言：javascript代码运行次数：0运行复制

$select * from {file("d:/OrdersNT.csv").import@c()}

其中 {…} 是 SPL 原生语法，表示读取文本文件，没有标题行，分隔符是逗号。 执行后可以可看到结果：

esProc 将自动用序号表示列名。 类似地，不同分隔符的文本，也可以用 SPL 原生语法读出。

读取之后再试试计算，先看 WHERE，在 A4 中写：

代码语言：javascript代码运行次数：0运行复制

$select * from d:/Orders.csv where Amount>=100 and Client like '%s%'

执行后的结果：

把 Amount 大于 100 并且 Client 包含 s 的记录过滤了出来。

日期上的运算:

代码语言：javascript代码运行次数：0运行复制

A5:$select * from d:/Orders.csv where (OrderDate<date('2020-01-01') and Amount<=100) or (OrderDate>=date('2020-12-31') and Amount>100)

CASE WHEN 也支持：

代码语言：javascript代码运行次数：0运行复制

A6: $select case year(OrderDate) when 2010 then 'this year' when 2010 then 'last year' else 'previous years' end from d:/Orders.csv

再看看 GROUP BY:

代码语言：javascript代码运行次数：0运行复制

A7:$select Client,year(OrderDate) y,sum(Amount) amt from d:/Orders.csv group by Client,year(OrderDate)

再加个 HAVING:

代码语言：javascript代码运行次数：0运行复制

A8:$select Client,year(OrderDate) y,sum(Amount) amt from d:/Orders.csv 
group by Client,year(OrderDate) having sum(Amount)>1000

JOIN 语句也不在话下:

代码语言：javascript代码运行次数：0运行复制

A9: $select o.OrderId,o.Client,e.Name e.Dept,e.EId from d:/Orders.csv o 
left join d:/Emp.csv e on o.SellerId=e.Eid

看起来支持得还挺全面，官方号称是支持到 SQL92，连 WITH 也可以无拘无束，但是还不支持窗口函数。不过问题也不大，窗口函数写起来本来也很繁琐，esProc 的原生 SPL 语法要来比窗口函数简单多了，也就没太大必要再支持窗口函数了。

esProc 还可以命令行的方式执行 SQL，比如上面的 GROUP BY：

除了文本文件，esProc 的 SQL 还支持 XLS\MongoDB\restful json 等数据源，用法都差不多，感兴趣者可移步乾学院社区。

本文标签： 告别数据库束缚！用esProc在 csv 文件上执行 SQL