[知识总结] 基于Calcite的SQL血缘解析思路
作者:CC下载站 日期:2022-01-23 09:16:00 浏览:53 分类:编程开发
上一篇介绍完了基于Antlr的sql血缘解析,这一篇我来说一说基于Calcite的
简介
Apache Calcite 是一款开源SQL解析工具, 可以将各种SQL语句解析成抽象语法语法树AST(Abstract Syntax Tree), 之后通过操作AST就可以把SQL中所要表达的算法与关系体现在具体代码之中。
以下两个github有不少calcite的test,可以参考,但是由于calcite版本比较老,所以一些代码已经废弃:
基本使用
我们直入正题:
解析
我们先将sql语句解析为语法树,根节点为SqlNode(你可以类比为antlr的RuleText)
SqlNode.getKind()可以获得当前节点是哪种节点,例如SELECT、INSERT、JOIN、AS等等
如果你会看antlr的解析树,其实你debug SqlNode的结构时其实差不多,都是一级一级往下找
先上代码:
依赖
<dependency>
<groupId>org.apache.calcite</groupId>
<artifactId>calcite-core</artifactId>
<version>1.29.0</version>
</dependency>
SqlNode
网上很多的写法例如ConfigBuilder这种已经废弃了,尽量参考calcite源码中SqlParseTest中的方法:
@Test
public void testnormal() throws Exception{
String sql = "select a from t1";
SqlParser sqlParser = getSqlParser(sql, null);
SqlNode sqlNode = sqlParser.parseStmt();
System.out.println(sqlNode.toString());
}
public SqlParser getSqlParser(String sql, SqlDialect sqlDialect) {
return getSqlParser(new SourceStringReader(sql), getTransform(sqlDialect));
}
protected SqlParser getSqlParser(Reader source,
UnaryOperator<SqlParser.Config> transform) {
final SqlParser.Config configBuilder =
SqlParser.config()
.withParserFactory(parserImplFactory());
final SqlParser.Config config = transform.apply(configBuilder);
return SqlParser.create(source, config);
}
private static UnaryOperator<SqlParser.Config> getTransform(SqlDialect dialect) {
return dialect == null ? UnaryOperator.identity() : dialect::configureParser;
}
protected SqlParserImplFactory parserImplFactory() {
return SqlParserImpl.FACTORY;
}
递归遍历SqlNode
这里只举个例子:
public static List<String> getDependencies(SqlNode sqlNode, List<String> result) throws SqlParseException {
if (sqlNode.getKind() == JOIN) {
SqlJoin sqlKind = (SqlJoin) sqlNode;
System.out.println("-----join");
getDependencies(sqlKind.getLeft(), result);
getDependencies(sqlKind.getRight(), result);
}
if (sqlNode.getKind() == IDENTIFIER) {
System.out.println("-----identifier");
result.add(sqlNode.toString());
}
if (sqlNode.getKind() == INSERT) {
SqlInsert sqlKind = (SqlInsert) sqlNode;
System.out.println("-----insert");
getDependencies(sqlKind.getSource(), result);
}
if (sqlNode.getKind() == SELECT) {
SqlSelect sqlKind = (SqlSelect) sqlNode;
System.out.println("-----select");
getDependencies(sqlKind.getFrom(), result);
}
if (sqlNode.getKind() == AS) {
SqlBasicCall sqlKind = (SqlBasicCall) sqlNode;
System.out.println("----as");
getDependencies(sqlKind.getOperandList().get(0), result);
}
if (sqlNode.getKind() == UNION) {
SqlBasicCall sqlKind = (SqlBasicCall) sqlNode;
System.out.println("----union");
getDependencies(sqlKind.getOperandList().get(0), result);
getDependencies(sqlKind.getOperandList().get(1), result);
}
if (sqlNode.getKind() == ORDER_BY) {
SqlOrderBy sqlKind = (SqlOrderBy) sqlNode;
System.out.println("----order_by");
getDependencies(sqlKind.getOperandList().get(0), result);
}
return result;
}
第一次传入的sqlNode就是很节点,这里的result集合是记录源表表名的,这里建议大家去打个断点debug一下sqlNode,往里面扒一扒,你就能搞明白calcite构建sqlNode的一个逻辑了
所以这里要强调的是,Calcite对SqlNode的构建是一个递归的构建,我们对sqlNode语法树的解析是一个从外到内、从左向右的一个先序深度遍历,这点和antlr不同,要额外注意。(这一块也确实比较费脑子)
校验
以上只是对一条sql一个基本解析,并没有校验,对于select *
这种我们无法得知 里的内容,所以校验阶段就是根据已经有的元数据去校验该sql语句是否合法(表、字段名存不存在),最重要的一点是它会把 替换为该表的所有字段名,之后我们再重复上述解析即可:
public class TestOne {
public static class TestSchema {
public final Triple[] rdf = {new Triple("s", "p", "o")};
}
public static void main(String[] args) {
SchemaPlus schemaPlus = Frameworks.createRootSchema(true);
//给schema T中添加表
schemaPlus.add("T", new ReflectiveSchema(new TestSchema()));
Frameworks.ConfigBuilder configBuilder = Frameworks.newConfigBuilder();
//设置默认schema
configBuilder.defaultSchema(schemaPlus);
FrameworkConfig frameworkConfig = configBuilder.build();
SqlParser.ConfigBuilder paresrConfig = SqlParser.configBuilder(frameworkConfig.getParserConfig());
//SQL 大小写不敏感
paresrConfig.setCaseSensitive(false).setConfig(paresrConfig.build());
Planner planner = Frameworks.getPlanner(frameworkConfig);
SqlNode sqlNode;
RelRoot relRoot = null;
try {
//parser阶段
sqlNode = planner.parse("select \"a\".\"s\", count(\"a\".\"s\") from \"T\".\"rdf\" \"a\" group by \"a\".\"s\"");
//validate阶段
planner.validate(sqlNode);
//获取RelNode树的根
relRoot = planner.rel(sqlNode);
} catch (Exception e) {
e.printStackTrace();
}
RelNode relNode = relRoot.project();
System.out.print(RelOptUtil.toString(relNode));
}
}
public class Triple {
public String s;
public String p;
public String o;
public Triple(String s, String p, String o) {
super();
this.s = s;
this.p = p;
this.o = o;
}
}
Meta接口
除了我们自己手动递归sqlNode以外,我们也可以通过Meta接口下的相关API来获取sql的血缘:
(待补充)
自定义sql解析
这个主要是针对原有parse.jj中可能并没有处理我们特殊sql语句的关键字,我们需要对其扩展补充,来实现自定义sql解析,具体可以看我们最上面放的连接,calcite-test里有现成的自定义解析sql代码,但是要注意最新的calcite-core有不少改动,不能完全按照它里面的思路写
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[趣味工具] 【桌面动态小装扮】蝴蝶1.0、蟑螂1.2、苍蝇1.3
[辅助工具] 《小说角色更名器》+《小说广告清理器》V2.0.1
[Android] 人体穴位图解 v3.1.3(可离线)支持Android + ios
[辅助工具] 微信朋友圈导出工具 WechatMoments v0.0.1便携版
[AI工具] RWKV Runner-开箱即用的AI软件-聊天 写作 作曲一键完成
[Android] 小书包app开源小说v24.04.14内置书源版
[图像制作] StampDesign-印章设计制作软件
[美剧] 《辐射》全集
[课程] 2024小红书变现课:小红书无货源电商课
[网文网语] 潭岭、江州、绿藤、津港……悬疑剧中哪座“虚拟城市”最常出现?
[资料] [大学期末救急课] 猴博士+高斯课堂+斐多课堂,全集视频合集
[云资源] 价值2万元的老男孩Python教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[云资源] 花了一千多元买的私人健身教程
[下载工具] Internet Download Manager 6.42.7 (IDM)
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[资料] 3000 套电影电视剧 LOGO 宣传片常用音效合集包
[安卓软件] 酷我音乐APP_v10.7.6.4 去广告破解豪华VIP版
[即时通讯] 微信PC版WeChat 3.9.9.43 多开防撤回绿色版
[安卓软件] Solid Explorer文件管理器APP 2.8.38 破解版
[云资源] 价值2万元的老男孩Python教程
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[云资源] 花了一千多元买的私人健身教程
[书库] 史上最全摄影书推荐(附700本PDF版打包下载)
[动画] 北斗神拳(1984) [两季合集] [MKV]
[资料] 抗战阵亡将士资料+续编
[电视剧] 三体 (2024) 全8集 网飞版本 中文字幕 合集
[纪录片] 河西走廊【10集 国语 中文字幕 1080P 10.8G MP4】
[电影] 2024年喜剧片·热辣滚烫 [mp4]
[影视] 铁爪 WEB-DL版下载 2023 The Iron Claw 23.48G
- 最新评论
-
我想看看mw2ddyy 评论于:04-26 好东西阿zfy123123 评论于:04-18 谢谢楼主xiaoqi 评论于:04-12 勿在线解压,勿手机解压,请在电脑上用最新款压缩软件解压!推荐360压缩或者好压CC下载站 评论于:04-10 无法解压啊,客服能不能给个解压教程ravengrey 评论于:04-10 谢谢支持!!CC下载站 评论于:03-26 很棒的资源,感谢分享云体风身 评论于:03-26 感谢分享,好东西云体风身 评论于:03-26 谢谢支持!CC下载站 评论于:03-14 央视精品,感谢付出提供。qwer9009 评论于:03-14
- 热门tag