[知识总结] 基于Antlr对PostgreSql血缘解析(表、列),并存入Atlas
作者:CC下载站 日期:2022-01-14 08:19:00 浏览:60 分类:编程开发
上一篇文章讲了antlr的一个简单上手使用,这篇主要说下他的一个重要作用,就是解析sql,并提取其中表、字段信息,同时记录血缘关系,最后将其存入atlas中。
首先我们需要有 postgreSql的g4文件,当然这个肯定不是让你写的,否则累死了,我能在网上找到的postgreSql.g4是在两个地方,首先是 antlr 的github官网 有这个,但很可惜他解析出来的是csharp文件,我们java用不了,所以使用的是另一个民间大神的g4文件 antlr_psql
有了 g4 文件,我们便可以生成最重要的 Parser 文件:
其次我要说下antlr里一些比较重要的概念
RuleNode
我们g4文件里定义的一个个规则在 antlr 看来都是一个个的节点,比如 select
、from
、GROUP BY
等,而正是这么多若干的RuleNode最后形成了我们一颗大的解析树:
类似这个解析树里的一个个节点:select_stmt
、colum_list
等,这些也都是一开始定义在g4文件里的
然后是访问解析树的两种模式:监听者模式 和 访问者visitor模式,我这里主要说visitor模式
Visitor模式
PostgreSQLParserVisitor.java是个访问器接口,定义了一些访问RuleNode的接口方法,可以通过实现它来完成自定义的功能。而PostgreSQLParserBaseVisitor.java是该接口的默认实现,它为每个接口方法提供了空实现。
我们可以自己写一个类继承 PostgreSQLParserBaseVisitor ,并重写自己想要处理节点的方法,即可做自己的处理:
例如上图,我们能从解析树中看到 select_stmt这个节点,我们可以通过访问这个节点拿到它下面的列,再而即可拿到字段名字,而重写方法名只用在前面加上visit即可:
public class PostgreSqlFieldLineageParser extends PostgreSQLParserBaseVisitor {
@Override
public Object visitSelect_stmt(PostgreSQLParser.Select_stmtContext ctx) {
ctx.selector_clause().column_list().expr().forEach( exprContext -> {
exprContext.identifier().forEach(identifierContext -> {
System.out.println("visitSelect_stmt : " + identifierContext.getRuleContext().getText());
});
});
return super.visitSelect_stmt(ctx);
}
}
这样我们就可以在 antlr 访问解析树时拿到想要的字段,其中PostgreSQLParser.Select_stmtContext ctx 就是select_stmt节点的上下文,我们可以拿到它父子节点的值。
但是主要我们最后要 return 父级该方法,这是和监听器机制的不同:
注意:ANTLR的运行库提供了两种遍历树的机制:监听器机制与访问器机制。与访问器不同的是,监听器的方法会被ANTLR提供的遍历器对象(比如ParseTreeWalker)自动调用,而在访问器的方法中,必须显示调用visit方法来访问子节点。如果没有调用visit方法就会导致对应的子树不被访问。而且监听器方法是没有返回值的(即返回类型是void)。
我们调用visit方法即可访问节点信息:
//调用该方法
public void parseSqlFieldLineage(String sql) {
PostgreSqlFieldLineageParser visitor = new PostgreSqlFieldLineageParser();
visitor.visit(getParseTree(sql));
}
private ParseTree getParseTree(String sql) {
CharStream input = CharStreams.fromString(sql);
PostgreSQLLexer lexer = new PostgreSQLLexer(input);
CommonTokenStream tokenStream = new CommonTokenStream(lexer);
PostgreSQLParser parser = new PostgreSQLParser(tokenStream);
return parser.root();
}
如果我们要拿到 from 后的表名,同理:
@Override
public Object visitFrom_clause(PostgreSQLParser.From_clauseContext ctx) {
PostgreSqlFieldModel postgreSqlFieldModel = map.get(lastHashcode);
ctx.from_item().forEach(from_itemContext -> {
//别名
if (from_itemContext.alias() != null) {
System.out.println("from : " + from_itemContext.alias().identifier().getRuleContext().getText());
}
//表名
if (from_itemContext.table_name_() != null) {
System.out.println("from : " + from_itemContext.table_name_().getRuleContext().getText());
}
});
return super.visitFrom_clause(ctx);
}
由此我们还可以得出结论,当有子查询的时候visitSelect_stmt方法会访问多次,因为select_stmt节点可能会有多个,每次只能得到当前节点子节点的一些值,但我们需要知道
visitor模式访问解析树是层次遍历!不是深度优先
也就是说会把同一层的节点访问完毕再去访问下一层的子节点!
那我们在保存表与表之间的关系、列于列之间的关系时就要格外注意,在层次遍历时需要记录节点的父子关系!
(记录父子节点关系的具体代码后续更新,列血缘比较麻烦,有一些别名、计算类的情况没有完善到)
存入atlas
当我们有了表与表、列于列之间的关系的时候,便可以通过rest API存入atlas,我这里通过 AtlasClientV2
猜你还喜欢
- 03-29 [编程相关] Winform窗体圆角以及描边完美解决方案
- 03-29 [前端问题] has been blocked by CORS policy跨域问题解决
- 03-29 [编程相关] GitHub Actions 入门教程
- 03-29 [编程探讨] CSS Grid 网格布局教程
- 10-12 [编程相关] python实现文件夹所有文件编码从GBK转为UTF8
- 10-11 [编程算法] opencv之霍夫变换:圆
- 10-11 [编程算法] OpenCV Camshift算法+目标跟踪源码
- 10-11 [Python] python 创建 Telnet 客户端
- 10-11 [编程相关] Python 基于 Yolov8 + CPU 实现物体检测
- 03-15 [脚本工具] 使用go语言开发自动化脚本 - 一键定场、抢购、预约、捡漏
- 01-08 [编程技术] 秒杀面试官系列 - Redis zset底层是怎么实现的
- 01-05 [编程技术] 《Redis设计与实现》pdf
取消回复欢迎 你 发表评论:
- 精品推荐!
-
- 最新文章
- 热门文章
- 热评文章
[云资源] 花了一千多元买的私人健身教程
[资料] [大学期末救急课] 猴博士+高斯课堂+斐多课堂,全集视频合集
[游玩] 地道春茶地图:中国最美的春天都藏在这里!
[影视] 漂流人生 WEB-DL版下载/漂流人生(港) 2023 Drift 6.29G
[游戏娱乐] 《最远的边陲》v0.9.2中文版
[游戏娱乐] 《无人深空》v4.62中文版
[影视] 不亲密朋友 WEB-DL版下载/(Not) Close Friends/Not Friends/Phuean (Mai) Sanit/他的最后一个朋友(台)/第151个朋友(港) 2023 เพื่อน (ไม่) สนิท 7.14G
[影视] 周处除三害 WEB-DL版下载/The Pig, the Snake, and the Pigeon 2023 周處除三害 6.34G
[影视] 真实的谎言 4K蓝光原盘下载+高清MKV版/真实谎言/魔鬼大帝:真实的谎言 1994 True Lies 78.4GB
[web] 免费公共DNS大全(IPv6+IPv4)
[资料] [大学期末救急课] 猴博士+高斯课堂+斐多课堂,全集视频合集
[云资源] 花了一千多元买的私人健身教程
[下载工具] Internet Download Manager 6.42.7 (IDM)
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[即时通讯] 腾讯QQ PC版9.7.22.29315去广告绿色纯净版
[开发环境] PhpStorm2023中文激活版v2023.3.3 正式版
[图像制作] Adobe Illustrator 2024 v28.1.0.141 破解版
[资料] 3000 套电影电视剧 LOGO 宣传片常用音效合集包
[截图软件] HyperSnap(截图软件)_v9.4.0.00_汉化破解版
[安卓软件] 酷我音乐APP_v10.7.6.4 去广告破解豪华VIP版
[影视] 灌篮高手 WEB-DL版下载/Slam Dunk/スラムダンク/灌篮高手:THE FIRST/灌篮高手电影版 2022 The First Slam Dunk 61.35G
[云资源] 花了一千多元买的私人健身教程
[安卓软件] Android GIF助手 v3.9.7 GIF图片编辑器破解版
[电视剧] 三体 (2024) 全8集 网飞版本 中文字幕 合集
[剧集] 繁花 (2023)[全30集][打包]
[影视] 三大队 WEB-DL版下载/Endless Journey/请转告局长,三大队任务完成了 2023 三大队 6.7G
[纪录片] 河西走廊【10集 国语 中文字幕 1080P 10.8G MP4】
[安卓软件] OfficeSuite中文版APP v14.2.50872.0破解版
[影视] 涉过愤怒的海 WEB-DL版下载/怒海 / Across the Furious Sea 2023 涉过愤怒的海 26.3G
[电影] 2024年喜剧片·热辣滚烫 [mp4]
- 最新评论
-
谢谢支持!!CC下载站 评论于:03-26 很棒的资源,感谢分享云体风身 评论于:03-26 感谢分享,好东西云体风身 评论于:03-26 谢谢支持!CC下载站 评论于:03-14 央视精品,感谢付出提供。qwer9009 评论于:03-14 谢谢支持!!!CC下载站 评论于:03-13 谢谢分享!Ypc9182 评论于:03-12 谢谢支持!!CC下载站 评论于:03-11 感谢本网站收集和提供这么多的资料,谢谢!Ypc9182 评论于:03-10 很棒的资源,支持一下lingzhi007 评论于:03-10
- 热门tag