Hive解析Json数组超全讲解

欢迎大家来到IT世界,在知识的湖畔探索吧!

前言

在Hive中，经常会遇到很少数据是JSON格式的，比如：APP页面埋点数据、用户登录日志、点击日志等信息，都会将多个字段存放在一个json数组中，因此，对数据分析时就要用到json相关函数来处理，下面我就介绍一下Hive中的几个json函数的用法。

Hive自带的json解析函数

1. get_json_object

• 语法：get_json_object(json_string, ‘$.key’)
• 说明：解析json的字符串json_string,返回json_string中key的内容。如果输入的json字符串无效，那么返回NULL。

get_json_object() 是个UDF，在Mapper阶段的列投影时完成获取解析json的操作，如果要获取多个key，那么json字段就要解析多次！这个函数每次只能返回一个数据项。

select get_json_object('{"name":"zhangsan","age":18}','$.name') as name, get_json_object('{"name":"zhangsan","age":18}','$.age') as age;

欢迎大家来到IT世界,在知识的湖畔探索吧!

结果：

欢迎大家来到IT世界,在知识的湖畔探索吧!

get_json_object 解析Json数组（一）

这个函数的api中还有一个符号*,用这个符号可以解析数组中的内容，返回解析key对应的值的数组。

欢迎大家来到IT世界,在知识的湖畔探索吧!select get_json_object('[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]','$[*].name') as name;

结果：

get_json_object解析Json数组（二）

索引从0开始，可以指定索引编号获取指定数组的值，也可以用符号*获取所有值。

select get_json_object('{"info":[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]}','$.info[1].name') as name; select get_json_object('{"info":[{"name":"zhangsan","age":18},{"name":"lisi","age":19}]}','$.info[*].name') as name;

两个SQL执行结果分别如下：

get_json_object解析嵌套Json

欢迎大家来到IT世界,在知识的湖畔探索吧!select get_json_object('{"id":1,"name":"zhangsan","age":18,"tags":{"interest":["篮球","羽毛球"],"height":"180CM"}}','$.tags.interest') as interest;

结果：

2. json_tuple函数

• 语法： json_tuple(json_string, k1, k2 …)
• 说明：解析json的字符串json_string,可指定多个json数据中的key，返回对应的value。如果输入的json字符串无效，那么返回NULL。
• 缺点：不支持解下嵌套Json

json_tuple() 这个函数在Hive里面是使用UDTF来实现的，即普通的一行转多行。它会生成两个Select Operator 操作，一个扫描不用解析的数据，生成一行，另外一个扫描需要解析的数据进行解析，然后再使用Lateral View Join Operator 操作将这两部分数据join关联起

一次解析多个字段

select json_tuple('{"name":"zhangsan","age":18}','name','age');

结果：

欢迎大家来到IT世界,在知识的湖畔探索吧!WITH t_student AS ( SELECT 1 AS id, 'zhangsan' AS name , '{"interest":["篮球","羽毛球"],"height":"180CM"}' AS info UNION ALL SELECT 2 AS id, 'lisi' AS name , '{"interest":["足球","羽毛球"],"height":"178CM"}' AS info ) SELECT a.id, a.name, b.interest, b.height FROM t_student a LATERAL VIEW json_tuple(info, 'interest', 'height') b AS interest, height;

结果:

注意：上面的json_tuple函数中没有$.如果在使用json_tuple函数时加上$.就会解析失败：

get_json_object和json_tuple函数性能比较

一般情况下，由json字符串序列化成jsonObjecti这个过程是最耗费时间的。从代码中可以看到，这两个函数都会使用缓存jsonObject,也就是说json字符串转化为jsonObject的过程只有一次，并不是解析多次。

get_json_object代码中的缓存

json_tuple代码中的缓存

从缓存上考虑两者是都是用了缓存，但是json_tuple性能会比get_json_object差，主要是json_tuple属于UDTF函数，中间会有相关的operator，可以从两者的执行计划上对比查看。

explain select get_json_object('{"name":"zhangsan","age":18}','$.name'); STAGE DEPENDENCIES: Stage-0 is a root stage STAGE PLANS: Stage: Stage-0 Fetch Operator limit: -1 Processor Tree: TableScan alias: _dummy_table Row Limit Per Split: 1 Statistics: Num rows: 1 Data size: 10 Basic stats: COMPLETE Column stats: COMPLETE Select Operator expressions: 'zhangsan' (type: string) outputColumnNames: _col0 Statistics: Num rows: 1 Data size: 92 Basic stats: COMPLETE Column stats: COMPLETE ListSink stSink 

欢迎大家来到IT世界,在知识的湖畔探索吧!explain select json_tuple('{"name":"zhangsan","age":18}','name'); STAGE DEPENDENCIES: Stage-0 is a root stage STAGE PLANS: Stage: Stage-0 Fetch Operator limit: -1 Processor Tree: TableScan alias: _dummy_table Row Limit Per Split: 1 Statistics: Num rows: 1 Data size: 10 Basic stats: COMPLETE Column stats: COMPLETE Select Operator expressions: '{"name":"zhangsan","age":18}' (type: string), 'name' (type: string) outputColumnNames: _col0, _col1 Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: COMPLETE UDTF Operator Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: COMPLETE function name: json_tuple Select Operator expressions: c0 (type: string) outputColumnNames: _col0 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE ListSink

总结

get_json_object和json_tuple都是 Hive 中用于操作 JSON 数据的函数：

• get_json_object：用于从 JSON 字符串中提取指定路径的值。
• json_tuple：用于从 JSON 数组中提取多个值，并以元组的形式返回。

这两个函数都可以帮助我们在 Hive 中方便地处理和提取 JSON 数据中的特定字段或元素。它们在处理 JSON 格式的数据时非常有用。

你学会了吗？欢迎点赞收藏，分享转载~~