HIVE使用技巧(一)--union all

HIVE语法中对于 UNION ALL 的使用是非常常见的,主要用于多表合并的场景。 UNION ALL要求各表SELECT出的字段类型必须完 全匹配。

在实际使用过程中,经常会出现对多表且不同字段的结果表进行合并操作。

例如:以下六张表中除seller_id字段相同外,其他字段均不相同。需要合并这六张表,来计算每个卖家是否做过店铺名称、电话、主营类目变更等行为。


解决合并多表且字段类型不同的问题,可用以下方法:



将每张表中没有的字段在select时,用‘ ’as 相同字段名 进行处理,将每张表补成拥有相同的字段类型:


最后的新表结果如下:


 可以看到对于同一个卖家,可以用一条记录表示出是否有过店铺地址变更、是否有过主营类目变更等操作。

扩展使用技巧:

 类似 select ‘1’as mark form dual 还有什么场景可以使用。

 例如: 表a:name, height,表b:name,  height      合成表c:name, height

可以使用这种方法来做标记,用mark字段来标识某条记录来源于哪一张表,这种处理方法非常有利于最后的数据分析。

 

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章