填坑!线上Presto查询Hudi表异常排查

1. 引入

线上用户反馈使用Presto查询Hudi表出现错误,而将Hudi表的文件单独创建parquet类型表时查询无任何问题,关键报错信息如下

报Hudi表中文件格式不是合法的parquet格式错误。

2. 问题复现

开始根据用户提供的信息,模拟线上Hudi数据集大小、Presto和Hudi版本(0.5.2-incubating)来复现该问题。

进行试验发现当Hudi表单文件大小较小时,使用Presto查询一切正常。

构建Hudi表中单文件大小为100MB以上数据集,使用Presto查询。

可以看到,当Hudi数据集中文件大小为100MB时复现了 Not Valid Parquet file 异常,通过Presto的web ui可以看到具体的错误堆栈如下

通过错误堆栈可以进一步确认在读取parquet文件时校验失败,开始怀疑parquet文件确实被损坏,但使用parquet-tools工具检查本地parquet文件,发现无问题。

3. 问题排查

经过上述步骤复现了问题,问题能够复现就好排查。但Presto对于合法parquet文件检查为何会报错?带着这个疑问开始在本地debug Presto,首先在Presto服务端和IDEA中进行相应的配置。

3.1 Presto服务端配置

要想能够连接到Presto服务端,需要在PRESTO_HOME根目录下创建 etc 目录,然后创建 jvm.properties 文件,内容如下

上述配置除了可以连接服务端进行debug外,添加的 -XX:+TraceClassLoading-XX:+TraceClassUnloading 两个配置项,还会打印每个类加载和卸载的日志(这个在排查presto类加载器问题时非常有用,建议开启)。

3.2 IDEA配置

配置完Presto服务端后,在IDEA进行如下配置即可。

3.3 单步调试

IDEA中开启了debug后,通过Presto客户端查询时( select*fromhudi_big_table ),就可以进行单步调试,首先我们在 BackgroundHiveSplitLoader 类中打了些断点(该类是加载Split的关键类)。

通过 shouldUseFileSplitsFromInputFormat 方法判断是否直接通过注解( @UseFileSplitsFromInputFormat )获取FileSplit。Hudi与外部系统交互的 HoodieParquetInputFormatHoodieParquetRealtimeInputFormat 两个类都使用了该注解。

从上图可以看到100MB的文件被分成了四个InputSplit(按照32MB大小进行切分),后续Presto会根据 InputSplit 来构造对应的 InternalHiveSplit

进一步在异常堆栈地方打断点如下

根据上述代码逻辑可知,从文件中读取magic与parquet文件的MAGIC不相等导致抛出了异常。

值得注意的是fileSize的大小为 33554432 ,表示一个InputSplit的大小,而并非文件大小,因此获取 metadataLength 时并不准确,导致并非读取了parquet文件的magic,而是读取了InputSplit的数据,因此校验时抛出异常。理论上对于不同的InputSplit,该方法传入的fileSize大小应该等于文件的大小,而非InputSplit的大小,那么这个fileSize的大小是在哪个步骤传递错误的呢?带着这个疑问,继续进行debug。

根据前面debug信息得知Presto会通过 InputSplit 创建 InternalHiveSplit ,继续debug生成 InternalHiveSplit 的逻辑

可以看到在上面构造 InternalHiveSplit 时,传递的参数值为start=0、start + length=33554432,length=33554432,而 InternalHiveSplit 本身的参数对应为start、end、fileSize,可以看到 错误地将length当成fileSize传递了

既然怀疑这个参数传递错误导致了异常,那么修改参数为fileSize后是否可以修复该问题?于是打包验证观察异常是否还会出现,即对presto-hive模块重新打包,放入$PRESTO_HOME/plugin/presto-hive目录中,重启Presto服务,再次进行验证。

可以看到修改参数后,查询一切正常!!!

另外对Hudi的小文件也进行了回归测试,查询也正常!自此可以发现是由于参数不对的bug导致了异常,鉴于这个bug对Presto社区其他用户也可能产生影响,于是查看Presto的master分支是否修复了该问题,若未修复,可将该patch回推到社区,于是查看了Presto的master分支对应代码,发现已经有开发者修复了!

找到对应的PR:https://github.com/prestodb/presto/pull/14355(仅仅只修改了上述的一行代码),在4月7号合入master分支,从这个PR得知,该bug是由https://github.com/prestodb/presto/pull/12780引入。

3.4 影响的版本

由于该缺陷是在2019年5月引入Presto社区,在2020年4月得以修复,期间发布的版本( 0.221 ~ 0.235 )都会受到影响,如本地测试0.227、0.231版本都有问题。 最近社区发布的0.236版本修复了该问题 ,如果生产环境使用的版本在0.221 ~ 0.235之间,建议升级或者cherry-pick对应的patch。

4. 总结

根据线上用户反馈查询Hudi表问题,由于线上环境不好debug,需根据上线环境在本地模拟复现问题,然后快速debug排查修复问题。当然本篇文章省略了debug的旁路路径,只给出了debug的关键路径。

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章