spark 连接远程hive调试 namenode 做了ha

关于spark debug的文件,算上这篇,已有4篇了,总结一下:

1,spark本地开发,元数据库,数据存储都在开发机。请参考: scala spark sql 本地调试

2,spark连接远程hive,单namenode。请参考: spark 连接远程hive调试的3种方法

3,spark远程调试。请参考: idea 2步配置 远程调试spark

namenode 做了ha后,本地是无法识别,dfs.nameservices,这会导致以下错误:

Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: bigdata1

at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:374)

at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:312)

解决办法:

就是把hadoop配置目录中的core-site.xml,hdfs-site.xml拷贝到src/main/resources目录下,就好了

spark 远程调试 namenode 做了ha

我来评几句
登录后评论

已发表评论数()

相关站点

热门文章