查看: 178|回复: 5

Spark常见问题总结

[复制链接]
论坛徽章:
5
Oracle研习者高级
日期:2014-01-19 14:54:04R研习者中级
日期:2014-09-19 14:20:23scala徽章
日期:2014-11-06 14:55:58Openstack徽章
日期:2014-12-25 16:03:43spark徽章
日期:2019-11-08 10:48:17
发表于 2019-8-11 23:13 | 显示全部楼层 |阅读模式

Spark Hive

1.Java.lang.RuntimeException: Unable to instantiate org.apache.Hadoop.hive.SQL.metadata.SessionHiveMetaStoreClient
spark无法知道hive的元数据的位置,所以就无法实例化对应的client。
解决的办法就是必须将hive-site.xml拷贝到spark/conf目录下
---------------------
版权声明:本文为CSDN博主「掌舵的鹰」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_38405636/article/details/80677301

回复

使用道具 举报

论坛徽章:
5
Oracle研习者高级
日期:2014-01-19 14:54:04R研习者中级
日期:2014-09-19 14:20:23scala徽章
日期:2014-11-06 14:55:58Openstack徽章
日期:2014-12-25 16:03:43spark徽章
日期:2019-11-08 10:48:17
 楼主| 发表于 2019-8-11 23:13 | 显示全部楼层
2.Spark not Serializable
使用了非序列化的对象,在Java中若是在类中spark调用使用了匿名函数,则需要将该类实现Serializable接口,并且将成员变量用transient修饰
回复 支持 反对

使用道具 举报

论坛徽章:
5
Oracle研习者高级
日期:2014-01-19 14:54:04R研习者中级
日期:2014-09-19 14:20:23scala徽章
日期:2014-11-06 14:55:58Openstack徽章
日期:2014-12-25 16:03:43spark徽章
日期:2019-11-08 10:48:17
 楼主| 发表于 2019-8-11 23:14 | 显示全部楼层
3.启动spark时加载了hive配置 
(1) java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 
Caused by: MetaException(message:Version information not found in metastore. ) 
解决:hive-site.xml 中的 “hive.metastore.schema.verification” 值为 false

Caused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: 
解决: 因为没有正常启动Hive 的 Metastore Server服务进程。 :nohup hive –service metastore &

(2)org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver   

         ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

解决:在spark-env.sh文件加入export SPARK_CLASSPATH="/Users/zouziwen/soft/spark-1.6.3/lib/mysql-connector-java-5.0.8-bin.jar"

(3)java.lang.OutOfMemoryError: PermGen space 
-Xms1024m -Xmx1024m -XX:MaxNewSize=256m -XX:MaxPermSize=256m

(4)java.lang.NoClassDefFoundError: javax/jdo/JDOException 
解决:将spark目录下lib的jar包加入到运行classpath中

(5)org.apache.spark.sql.AnalysisException: Table not found 
解决:idea运行时找不到hive-site.xml,需要将该文件加入到idea的运行环境中

(6)HDFS error: could only be replicated to 0 nodes, instead of 1

stop all hadoop services

delete dfs/name and dfs/data directories

hadoop namenode -format # Answer with a capital Y

start hadoop services
---------------------
版权声明:本文为CSDN博主「掌舵的鹰」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_38405636/article/details/80677301
回复 支持 反对

使用道具 举报

论坛徽章:
5
Oracle研习者高级
日期:2014-01-19 14:54:04R研习者中级
日期:2014-09-19 14:20:23scala徽章
日期:2014-11-06 14:55:58Openstack徽章
日期:2014-12-25 16:03:43spark徽章
日期:2019-11-08 10:48:17
 楼主| 发表于 2019-8-11 23:20 | 显示全部楼层
3.启动spark时加载了hive配置 
(1) java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 
Caused by: MetaException(message:Version information not found in metastore. ) 
解决:hive-site.xml 中的 “hive.metastore.schema.verification” 值为 false

Caused by: MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: 
解决: 因为没有正常启动Hive 的 Metastore Server服务进程。 :nohup hive –service metastore &

(2)org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver   

         ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.

解决:在spark-env.sh文件加入export SPARK_CLASSPATH="/Users/zouziwen/soft/spark-1.6.3/lib/mysql-connector-java-5.0.8-bin.jar"

(3)java.lang.OutOfMemoryError: PermGen space 
-Xms1024m -Xmx1024m -XX:MaxNewSize=256m -XX:MaxPermSize=256m

(4)java.lang.NoClassDefFoundError: javax/jdo/JDOException 
解决:将spark目录下lib的jar包加入到运行classpath中

(5)org.apache.spark.sql.AnalysisException: Table not found 
解决:idea运行时找不到hive-site.xml,需要将该文件加入到idea的运行环境中

(6)HDFS error: could only be replicated to 0 nodes, instead of 1

stop all hadoop services

delete dfs/name and dfs/data directories

hadoop namenode -format # Answer with a capital Y

start hadoop services
---------------------
版权声明:本文为CSDN博主「掌舵的鹰」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/weixin_38405636/article/details/80677301
回复 支持 反对

使用道具 举报

新浪微博达人勋 xxxyyy  未实名认证
论坛徽章:
14
Oracle研习者高级
日期:2013-10-21 22:32:52机器学习徽章
日期:2018-11-16 14:11:57金融徽章
日期:2018-03-01 16:43:15金融徽章
日期:2017-07-11 14:28:40架构徽章
日期:2016-08-25 10:59:34Excel徽章
日期:2015-11-19 14:14:48数据陷阱解读徽章
日期:2015-08-13 15:21:46数据治理徽章
日期:2015-06-18 11:35:54R研习者中级
日期:2014-09-19 14:18:27nosql徽章
日期:2014-09-19 14:14:51Oracle研习者初级
日期:2013-08-08 23:04:08Oracle研习者初级
日期:2013-08-08 23:04:01
发表于 2019-8-13 00:34 | 显示全部楼层
版权声明:本文为CSDN博主「掌舵的鹰」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
回复 支持 反对

使用道具 举报

新浪微博达人勋 kary  未实名认证
论坛徽章:
5
Oracle研习者中级
日期:2014-09-19 14:31:49Oracle研习者初级
日期:2016-03-03 15:30:52Oracle研习者中级
日期:2016-03-31 15:31:28Openstack徽章
日期:2016-07-21 11:37:04spark徽章
日期:2019-11-08 10:48:17
发表于 2019-8-15 15:57 | 显示全部楼层
了解,继续学习中, 问题还比较多
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-12-10 09:53 , Processed in 0.151212 second(s), 42 queries .

关闭

扫一扫加入
本版微信群