查看: 334|回复: 0

安装Hive和spark

[复制链接]
论坛徽章:
6
spark徽章
日期:2019-03-28 14:58:37python徽章
日期:2019-04-11 15:16:08python徽章
日期:2019-04-19 10:51:53python徽章
日期:2019-04-19 10:52:46python徽章
日期:2019-04-19 10:53:27Hadoop研习者初级
日期:2019-05-16 15:54:51
发表于 2018-12-30 22:18 | 显示全部楼层 |阅读模式

数据库 MySQL Hadoop Hive

在mySQL创建hive使用的表
‐‐ 创建hive数据库
$ mysql -uroot -p123456
mysql> create database hive;
‐‐ 设置编码, 一定要设置成latin1, 否则hive建表和删表会卡住
mysql> alter database hive character set latin1;




修改hive的配置文件
在 $HIVE_HOME/conf 目录创建文件hive-site.xml
配置如下:


$ vim hive-site.xml
<?xml version="1.0" encoding="UTF‐8"?>
<!‐‐Autogenerated by Cloudera Manager‐‐>
上面两行添加到文件启动 hive会报错


<configuration>
        <property>
        <name>Javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
        </property>


        <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        </property>


        <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        </property>


        <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        </property>
</configuration>


将mysql的jdk驱动包复制到hive的lib目录下
cp mysql‐connector‐java‐5.1.44‐bin.jar $HIVE_HOME/lib/
$ cp mysql-connector-java-5.1.44-bin.jar /home/Hadoop/app/hive-1.1.0-cdh5.7.0/lib/


进入hive
进入hive, 并验证可用:
[hadoop@spark conf]$ hive
which: no HBase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/sbin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/sbin:/usr/local/java/jdk1.8.0_162/bin:/usr/lib64/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/hadoop/bin)


Logging initialized using configuration in jar:file:/home/hadoop/app/hive-1.1.0-cdh5.7.0/lib/hive-common-1.1.0-cdh5.7.0.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive>


hive> show databases;
OK
default
Time taken: 0.029 seconds, Fetched: 1 row(s)




hive>
    >
    > create database test;
OK


hive> use test;
OK
Time taken: 0.029 seconds


hive> create table test001(id int, name string);
OK
Time taken: 0.159 seconds
hive> show tables;
OK
test001


hive> insert into test001 values (1, "abc");

OK
Time taken: 19.544 seconds


hive> select * from test001;
OK
1    abc
Time taken: 0.287 seconds, Fetched: 1 row(s)





回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-11-18 18:42 , Processed in 0.129744 second(s), 29 queries .

关闭

扫一扫加入
本版微信群