hive安装 ,并使用mysql数据库为元数据库
使用hive-0.8.0
安装hive前,事先安装mysql用于保存元数据,安装ant用于启用HWI
1、在namenode安装hive。下载并解压hive文件后,进入hive/bin/下,配置hive-config.sh文件:
export HADOOP_HOME=/home/hadoop/hadoop-0.20.203.0
export PATH=.:$HADOOP_HOME/bin:$PATH
export HIVE_HOME=/home/hadoop/hive-0.8.0
export PATH=$HIVE_HOME/bin:$PATH
export JAVA_HOME=/usr/java/jdk1.7.0_01
export JRE_HOME=/usr/java/jdk1.7.0_01/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
2、将hive加入到环境变量中:
export HIVE_HOME=/home/hadoop/hive-0.8.0
3、在mysql中创建hadoop的用户,密码也为hadoop,并创建元数据库:
mysql
mysql> CREATE USER 'hadoop'@'master' IDENTIFIED BY 'hadoop';
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'master' WITH GRANT OPTION;
mysql> exit
4、下载文件mysql-connector-java-5.1.15-bin.jar,保存到
lib文件目录下。
否则出现错误:
hive> show tables;
FAILED: Error in metadata: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
NestedThrowables:
java.lang.reflect.InvocationTargetException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
5、在hive/conf/文件夹中,新建hive-site.xml文件,并复制进hive-default.xml.template的全部内容,作以下修改:
(使用mysql为元数据库)
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<!--<value>jdbc:derby:;databaseName=metastore_db;create=true</value>-->
<value>jdbc:mysql://master:3306/metastore</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hadoop</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hadoop</value>
<description>password to use against metastore database</description>
</property>
6、在hdfs中创建几个目录
$HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
7、启动hive
启动hive:$HIVE_HOME/bin/hive
8、启动hwi界面:
export ANT_LIB=/opt/ant/lib
bin/hive --service hwi
bin/hive --service hwi --help
9、在hive命令行模式下,使用show tables;测试mysql连接是否正确。
用mysql做元数据
alter database hive character set latin1
这样才不会报 max key length is 767 bytes
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes
这个异常
分享到:
相关推荐
HIVE安装及详解,及测试,该文档版本是1.2+的。。。。。
hive安装
大数据技术基础实验报告-Hive安装配置与应用
内容包括hive如何安装与启动,以及如何使用python访问hive,希望对大家有帮助。
基于hadoop,进行hive客户端安装与使用
这是安装hive的手册指南,安装hive服务端和hive客户端的详细步骤。
Hive安装与配置
cdh5.5.0下的hive的安装部署详细操作。hive的安装其实有两部分组成,一个是Server端、一个是客户端,所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上,当hive服务并发量不高时推荐部署在数据...
hive安装依赖以及启动脚本 文件包含如下: 01_mysql-community-common-5.7.29-1.el7.x86_64.rpm 02_mysql-community-libs-5.7.29-1.el7.x86_64.rpm 03_mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm 04_...
Hadoop伪分布下的hive安装及错误的更改
大数据教程-Hive的安装与配置,详细细节安装、部署步骤
我博客《基于Hadoop集群的Hive安装配置》:https://blog.csdn.net/lzw2016/article/details/86631115 中所提及的配置文件
hive安装,总结的非常详细,照着做一般没问题,关键点都有总结
hive、hadoop安装详细过程;适用于初学者。
Hive安装指南,Hive 嵌入模式安装指南
Hadoop_Hive安装--自己整理
hive安装
Hive1.2.1安装指南
Linux_centos的Hive安装配套资源:hive安装包、mysql连接包、hive-env.sh配置文件、hive-site.xml配置文件