??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
Centos基于Hadoop安装Hive

转载   TaoismLi   2018-10-02   浏览量:27


安装前说明:

安装hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可(需要再所有namenode上安装),而不需要在datanode节点的机器上安装。另外还需要说明的是,虽然修改配置文件并不需要你已经把hadoop跑起来,但是本文中用到了hadoop命令(创建文件夹时使用过),在执行这些命令前你必须确保hadoop是在正常跑着的,而且启动hive的前提也是需要hadoop在正常跑着,所以建议你先将hadoop跑起来在按照本文操作。


前提:

本文假使你已成功安装Hadoop!如未安装,请参考另一篇博文《centos下安装分布式Hadoop 3.1.1》。


一)安装环境

Centos 7.5

JDK 1.8.0_181

Hadoop 3.1.1

Hive 3.1.0


二)下载HIVE

下载地址://www.apache.org/dyn/closer.cgi/hive/ 

打开网址,点击图1中链接,然后选择Hive 版本,比如这里选择Hive 3.1.0(如图2),然后下载打好包的软件即可(如图3):

1.png

图1

2.png

图2

3.png

图3

三)安装

3.1 解压到特定目录,这里解压到/usr/local目录(用户自行安装软件,建议放在/usr/local目录)

# tar -zxvf apache-hive-3.1.0-bin.tar.gz -C /usr/local


3.2 设置环境变量,编辑/etc/profile添加以下红框内的内容:


设置后运行 # source /etc/profile使修改生效。


3.3 新建3个目录,以便配置hive-site.xml文件

进入Hadoop的bin目录,运行以下命令:

# ./hadoop fs -mkdir -p /var/hive/warehouse

# ./hadoop fs -mkdir -p /var/hive/tmp

# ./hadoop fs -mkdir -p /tmp/hive

修改3个目录的权限:

./hadoop fs -chmod 777 /var/hive/warehouse

./hadoop fs -chmod 777 /var/hive/tmp

./hadoop fs -chmod 777 /tmp/hive

创建后,可运行# ./hadoop fs -ls /var/hive/命令进行查看是否创建成功。


3.4 编辑hive-site.xml文件

3.4.1 新建hive-site.xml文件

进入到/usr/local/apache-hive-3.1.0.bin/conf目录,将hive-default.xml.template文件复制一份,并命名为hive-site.xml.

3.4.2 修改hive-site.xml文件

3.4.2.1 修改name标签为hive.metastore.warehouse.dir的value值,如下:


3.4.2.2 修改name标签为hive.exec.scratchdir的value值,如下:


3.4.2.3 将hive-site.xml文件中所有value标签中的值中的"${system:java.io.tmpdir}"替换为"/var/hive/tmp",如下例子:


3.4.2.4 将hive-site.xml文件中所有value标签中的值中的"${system:user.name}"替换为"root",如下例子:


3.4.2.5 Hive元数据库配置,这里以mysql为例


3.4.2.6 将MySql驱动包传到hive的lib目录

MySql驱动包下载地址: ,注意驱动与版本的对于关系?。?!

3.4.2.7 新建hive-env.sh文件并编辑

进入hive的conf目录,将hive-env.sh.template文件复制为hive-env.sh文件,并添加如下内容:


四)启动和测试

4.1 启动

转载自://blog.51cto.com/taoismli/2289792

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024


上一篇:

20180607早课记录26-Hive
1.hive哪些sql会触发mrjob带聚合函数,某些insert,还有createtableasselect2.createtabletasselect...这样的SQL会不会创建mrjob会3.hive的数据分为哪两块分别存储哪里元数据和真实数据,分别存储在mysql,hdfs中4.一般工作中,udf编写是很多的,那么怎样临时生效,永久生效?临时生效就是addjar,然后createtempo
20180604早课记录24-Hive
1.hive数据分为哪两块?分别存储在哪?元数据和数据本身;mysql等关系型数据库和hdfs2.hive的建表SQL语句你们觉得里有哪些内容?(不光光是字段的定义)定义分区,分隔字符,内外表之分3.默认的换行符和分割符是什么?/t/r4.加载数据或本地数据到hive表或者覆盖hive表,语法是什么?LOADDATALOCALINPATH'xxx'OVERWRITEINTOTABL
Hive环境搭建及简单使用
前言:上篇文章我们介绍了Hive源码编译的相关内容,本篇文章将主要介绍Hive环境的搭建步骤及简单使用。1.下载安装包并解压#下载地址//archive.cloudera.com/cdh5/cdh/5/选择hive-1.1.0-cdh5.7.0.tar.gz包,也可用我们上篇文章编译来的包[[email protected]~]$lltotal32drwxrwxr-x4hadoophado
Hive 高级编程——深入浅出学Hive
目录:初始HiveHive安装与配置Hive内建操作符与函数开发HiveJDBChive参数Hive高级编程HiveQLHiveShell基本操作hive优化Hive体系结构Hive的原理配套视频课程第一部分:产生背景
hadoop hive的安装
以下是本人hive的安装过程:hive是Hadoop中最常用的工具,可以说是必装工具。按apache官方文档,推荐使用svn下载后编译,但build时,因为依赖关系,整了很久,下了很多包也没有成功。推荐使用tar.gz包,直接安装...
20180531早课记录22-Hive
1.hive是什么?基于Hadoop的一个数据仓库工具2.hive的默认使用什么数据库?生产上我们一般用什么?默认使用derby生产使用MySQL3.hive的元数据存储在哪?数据存储在哪?MySQLHDFS4.hive的SQL语法和什么类似和MySQL语法类似5.hive底层执行计算引擎是什么MapReduce/tez/spark6.hive使用mysql做元数据存储,那么部署过程中,注意什么注
hive错误FAILED:SemanticException Error10041 :Nopartitionpredicatefoundfor如何解决?
hive错误FAILED:SemanticException[Error10041]:Nopartitionpredicatefoundfor如何解决?
关于Hive调优的实例讲解
关于Hive调优的实例讲解。1javaheapspace异常,如果仅设置:setmapredmapchildjavaopts=-Xmx2048m;
如何理解HIve函数row_number?
如何理解HIve函数row_number?使用语法:使用语法:ROW_NUMBER()OVER(PARTITIONBYCOLUMNORDERBYCOLUMN)
hive中leftjoin、leftouterjoin和leftsemijoin的区别详解
hive中leftjoin、leftouterjoin和leftsemijoin的区别详解。先说结论,再举例子。