??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
【hadoop】hive 安装实践

转载   浮尔魔司   2018-11-04   浏览量:16


1.下载Hive安装包:

  官网下载://hive.apache.org/downloads.html

2.上传Hive的tar包,并解压:
建议和hadoop目录在一级,方便后续使用;

  解压:tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /home/hadoop/hive

  修改解压后的文件名称:mv apache-hive-1.2.1-bin hive-1.2.1

3.安装MySql:
  MySQL用于存储Hive的元数据,(安装教程见之前的文章)

4.修改配置文件:主要是配置metastore(元数据存储)存储方式
  4.1. vi /home/hadoop/hive/hive-1.2.1/conf/hive-site.xml(存储方式:内嵌Derby方式、本地mysql、远端mysql)

  4.2 粘贴如下内容:

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value> 
        <description>password to use against metastore database</description>
    </property>
</configuration>

5.拷贝jar包:

  拷贝mysql驱动jar包到Hive的lib目录下面去,

    下载路径:https://pan.baidu.com/s/17iHOIjt4XZbRAngGFf_GgA

6.启动Hive:
?。?)启动Hive之前需要先把Hadoop集群启动起来。

    (2)使用hadoop用户

  启动命令:/usr/local/src/hive-1.2.1/bin/hive

  出现如下表示启动成功:
hive>
  

7、验证Hive运行正常:启动Hive以后输入下面的命令:

hive> show databases;
OK
default
test_db
Time taken: 0.567 seconds, Fetched: 2 row(s)

hive> use default;
OK
Time taken: 0.068 seconds

hive> show tables;
OK
Time taken: 0.086 seconds

8、 创建数据库, 数据库的数据文件被存放在HDFS的/user/hive/warehouse/test_db.db下面

hive> create database test_db;
OK
Time taken: 0.505 seconds

9、在test_db里创建表,表的数据文件被存放在HDFS的/user/hive/warehouse/test_db.db/t_test下面;
并且表的数据文件字段以“|”分割开;  

use test_db;

create table flat1_test (mobile string,opr_type string,lastupdatetime string,monthly string,sp_code string,oper_code string,unknown string,subtime string)
row format delimited
fields terminated by '|';

10、上传数据文件到hdfs指定目录,目录为hive数据库表文件目录
  hadoop fs -put hivefile1.txt /user/hive/warehouse/test_db.db/flat1_test

11、使用sql查询数据
hive> select * from flat1_test;

12、查询Hive的元数据,进入mysql中查询

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| hive               |
| mysql              |
| performance_schema |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> use hive;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> 
mysql> show tables;
+---------------------------+
| Tables_in_hive            |
+---------------------------+
| BUCKETING_COLS            |
| CDS                       |
| COLUMNS_V2                |
| DATABASE_PARAMS           |
| DBS                       |
| FUNCS                     |
| FUNC_RU                   |
| GLOBAL_PRIVS              |
| IDXS                      |
| INDEX_PARAMS              |
| PARTITIONS                |
| PARTITION_KEYS            |
| PARTITION_KEY_VALS        |
| PARTITION_PARAMS          |
| PART_COL_PRIVS            |
| PART_COL_STATS            |
| PART_PRIVS                |
| ROLES                     |
| SDS                       |
| SD_PARAMS                 |
| SEQUENCE_TABLE            |
| SERDES                    |
| SERDE_PARAMS              |
| SKEWED_COL_NAMES          |
| SKEWED_COL_VALUE_LOC_MAP  |
| SKEWED_STRING_LIST        |
| SKEWED_STRING_LIST_VALUES |
| SKEWED_VALUES             |
| SORT_COLS                 |
| TABLE_PARAMS              |
| TAB_COL_STATS             |
| TBLS                      |
| TBL_COL_PRIVS             |
| TBL_PRIVS                 |
| VERSION                   |
+---------------------------+
35 rows in set (0.01 sec)

mysql> select * from DBS;
+-------+-----------------------+-----------------------------------------------------------+---------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                                           | NAME    | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+-----------------------------------------------------------+---------+------------+------------+
|     1 | Default Hive database | hdfs://XXXXXXXXXX:9000/user/hive/warehouse            | default | public     | ROLE       |
|     6 | NULL                  | hdfs://XXXXXXXXXX:9000/user/hive/warehouse/test_db.db | test_db | hadoop     | USER       |
+-------+-----------------------+-----------------------------------------------------------+---------+------------+------------+
2 rows in set (0.00 sec)

mysql>          

转载自://blog.51cto.com/devops2016/2312670

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



20180607早课记录26-Hive
1.hive哪些sql会触发mrjob带聚合函数,某些insert,还有createtableasselect2.createtabletasselect...这样的SQL会不会创建mrjob会3.hive的数据分为哪两块分别存储哪里元数据和真实数据,分别存储在mysql,hdfs中4.一般工作中,udf编写是很多的,那么怎样临时生效,永久生效?临时生效就是addjar,然后createtempo
20180604早课记录24-Hive
1.hive数据分为哪两块?分别存储在哪?元数据和数据本身;mysql等关系型数据库和hdfs2.hive的建表SQL语句你们觉得里有哪些内容?(不光光是字段的定义)定义分区,分隔字符,内外表之分3.默认的换行符和分割符是什么?/t/r4.加载数据或本地数据到hive表或者覆盖hive表,语法是什么?LOADDATALOCALINPATH'xxx'OVERWRITEINTOTABL
Hive环境搭建及简单使用
前言:上篇文章我们介绍了Hive源码编译的相关内容,本篇文章将主要介绍Hive环境的搭建步骤及简单使用。1.下载安装包并解压#下载地址//archive.cloudera.com/cdh5/cdh/5/选择hive-1.1.0-cdh5.7.0.tar.gz包,也可用我们上篇文章编译来的包[[email protected]~]$lltotal32drwxrwxr-x4hadoophado
Hive 高级编程——深入浅出学Hive
目录:初始HiveHive安装与配置Hive内建操作符与函数开发HiveJDBChive参数Hive高级编程HiveQLHiveShell基本操作hive优化Hive体系结构Hive的原理配套视频课程第一部分:产生背景
hadoop hive的安装
以下是本人hive的安装过程:hive是Hadoop中最常用的工具,可以说是必装工具。按apache官方文档,推荐使用svn下载后编译,但build时,因为依赖关系,整了很久,下了很多包也没有成功。推荐使用tar.gz包,直接安装...
20180531早课记录22-Hive
1.hive是什么?基于Hadoop的一个数据仓库工具2.hive的默认使用什么数据库?生产上我们一般用什么?默认使用derby生产使用MySQL3.hive的元数据存储在哪?数据存储在哪?MySQLHDFS4.hive的SQL语法和什么类似和MySQL语法类似5.hive底层执行计算引擎是什么MapReduce/tez/spark6.hive使用mysql做元数据存储,那么部署过程中,注意什么注
hive错误FAILED:SemanticException Error10041 :Nopartitionpredicatefoundfor如何解决?
hive错误FAILED:SemanticException[Error10041]:Nopartitionpredicatefoundfor如何解决?
关于Hive调优的实例讲解
关于Hive调优的实例讲解。1javaheapspace异常,如果仅设置:setmapredmapchildjavaopts=-Xmx2048m;
如何理解HIve函数row_number?
如何理解HIve函数row_number?使用语法:使用语法:ROW_NUMBER()OVER(PARTITIONBYCOLUMNORDERBYCOLUMN)
hive中leftjoin、leftouterjoin和leftsemijoin的区别详解
hive中leftjoin、leftouterjoin和leftsemijoin的区别详解。先说结论,再举例子。