??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
0007-如何迁移Cloudera Manager节点

转载   Hadoop实操   2018-11-15   浏览量:15


温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.概述

本文档讲述如何将Cloudera Manager在Kerberos环境下迁移至新的CM节点。通过本文档,您将学习到以下知识:

1.如何迁移Cloudera Manager节点

2.如何迁移MySQL元数据库

3.如何迁移Kerberos MIT KDC

文档主要分为以下几步:

1.准备Cloudera Manager新节点

2.MariaDB数据库迁移(可?。?/p>

3.迁移Kerberos MIT KDC(可?。?/p>

4.将原CM节点数据迁移至新节点

5.迁移后集群服务验证

这篇文档将着重介绍Cloudera Manager节点迁移,并基于以下假设:

1.CDH环境已搭建并正常运行

2.旧Cloudera Manager节点包含Cloudera Manager Server(即cloudera-scm-server)服务和Cloudera Management Service服务(Alert Publisher/Event Server/Host Monitor/Reports Manager/Service Monitor)

3.集群已完成MIT Kerberos的配置,并正常使用

4.集群Hadoop服务HBase/Hive/HDFS/Hue/Kafka/Oozie/Spark/Spark2/Yarn/Zookeeper正常运行

以下是本次测试环境,但不是本操作手册的硬限制:

1.操作系统:Redhat7.2

2.CM版本:CM5.11.1

3.CDH版本:CDH5.11.1

4.采用ec2-user对集群进行部署

2.准备Cloudera Manager新节点

2.1新CM主机前置条件

  1. 操作系统版本与集群操作系统版本一致(Redhat7.2)
  2. 关闭防火墙
  3. 配置时钟同步,根据当前集群时钟同步服务进行配置
  4. swap已设置为10
  5. 关闭透明大页面
  6. 关闭SElinux
  7. 配置/etc/hosts文件或者使用DNS服务
  8. 配置cm和os的yum源
  9. 创建mysql驱动的软链接

2.2新主机信息

新主机IP地址:172.31.18.97

新Hostname:ip-172-31-18-97.ap-southeast-1.compute.internal

1.主机操作系统版本

0007-如何迁移Cloudera Manager节点

2.防火墙

0007-如何迁移Cloudera Manager节点

3.时钟同步

0007-如何迁移Cloudera Manager节点

4.swap信息

0007-如何迁移Cloudera Manager节点

5.透明大页面

0007-如何迁移Cloudera Manager节点

6.SElinux信息

0007-如何迁移Cloudera Manager节点

7.host信息

0007-如何迁移Cloudera Manager节点

8.Cloudera Manager和OS的yum 源

0007-如何迁移Cloudera Manager节点

9.在/usr/share/java目录下创建mysql驱动包软链

0007-如何迁移Cloudera Manager节点

2.3安装Cloudera Manager服务

[email protected] log$ sudo yum  -y install cloudera-manager-server cloudera-manager-agent

0007-如何迁移Cloudera Manager节点

安装完成Cloudera Manager后暂时不要启动服务。

注意:新节点的Cloudera Manager版本必须与原Cloudera Manager版本一致;节点上不要安装CDH的其它组件;

2.4安装MariaDB数据库

由于原CM节点安装有MariaDB数据库,所以在新的CM节点也安装MariaDB数据库进行数据迁移(如果不考虑数据库迁移则可以不用安装)

[email protected]  log$ sudo yum -y install mariadb-server mariadb-devel 

0007-如何迁移Cloudera Manager节点

初始化MariaDB数据库

 ec2-user @  ip-172-31-18-97 log# sudo systemctl enable mariadb
 [email protected]  log$ sudo systemctl start mariadb
 [email protected]  log$ sudo /usr/bin/mysql\_secure\_installation 

0007-如何迁移Cloudera Manager节点

3.MariaDB数据库迁移

如果不做数据库迁移可不跳过该章节

3.1备份原MariaDB数据

将需要迁移的mysql整库导出(可根据需要导出需要的库信息)

[email protected]  ec2-user# mysqldump -u root -p -A >oldmysql.dump 

0007-如何迁移Cloudera Manager节点

3.2导入备份数据至新库

1.将备份文件拷贝至新mysql服务上,进行数据导入

[email protected]  ec2-user# mysql -u root -p < oldmysql.dump 

0007-如何迁移Cloudera Manager节点

注意:数据导入成功后,需要在mysql client执行命令:FLUSH PRIVILEGES;

4.迁移Kerberos MIT KDC

4.1备份原Kerberos数据库

登录到主KDC服务器上,使用kdb5_util命令备份Kerberos数据库及配置文件

[[email protected] ~]$ sudo kdb5_util dump -verbose kerberosdb.dumpfile

HTTP/[email protected]

HTTP/[email protected]

….

zookeeper/[email protected]

[[email protected] ~]$
/etc/krb5.conf

/var/kerberos/krb5kdc/kdc.conf

/var/kerberos/krb5kdc/kadm5.acl

0007-如何迁移Cloudera Manager节点

4.2恢复备份数据至新库

1.在新节点安装Kerberos服务:

yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation

将4.1备份的数据拷贝到新节点上,通过如下操作将数据还原到Kerberos数据库

2.修改krb5.conf文件,将该文件覆盖/etc目录下的krb5.conf

0007-如何迁移Cloudera Manager节点

将上述标红部分修改为当前主机ip或者hostname

3.将kdc.conf和kadm5.acl文件拷贝至/var/kerberos/krb5kdc目录下进行覆盖

yum -y install krb5-server krb5-libs krb5-auth-dialog krb5-workstation

0007-如何迁移Cloudera Manager节点

4.恢复kerberos数据库,在krb5kdc和kadmin服务停止的情况下进行如下操作

0007-如何迁移Cloudera Manager节点

注意:此处需要创建kerberos数据库,然后在做数据导入否则krb5kdc和kadmin服务不能正常启动;

启动krb5kdc和kadmin服务

[email protected] kerberos\_bak$ sudo  systemctl restart krb5kdc

[email protected] kerberos\_bak$ sudo  systemctl stop krb5kdc

验证Kerberos是否正常,使用导入的user_r进行测试

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

4.3更新集群的krb5.conf配置

将KDC主服务器上的/etc/krb5.conf文件拷贝至集群中所有的节点,并验证Kerberos是否正常。

0007-如何迁移Cloudera Manager节点

5.将原CM节点数据迁移至新节点

5.1备份原CM节点数据

主要备份CM的监控数据和管理信息,数据目录包括:

/var/lib/cloudera-host-monitor

/var/lib/cloudera-service-monitor

/var/lib/cloudera-scm-server

/var/lib/cloudera-scm-eventserver

/var/lib/cloudera-scm-headlamp

0007-如何迁移Cloudera Manager节点

注意:将备份命令压缩传输,防止目录的属主和权限变化

5.2修改CM的数据库配置信息

修改新CM的数据库配置文件/etc/cloudera-scm-server/db.properties,配置文件内容

0007-如何迁移Cloudera Manager节点

根据自己的配置信息对标红部分进行修改

0007-如何迁移Cloudera Manager节点

5.3CM备份数据导入新节点

将原CM上备份的数据拷贝到新CM节点上

0007-如何迁移Cloudera Manager节点

通过如下命令将备份数据还原至对应目录

0007-如何迁移Cloudera Manager节点

5.4更新集群所有节点的CM Server指向

修改集群所有节点上/etc/cloudera-scm-agent/config.ini文件中server_host值为新CM节点的hostname

0007-如何迁移Cloudera Manager节点

5.5将原CM节点的Cloudera Management Service角色迁移至新节点

启动新CM节点的cloudera-scm-server和cloudera-scm-agent服务

[email protected] 253back# sudo systemctl  start cloudera-scm-serve

[email protected] 253back# sudo systemctl  start cloudera-scm-agent

注意:在新CM节点上启动cloudera-scm-agent服务后,会将CM节点的信息添加到cm库的HOSTS表中,查看新CM节点对应的HOSTS_ID

登录mysql数据库将,查看cm.HOSTS表中的Cloudera Manager的host信息

0007-如何迁移Cloudera Manager节点

未迁移前可以通过CM管理界面看到新CM节点是没有任何角色

0007-如何迁移Cloudera Manager节点

通过如下命令,将旧CM的角色迁移至新CM节点上

update ROLES set HOST_ID=11 where NAME like 'mgmt%';

0007-如何迁移Cloudera Manager节点

执行操作后,原CM节点的角色被迁移至新CM节点

0007-如何迁移Cloudera Manager节点

通过CM管理界面将原CM节点从集群删除

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

将原CM节点删除

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

由于集群配置了Kerberos,则需要更新Kerberos的server,如果Kerberos未迁移则不需要考虑此步

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

如果集群启用Kerberos,则需要为新CM节点生成keytab(如果未启用集群则跳过此步)

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

通过CM管理界面启动Cloudera Management Service

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

由于做了数据库迁移,所以需要修改hive/hue/oozie对应的数据库配置(未做数据库迁移可跳过此步)

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

进行以上修改后重启集群

6.迁移后集群服务验证

原CM的运行界面,历史监控数据

0007-如何迁移Cloudera Manager节点

登录CM管理平台,查看集群状态正常

0007-如何迁移Cloudera Manager节点

迁移后可以查看正常查看集群的历史监控数据

0007-如何迁移Cloudera Manager节点

Hue访问及操作正常

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

HDFS访问及操作正常

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

HBase通过hue和shell正常操作

0007-如何迁移Cloudera Manager节点

0007-如何迁移Cloudera Manager节点

7.常见问题分析

1.问题一

问题现象:

0007-如何迁移Cloudera Manager节点

问题原因:

由于cloudera-scm-agent服务于supervisord之间通信异常导致。

解决方法:

将告警节点上的supervisord进程杀死,然后重启agent服务

0007-如何迁移Cloudera Manager节点

2.问题二

问题现象:

0007-如何迁移Cloudera Manager节点

问题原因:

由于在CM迁移时,未迁移/opt/cloudera/csd目录导致。

解决方法:

将原CM节点上/opt/cloudera/csd目录拷贝至新CM节点对应的目录

0007-如何迁移Cloudera Manager节点

重启cloudera-scm-server服务

[[email protected] 253back]# sudo systemctl start cloudera-scm-server

3.问题三

问题现象:

Service Monitor启动失败,异常信息如下

0007-如何迁移Cloudera Manager节点

问题原因:

由于CM迁移时,/var/lib/cloudera-service-monitor目录的文件缺失导致

解决方法:

将/var/lib/cloudera-service-monitor目录的数据重新覆盖

4.问题四

现象描述:

在集群迁移完成后,集群启动后做了高可用服务的NameNode和ResourceManager服务均不能正常显示主备节点,HDFS的汇总信息无法正常显示

问题原因:

由于集群配置了kerberos,新CM节点未生成keytab导致

解决方法:

将CM节点的所有服务停掉,然后生成该主机的keytab

0007-如何迁移Cloudera Manager节点

8.扩展

如何在不停止集群服务的情况下进行Cloudera Manager迁移,需要满足如下条件:

  1. 新CM节点的hostname与IP地址与旧CM节点一致;
  2. 如果需要迁移数据库,则新数据库的hostname与IP地址与原数据库一致,且需要将原数据库的数据导入到新库中;
  3. 如果需要迁移Kerberos MIT KDC,则新MIT KDC所在节点与旧MIT KDC节点的hostname与IP地址一致,且需要将旧MIT KDC数据库数据导入新MIT KDC数据库中;

注意:如果只做第1步操作,则不需要重启hadoop集群相关服务,并且不会影响hadoop集群现有作业;如果进行2、3步操作会对集群作业造成短暂影响,但不需要重启hadoop集群相关服务;

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
0007-如何迁移Cloudera Manager节点

转载自://blog.51cto.com/14049791/2317550

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



Ambari2.6安装部署Hadoop2.7
ApacheAmbari是一种基于Web的工具,支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。ApacheAmbari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管
2018-07-09期 Hadoop单节点伪分布式扩展为多节点分布式【本人亲自反复验证通过分享】
备注:本期承接自2018-07-08期Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】一、服务器准备--额外增加2台服务器IP地址主机名称备注192.168.1.201hadoop-server01现有192.168.1.202hadoop-server02新增192.168.1.203hadoop-server03新增二、配置JDK[[email protected]
hadoop及hbase集群增加节点
hadoop及hbase集群增加节点
2018-07-08期 Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】
一、安装介质下载地址://archive.apache.org/dist/hadoop/core/安装版本:hadoop-2.4.1.tar.gz二、安装步骤1、解压hadoop-2.4.1.tar.gz[[email protected]]#tar-xvfhadoop-2.4.1.tar.gz-C/usr/local/apps/[[email protected]
OpenCV关于万达平台搭建重映射map_x,map_y的疑惑
OpenCV中什么万达平台搭建论坛:haozbbs.comQ1446595067是重映射就不赘述了,主要是对源码中map_x,map_y有些疑惑,图像是如何进行重映射的呢?上下变换的部分源码:Matmap_x,map_y;map_x.create(srcimg.size(),CV_32FC1);map_y.create(srcimg.size(),CV_32FC1);for(inti=0;i<
hadoop2.0中yarn的运行原理
Yarn的简单介绍        我们知道在离线大数据处理领域中,hadoop是目前无可厚非的处理架构,到目前为止hadoop已经有三个大版本,每个版本下都有架构方面的调整。        在hadoop1.0中有一些弊端,比如hdfs
太平洋保险家园大数据项目DSG应用(30多个Oracle等实时同步到KAFKA)
根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下:1、需要将核心数据从30多个系统同步到大数据平台的kafka组件。2、确保数据复制的实时性(秒级)和数据的准确性3、复制的数据需要加上时间,操作类型等标签,便于后端应用识别4、以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响5、入kafka的数据格式可灵活配置,以便更好的适配后端应用6、需要具备数据操作统计和数据比对功能,便于核对数据的准确性
Hadoop权威指南摘录---1
Hadoop权威指南摘录
20180611早课记录28-Sqoop
1.sqoop是什么?主要用于在Hadoop与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?sqoop1:1.4.7sqoop2:1.99.73.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的导入是RDBMS到Hadoop导出是Hadoop到RDBMS4.假如输入一个命令找不到notfound,你们觉得该怎么办?(老生常谈)先看打错了没有,再看PATH有