??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
0005-Windows Kerberos客户端配置并访问CDH

转载   Hadoop实操   2018-11-15   浏览量:22


温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1.概述

本文档描述Windows Server2008 R2(windows的内核版本是6.1,与windows 7相同)下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070,Yarn的8088)的过程。安装文档主要分为以下几步:

1.在Windows Server2008 R2 64位上安装Kerberos Client。

2.在Windows下使用kinit测试。

3.通过keytab在Windows下进行kinit操作。

4.配置FireFox。

5.验证服务是否正常访问。

这篇文档将着重介绍Winodws Server R2下安装及使用Kerberos,并基于以下假设:

1.CDH环境已搭建并正常运行

2.HDFS、Yarn、HBase、Hive等组件已安装部署

3.集群已完成Kerberos的配置,并正常使用

以下是对本次测试环境,但不是本操作手册的硬限制:

1.操作系统:Redhat7.2

2.CM版本:CM5.11.1

3.CDH版本:CDH5.11.1

4.采用ec2-user对集群进行部署

2. Kerberos安装

2.1 Kerberos安装包准备

在Kerberos官网下载Kerberos安装包(//web.mit.edu/kerberos/dist/),如下截图:

0005-Windows Kerberos客户端配置并访问CDH

根据自己Windows操作系统下载不同的Client,32位或者64位。

2.2安装Kerberos

1.将下载下来的客户端双击打开

0005-Windows Kerberos客户端配置并访问CDH

2.点击下一步,如下图所示

0005-Windows Kerberos客户端配置并访问CDH

3.选择“同意”,点击下一步

0005-Windows Kerberos客户端配置并访问CDH

4.选择“Typical”进入下一步

0005-Windows Kerberos客户端配置并访问CDH

5.点击“install”进行安装

0005-Windows Kerberos客户端配置并访问CDH

点击“finish”安装完成

6.配置C:\ProgramData\MIT\Kerberos5\krb5.ini文件

0005-Windows Kerberos客户端配置并访问CDH

将KDC Server服务器上/ect/krb5.conf文件中的部分内容,拷贝到krb5.ini文件中

0005-Windows Kerberos客户端配置并访问CDH

注意:此处将标注部分拷贝至krb5.ini文件中,否则会导致MIT Kerberos无法正常启动,如果直接将krb5.conf文件更名为ini文件并替换krb5.ini文件会出现文件格式问题导致MIT Kerberos无法正常启动。

7.配置完成后,启动MIT Kerberos客户端,如下图所示:

0005-Windows Kerberos客户端配置并访问CDH

3 在Window下使用kinit测试

3.1 使用密码登录Kerberos

1.KDC Server上通过admin创建一个用户

 [email protected]  keytab$ sudo kadmin.local
 Authenticating as principal  root/[email protected] with password.
 kadmin.local:   addprinc [email protected]
 WARNING: no policy specified for [email protected];  defaulting to no policy
 Enter password for principal  "[email protected]":
 Re-enter password for principal  "[email protected]": Principal "[email protected]" created. 

0005-Windows Kerberos客户端配置并访问CDH

测试正常

0005-Windows Kerberos客户端配置并访问CDH

2.在Winodw端,通过MIT Kerberos客户Get Ticket

0005-Windows Kerberos客户端配置并访问CDH

在如下列表中可以看到获取到的Ticket

0005-Windows Kerberos客户端配置并访问CDH

3.销毁获取到的Ticket

选中列表中需要销毁的Ticket,点击Destroy Ticket

0005-Windows Kerberos客户端配置并访问CDH

0005-Windows Kerberos客户端配置并访问CDH

4.命令行下初始化

0005-Windows Kerberos客户端配置并访问CDH

在客户端可以看到初始化成功的Ticket

0005-Windows Kerberos客户端配置并访问CDH

5.命令行下kdestroy

0005-Windows Kerberos客户端配置并访问CDH

客户端数据已destroy

0005-Windows Kerberos客户端配置并访问CDH

3.2 使用Keytab文件登录Kerberos

1.在KDC Server创建一个ketab文件,使用上一步创建的[email protected]

[email protected]  keytab$ sudo kadmin.local
Authenticating  as principal root/[email protected] with password.
kadmin.local:  xst -norandkey -k test.keytab [email protected]
kadmin.local:  Principal test.keytab does not exist.
Entry  for principal [email protected] with kvno 1, encryption type  aes256-cts-hmac-sha1-96 added to keytab WRFILE:-k.
Entry  for principal [email protected] with kvno 1, encryption type  aes128-cts-hmac-sha1-96 added to keytab WRFILE:-k.
Entry  for principal [email protected] with kvno 1, encryption type des3-cbc-sha1  added to keytab WRFILE:-k.
Entry  for principal [email protected] with kvno 1, encryption type arcfour-hmac  added to keytab WRFILE:-k.
Entry  for principal [email protected] with kvno 1, encryption type  camellia256-cts-cmac added to keytab WRFILE:-k.
Entry  for principal [email protected] with kvno 1, encryption type  camellia128-cts-cmac added to keytab WRFILE:-k.
Entry  for principal [email protected] with kvno 1, encryption type des-hmac-sha1  added to keytab WRFILE:-k.
Entry  for principal [email protected] with kvno 1, encryption type des-cbc-md5  added to keytab WRFILE:-k. 

注意:在生成keytab文件时需要加参数”-norandkey”否则会导致,直接使用kinit [email protected]初始化时会提示密码错误。

生成成功

0005-Windows Kerberos客户端配置并访问CDH

0005-Windows Kerberos客户端配置并访问CDH

测试test.keytab文件

0005-Windows Kerberos客户端配置并访问CDH

注意:在非root用户下需要将生成的keytab文件,权限设置到644以上,否则会初始化失败或者使用sudo权限初始化

0005-Windows Kerberos客户端配置并访问CDH

2.将生成的test.keytab文件拷贝到Windows Server上,在CMD命令行进行初始化

0005-Windows Kerberos客户端配置并访问CDH

初始化成功,在MIT Kerberos客户端显示

0005-Windows Kerberos客户端配置并访问CDH

4 FireFox浏览器访问

4.1 FireFox浏览器配置

1.打开FireFox浏览器,在地址栏输入about:config

0005-Windows Kerberos客户端配置并访问CDH

2.修改配置参数

network.negotiate-auth.trusted-uris = ip-172-31-18-97.ap-southeast-1.compute.internal,ip-172-31-19-209.ap-southeast-1.compute.internalnetwork.auth.use-sspi = false 

注意:network.negotiate-auth.trusted-uris此参数主要配置需要访问服务的hostname,如果需要访问多个host则以“,”分割。

0005-Windows Kerberos客户端配置并访问CDH

0005-Windows Kerberos客户端配置并访问CDH

4.2 测试访问HDFS服务

1.访问HDFS的50070端口

0005-Windows Kerberos客户端配置并访问CDH

由于此时未将hdfs的ticket初始化所以不能正常访问,提示输入principal和密码

2.在CM节点的/var/run/cloudera-scm-agent目录下选择最新的xxx-hdfs-NAMENODE目录下的hdfs.keytab文件

0005-Windows Kerberos客户端配置并访问CDH

0005-Windows Kerberos客户端配置并访问CDH

3.测试hdfs.keytab是否正常

通过kadmin.loca命令列出所有hdfs的身份

 [email protected] 577-hdfs-NAMENODE#  kadmin.local
 Authenticating as principal  hdfs/[email protected] with password.
 kadmin.local:   listprincs hdfs*
 hdfs/[email protected]
 hdfs/[email protected]
 hdfs/[email protected]
 hdfs/[email protected] 

0005-Windows Kerberos客户端配置并访问CDH

 [email protected] 577-hdfs-NAMENODE# kinit  -kt hdfs.keytab  hdfs/[email protected]
 [email protected] 577-hdfs-NAMENODE# klist
 Ticket cache: FILE:/tmp/krb5cc\_0
 Default principal: hdfs/[email protected] 
 Valid starting       Expires              Service principal07/26/2017 11:23:08  07/27/2017 11:23:08  krbtgt/[email protected]        
  renew until 07/31/2017 11:23:08 

0005-Windows Kerberos客户端配置并访问CDH

注意:可以使用listprincs列出的hdfs身份进行初始化

4.将hdfs.keytab文件拷贝到Windows机器上,通过CMD命令进行初始化

0005-Windows Kerberos客户端配置并访问CDH

5.再次通过FireFox浏览器访问HDFS服务,正常访问

0005-Windows Kerberos客户端配置并访问CDH

6.访问Yarn资源管理服务是否能正常

0005-Windows Kerberos客户端配置并访问CDH

查看作业详情时无法正常访问,由于该hostname信息未添加到FireFox的network.negotiate-auth.trusted-uris配置中

0005-Windows Kerberos客户端配置并访问CDH

将该hostname添加到配置中

0005-Windows Kerberos客户端配置并访问CDH

再次访问成功

0005-Windows Kerberos客户端配置并访问CDH

5 keytab合并及使用

1.将需要合并的keytab文件统一的放在同一个目录下

0005-Windows Kerberos客户端配置并访问CDH

2.使用ktutil命令合并keytab文件,操作如下

 [email protected] keytab# ktutil 
 ktutil:   rkt hbase.keytab 
 ktutil:   rkt hive.keytab 
 ktutil:   rkt hdfs.keytab 
 ktutil:   rkt yarn.keytab 
 ktutil:   wkt test-new.keytab
 ktutil: 

在当前目录下生成test-new.keytab文件

0005-Windows Kerberos客户端配置并访问CDH

注意:由于生成的keytab文件权限默认为600,如果非root用户则需要使用sudo执行ktutil命令或者提升keytab权限至644以上。

3.将生成的文件拷贝至Windows机器上,使用kinit进行初始化

使用hdfs凭证进行初始化

0005-Windows Kerberos客户端配置并访问CDH

HDFS的服务访问成功

0005-Windows Kerberos客户端配置并访问CDH

使用hive凭证进行初始化

0005-Windows Kerberos客户端配置并访问CDH

访问HDFS服务成功

0005-Windows Kerberos客户端配置并访问CDH

使用hbase凭证进行初始化

0005-Windows Kerberos客户端配置并访问CDH

访问HDFS服务成功

0005-Windows Kerberos客户端配置并访问CDH

使用yarn凭证进行初始化

0005-Windows Kerberos客户端配置并访问CDH

访问HDFS服务成功

0005-Windows Kerberos客户端配置并访问CDH

通过上述测试,无论使用hdfs/yarn/hbase/hive任何身份均可正常访问HDFS服务,因此可以得出Kerberos只做身份认证,未做页面的授权。

6.常见问题

1.无法安装Kerberos,提示you must install a windows service错误

可能是由于Window版本问题,本文档选择的安装包本次不支持Windows Server2008(windows的内核版本是6.0,与windows vista相同),所以建议客户端机器选择Windows7或以上版本。

2.设置Kerberos Credential Cache File路径

配置Windows的环境变量

  • KRB5_CONFIG: Path for the kerberos inifile.()
  • KRB5CCNAME: Path for the kerberoscredential cache file.

0005-Windows Kerberos客户端配置并访问CDH

配置完环境变量后,需要重启机器使其环境变量生效。注意默认的“KRB5CCNAME”目录是在C:\temp.

3.在windows下的krb5.ini配置错误导致MIT Kerberos不能启动

如果直接将krb5.conf文件更名为ini文件并替换krb5.ini文件会出现文件格式问题导致MIT Kerberos无法正常启动,配置信息如下:

# Configuration snippets may be placed in this  directory as well

[libdefaults]

 default_realm = CLOUDERA.COM

 dns_lookup_realm = false

 ticket_lifetime = 24h

 renew_lifetime = 7d

 forwardable = true

 rdns =  false

# default_realm = EXAMPLE.COM

 #default_ccache_name =  KEYRING:persistent:%{uid}

[realms]

# EXAMPLE.COM = {

#  kdc =  kerberos.example.com

#   admin_server = kerberos.example.com

# }

 CLOUDERA.COM = {

  kdc =  ip-172-31-18-97.ap-southeast-1.compute.internal

  admin_server  = ip-172-31-18-97.ap-southeast-1.compute.internal

 }

[domain_realm]

# .example.com = EXAMPLE.COM

# example.com = EXAMPLE.COM

 .ip-172-31-18-97.ap-southeast-1.compute.internal  = CLOUDERA.COM

 ip-172-31-18-97.ap-southeast-1.compute.internal  = CLOUDERA.COM

4.在创建后凭证后,使用该凭证创建keytab文件后,kinit该凭证报密码错误

在生成keytab文件时需要加参数”-norandkey”否则会导致直接使用kinit [email protected]直接初始化时会提示密码错误。

5.在通过浏览器访问Hadoop服务时部分功能能正常,部分功能不正常

需要确认访问的host地址是否加入network.negotiate-auth.trusted-uris中,此参数主要配置需要访问服务的hostname,如果需要访问多个host则以“,”分割。

6.不需要合并所有Hadoop相关的服务的keytab来访问不同的页面,成功初始化一个用户比如HDFS即可。

7 参考文档

//doc.mapr.com/display/MapR/Configuring+Kerberos+Authentication+for+Windows

https://www.cloudera.com/documentation/enterprise/latest/topics/cdh\_sg\_browser\_access\_kerberos\_protected\_url.html

https://community.hortonworks.com/articles/28537/user-authentication-from-windows-workstation-to-hd.html

//web.mit.edu/kerberos/dist/index.html#kfw-4.0

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
0005-Windows Kerberos客户端配置并访问CDH

转载自://blog.51cto.com/14049791/2317534

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



Ambari2.6安装部署Hadoop2.7
ApacheAmbari是一种基于Web的工具,支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。ApacheAmbari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管
2018-07-09期 Hadoop单节点伪分布式扩展为多节点分布式【本人亲自反复验证通过分享】
备注:本期承接自2018-07-08期Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】一、服务器准备--额外增加2台服务器IP地址主机名称备注192.168.1.201hadoop-server01现有192.168.1.202hadoop-server02新增192.168.1.203hadoop-server03新增二、配置JDK[[email protected]
2018-07-08期 Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】
一、安装介质下载地址://archive.apache.org/dist/hadoop/core/安装版本:hadoop-2.4.1.tar.gz二、安装步骤1、解压hadoop-2.4.1.tar.gz[[email protected]]#tar-xvfhadoop-2.4.1.tar.gz-C/usr/local/apps/[[email protected]
生产环境下hadoop HA集群及Hbase HA集群配置
生产环境下HadoopHA集群结合HbaseHA集群环境搭建
OpenCV关于万达平台搭建重映射map_x,map_y的疑惑
OpenCV中什么万达平台搭建论坛:haozbbs.comQ1446595067是重映射就不赘述了,主要是对源码中map_x,map_y有些疑惑,图像是如何进行重映射的呢?上下变换的部分源码:Matmap_x,map_y;map_x.create(srcimg.size(),CV_32FC1);map_y.create(srcimg.size(),CV_32FC1);for(inti=0;i<
hadoop2.0中yarn的运行原理
Yarn的简单介绍        我们知道在离线大数据处理领域中,hadoop是目前无可厚非的处理架构,到目前为止hadoop已经有三个大版本,每个版本下都有架构方面的调整。        在hadoop1.0中有一些弊端,比如hdfs
SQuirreL 连接phoenix 安装配置
参考连接://phoenix.apache.org/installation.html#SQL_Client下载安装文件:squirrel-sql-3.8.1-standard.jar(本人目录为C:\Users\29126\Downloads)安装C:\Users\29126\Downloads>java-jarsquirrel-sql-3.8.1-standard.jar(本人
hadoop环境安装配置介绍与步骤
在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结。我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHadoop为基础,这里要先说明一下。个人觉得DKHadoop对新手还是算是很友好的了,新手朋友们可以大快搜索网站下载一个三节点的dkhadoop玩一下看看。
太平洋保险家园大数据项目DSG应用(30多个Oracle等实时同步到KAFKA)
根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下:1、需要将核心数据从30多个系统同步到大数据平台的kafka组件。2、确保数据复制的实时性(秒级)和数据的准确性3、复制的数据需要加上时间,操作类型等标签,便于后端应用识别4、以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响5、入kafka的数据格式可灵活配置,以便更好的适配后端应用6、需要具备数据操作统计和数据比对功能,便于核对数据的准确性
Hadoop权威指南摘录---1
Hadoop权威指南摘录