??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
0006-Zookeeper指标分析

转载   Hadoop实操   2018-11-15   浏览量:15


温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

1. 问题描述

通过CDH管理平台,进入Zookeeper管理界面,Zookeeper的平均请求延迟、最小请求延迟、最大请求延迟指标趋势图维持不变,指标数据异常。

2.问题复现

  • 登录CDH平台,进入Zookeeper管理页面,查看Zookeeper各服务器状态,页面如下:

0006-Zookeeper指标分析

  • 查看如下指标

平均请求延迟、最小请求延迟、最大请求延迟三个指标维持不变,指标异常。

0006-Zookeeper指标分析

0006-Zookeeper指标分析

0006-Zookeeper指标分析

3.问题分析

3.1 指标来源

  • 该指标是CDH通过ZookeeperJMX方式获取,具体参考Zookeeper官网

彩票开奖查询 www.kbyp.net //zookeeper.apache.org/doc/r3.5.3-beta/zookeeperJMX.html#ch\_jmx

  • 通过命令方式获取Zookeeper指标信息

0006-Zookeeper指标分析

通过以上分析可以判断指标数据非CDH计算得来,而是Zookeeper计算,排除CM问题;

3.2 分析Zookeeper源码

  • 命令行调用Zookeeper监控指标代码片段(MonitorCommand.java)

0006-Zookeeper指标分析

通过查看源码,指标数据是通过ServerStats获取“请求延迟”指标

  • 分析ServerStats代码,代码片段(ServerStats.java)

0006-Zookeeper指标分析

ServerStats只提供了updateLatency方法来更新maxLatency和minLatency指标。

  • 调用更新ServerStats方法代码片段如下:(FinalRequestProcessor.java)

0006-Zookeeper指标分析

3.3 异常指标分析

通过分析代码,maxLatency和minLatency指标数据在Zookeeper服务器启动记录每次Request的指标数据;

在获取Zookeeper服务器的的maxLatency和minLatency指标记录服务器所有请求中最大请求延迟和最小请求延迟;

  • 最大请求延迟指标

Zookeeper服务器1,在通过A请求更新ServerStats的maxLatency的指标值为100ms,在之后所有请求均未超过maxLatency为100ms的值。CDH平台每次获取Zookeeper服务器1的maxLatency指标时均为100ms,因此导致文章开头CDH平台Zookeeper的maxLatency指标维持不变“异?!?。

  • 最小请求延迟指标

Zookeeper服务器1,在通过A请求后更新ServerStats的minLatency的指标值为0ms,在之后所有请求均未小于minLatency为0ms的值。CDH平台每次获取Zookeeper服务器1的minLatency指标时均为0ms,因此导致文章开头CDH平台Zookeeper的minLatency指标为0ms维持不变的“异?!?。

  • 平均请求延迟指标

Zookeeper服务器1累计所有请求的延迟时间(totalLatency),累计总共请求次数(count),通过totalLatency/count获取avgLatency指标。至于avgLatency指标持续维持为0ms,由于totalLatency <count导致。

由此推断多次请求Latency的延迟为0ms。

醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
0006-Zookeeper指标分析

转载自://blog.51cto.com/14049791/2317544

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



HDFS文件系统空间使用情况分析
HDFS文件系统空间使用情况分析
Ambari2.6安装部署Hadoop2.7
ApacheAmbari是一种基于Web的工具,支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。ApacheAmbari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管
2018-07-09期 Hadoop单节点伪分布式扩展为多节点分布式【本人亲自反复验证通过分享】
备注:本期承接自2018-07-08期Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】一、服务器准备--额外增加2台服务器IP地址主机名称备注192.168.1.201hadoop-server01现有192.168.1.202hadoop-server02新增192.168.1.203hadoop-server03新增二、配置JDK[[email protected]
2018-07-08期 Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】
一、安装介质下载地址://archive.apache.org/dist/hadoop/core/安装版本:hadoop-2.4.1.tar.gz二、安装步骤1、解压hadoop-2.4.1.tar.gz[[email protected]]#tar-xvfhadoop-2.4.1.tar.gz-C/usr/local/apps/[[email protected]
OpenCV关于万达平台搭建重映射map_x,map_y的疑惑
OpenCV中什么万达平台搭建论坛:haozbbs.comQ1446595067是重映射就不赘述了,主要是对源码中map_x,map_y有些疑惑,图像是如何进行重映射的呢?上下变换的部分源码:Matmap_x,map_y;map_x.create(srcimg.size(),CV_32FC1);map_y.create(srcimg.size(),CV_32FC1);for(inti=0;i<
hadoop2.0中yarn的运行原理
Yarn的简单介绍        我们知道在离线大数据处理领域中,hadoop是目前无可厚非的处理架构,到目前为止hadoop已经有三个大版本,每个版本下都有架构方面的调整。        在hadoop1.0中有一些弊端,比如hdfs
太平洋保险家园大数据项目DSG应用(30多个Oracle等实时同步到KAFKA)
根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下:1、需要将核心数据从30多个系统同步到大数据平台的kafka组件。2、确保数据复制的实时性(秒级)和数据的准确性3、复制的数据需要加上时间,操作类型等标签,便于后端应用识别4、以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响5、入kafka的数据格式可灵活配置,以便更好的适配后端应用6、需要具备数据操作统计和数据比对功能,便于核对数据的准确性
Hadoop权威指南摘录---1
Hadoop权威指南摘录
20180611早课记录28-Sqoop
1.sqoop是什么?主要用于在Hadoop与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?sqoop1:1.4.7sqoop2:1.99.73.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的导入是RDBMS到Hadoop导出是Hadoop到RDBMS4.假如输入一个命令找不到notfound,你们觉得该怎么办?(老生常谈)先看打错了没有,再看PATH有