??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
could't create native thread的问题跟踪

转载   zouqingyun   2016-12-06   浏览量:19


一、问题描述

  • 之前因为java.lang.OutOfMemoryError: unable to create new native thread设置了Xss参数,见//zouqingyun.blog.51cto.com/782246/1879975

  • nodeManager仍然出现该异常,同时map-reduce的任务中也出现该异常

二、一些现象

       跑了一个map-reduce任务,这个任务处理的都是小文件,最后生成了2万多个map任务。这个job中许多任务出现java.lang.OutOfMemoryError: unable to create new native thread,观察了这个job的一些任务,发现这个任务的thread stack持续增长,最后有7000多个thread,最后导致java.lang.OutOfMemoryError: unable to create new native thread,因为每个map任务分配的内存为800m,ThreadStackSize是默认值1024k,最后导致内存耗尽。任务的线程栈中持续一下输出:

"Thread-3689" daemon prio=10 tid=0x00007fb6bf364000 nid=0x2331 in Object.wait() [0x00007fb5b9b94000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638)
        - locked <0x00000000f89800d0> (a java.util.LinkedList)

"Thread-3688" daemon prio=10 tid=0x00007fb6bf362000 nid=0x10a9 in Object.wait() [0x00007fb5b9c95000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638)
        - locked <0x00000000f89701c0> (a java.util.LinkedList)

"Thread-3687" daemon prio=10 tid=0x00007fb6bf35a800 nid=0xf23 in Object.wait() [0x00007fb5b9d96000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638)
        - locked <0x00000000f89681c0> (a java.util.LinkedList)

"Thread-3686" daemon prio=10 tid=0x00007fb6bf358800 nid=0xde9 in Object.wait() [0x00007fb5b9e97000]
   java.lang.Thread.State: TIMED_WAITING (on object monitor)
        at java.lang.Object.wait(Native Method)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:638)

三、猜测

1、nodemanager的异??赡苡胝飧鲇泄?,当该map-reduce所有任务调度到一台机器(大概40个container),每个container中任务都生成7000个thread(生成很多小文件?)。导致耗尽max user processes(262144)。但nodemanger需要new thread的时候,出现java.lang.OutOfMemoryError: unable to create new native thread。(ps 昨天这个任务确实在定时跑)

2、可能是hadoop/yarn某些地方的内存溢出问题。参见一个类似的问题。https://issues.apache.org/jira/browse/YARN-4581


四、后记

       hadoop处理大量小文件,要使用org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat,并设置mapreduce.input.fileinputformat.split.maxsize = 5147483648

转载自://blog.51cto.com/zouqingyun/1879976

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



Ambari2.6安装部署Hadoop2.7
ApacheAmbari是一种基于Web的工具,支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。ApacheAmbari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管
2018-07-09期 Hadoop单节点伪分布式扩展为多节点分布式【本人亲自反复验证通过分享】
备注:本期承接自2018-07-08期Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】一、服务器准备--额外增加2台服务器IP地址主机名称备注192.168.1.201hadoop-server01现有192.168.1.202hadoop-server02新增192.168.1.203hadoop-server03新增二、配置JDK[[email protected]
2018-07-08期 Hadoop单节点伪分布式集群配置【本人整合多方资料并亲自反复验证通过分享】
一、安装介质下载地址://archive.apache.org/dist/hadoop/core/安装版本:hadoop-2.4.1.tar.gz二、安装步骤1、解压hadoop-2.4.1.tar.gz[[email protected]]#tar-xvfhadoop-2.4.1.tar.gz-C/usr/local/apps/[[email protected]
OpenCV关于万达平台搭建重映射map_x,map_y的疑惑
OpenCV中什么万达平台搭建论坛:haozbbs.comQ1446595067是重映射就不赘述了,主要是对源码中map_x,map_y有些疑惑,图像是如何进行重映射的呢?上下变换的部分源码:Matmap_x,map_y;map_x.create(srcimg.size(),CV_32FC1);map_y.create(srcimg.size(),CV_32FC1);for(inti=0;i<
hadoop2.0中yarn的运行原理
Yarn的简单介绍        我们知道在离线大数据处理领域中,hadoop是目前无可厚非的处理架构,到目前为止hadoop已经有三个大版本,每个版本下都有架构方面的调整。        在hadoop1.0中有一些弊端,比如hdfs
太平洋保险家园大数据项目DSG应用(30多个Oracle等实时同步到KAFKA)
根据太保家园项目的最终目标,在一期建设中,需要将太平洋保险集团下属的寿险,产险,车险等30多个核心系统数据,通过实时同步复制的方式,统一集中到大数据平台。其中涉及数据的转换,标化,清洗,去重等一系列过程,具体需求如下:1、需要将核心数据从30多个系统同步到大数据平台的kafka组件。2、确保数据复制的实时性(秒级)和数据的准确性3、复制的数据需要加上时间,操作类型等标签,便于后端应用识别4、以生产环境的dg库作为数据的汇聚源端,减轻对生产库的影响5、入kafka的数据格式可灵活配置,以便更好的适配后端应用6、需要具备数据操作统计和数据比对功能,便于核对数据的准确性
Hadoop权威指南摘录---1
Hadoop权威指南摘录
0基础学习大数据你需要了解的学习路线和方向
现在大数据这么火,各行各业想转行大数据,那么问题来了,该往哪方面发展,哪方面最适合自己?首先从字面来了解一下大数据大数据(巨量数据集合(IT行业术语))大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点(IBM提出):Volume(大量)、V
20180611早课记录28-Sqoop
1.sqoop是什么?主要用于在Hadoop与RDBMS间进行数据的传递2.sqoop分为哪两个分支,各最新版本是什么?sqoop1:1.4.7sqoop2:1.99.73.在工作中我们用的最多的是sqoop1,那么导入和导出,谁给谁的导入是RDBMS到Hadoop导出是Hadoop到RDBMS4.假如输入一个命令找不到notfound,你们觉得该怎么办?(老生常谈)先看打错了没有,再看PATH有