??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
flume配置写入hdfs手记

转载   2018-06-05   浏览量:290


flume的启动命令是:

[[email protected] bin]$ ./flume-ng agent -n agent1 -c /work/install/apache-flume-1.8.0-bin/conf/ -f ../conf/test.conf -Dflume.root.logger=INFO,console


1.hdfs.path要手工建立:


test.conf中

agent1.sinks.k1.hdfs.path=hdfs://bg01:9000/flume/data/

[[email protected] data]$ mkdir -p /tmp/flume/data/

2.没有datanode启动,数据无法写入


bg01主机:

[[email protected] bin]$ jps
99153 Master
37441 NameNode
108960 Jps
38196 NodeManager
112297 Worker
147994 QuorumPeerMain
160619 ConsoleConsumer
37898 SecondaryNameNode

38079 ResourceManager

bg02主机:

[[email protected] hadoop]$ jps
4353 Jps
97555 Kafka
91718 Elasticsearch
97225 QuorumPeerMain
30254 NodeManager

237868 Worker

bg03主机:

[[email protected] nn]$ jps
161079 Worker
48524 NodeManager

176719 Jps

于是,重启hdfs:




仍然没有datanode启动

bg02.bg03的datanode也没有



查看日志文件如下(bg02,03的内容跟01是一样的):


此原因是namenode和datanode的clusterID不一致导致datanode无法启动.?
产生的原因是多次hdfs namenode -format , 每一次format,namenode都会生成新的clusterID , 而datanode还是保持原来的clusterID.(可见hadoop集群重启的时候hadoop namenode -format并不是必须的)

[[email protected] hadoop]$ cat hdfs-site.xml


找到namenode和datanode的数据路径。

cat?/home/bg/data/nn/current/VERSION?复制namenode的clusterID.

用该clusterID把所有datanode节点机器中/data/dn/current/VERSION中的clusterID替换掉

重新启动./stop-all.sh? ? ./start-all.sh?


重新运行flume

?./flume-ng agent -n agent1 -c /work/install/apache-flume-1.8.0-bin/conf/ -f ../conf/test.conf -Dflume.root.logger=INFO,console

写入hdfs成功!



转载自:https://blog.csdn.net/yblbbblwsle/article/details/80576967

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024


上一篇:
没有了

flume学习与总结记录
1.什么是flume??Cloudera开发的框架,实时收集数据??Flume学习的核心:agent的设计??官方文档,//flume.apache.org/FlumeUserGuide.html2.flume环境的搭建?下载地址://archive.cloudera.com/cdh5/??---选择对应版本?常规的解压安装操作??1)配置环境变量????e...
大数据之:Flume安装详解
0.软件版本下载//mirror.bit.edu.cn/apache/flume/1.集群环境Master172.16.11.97Slave1172.16.11.98Slave2172.16.11.992.下载软件包#Masterwget//mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.ta...
flume实战教学练习新手必看
使用Flume关键就是写配置文件需求一:从指定网络端口采集数据输出到控制台conf的书写exampleconf:Asingle-nodeFlumeconfigurationNa
flume源码分析
flume源码分析,Flume的程序入口是orgapacheflumenodeApplicationmain,进入后会先进行命令行参数的解析及核对,使用的组件是orgapachecommonscli?;故呛芎糜玫?。
云计算大数据技术之Flume安装教程
云计算大数据技术之Flume安装教程。
Error:Couldnotfindorloadmainclassorg.apache.flume.tools.GetJavaProperty
Error:CouldnotfindorloadmainclassorgapacheflumetoolsGetJavaProperty。
Flume的几个基础概念
Flume的几个基础概念,从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channal,Flume提供多种数据接收的方式,比如Avro,Thrift,exec等。
nginx+flume+hdfs搭建实时日志收集系统
nginx+flume+hdfs搭建实时日志收集系统。
Ceontos7安装Flume和问题
Ceontos7安装Flume及问题。Flume是一个强大的采集日志信息的工具,它适用大部分的日志采集场景。它的安装配置也非常简单,下面就一起来看看吧!
flume1.7TailDirsource重复获取数据集不释放资源解决办法
flume17TailDirsource重复获取数据集不释放资源解决办法。