??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
flume学习与总结记录

转载   2018-05-30   浏览量:235


1.什么是flume

??Cloudera 开发的框架,实时收集数据

??Flume学习的核心: agent的设计

??官方文档,//flume.apache.org/FlumeUserGuide.html


2.flume环境的搭建

?下载地址: //archive.cloudera.com/cdh5/ ? ?--- 选择对应版本

?常规的解压安装操作

? ?1)配置环境变量
? ? ? ?export FLUME_HOME=/usr/cdh5/flume-1.5.0-cdh5.3.6-bin
? ? ? ?export PATH=$PATH:$FLUME_HOME/bin

? ?2)配置flume-env.sh文件
export JAVA_HOME=/usr/java/jdk1.7.0_79

?(不需要配置hadoop,只需依赖jdk就行了)

3.flume入门程序 ? ?

? ?flume与其它框架对接的话,通过配置flume-env.sh文件,以及在lib中添加对应的jar包!

? ? bin/flume-ng help: ?借组help来查看命令参数

? 1)my.conf文件的编写:
a1.sources ?= ?r1?
a1.sinks ?= ?k1?
a1.channels ?= ?c1

#描述/配置源
a1.sources.r1.type ?= ?netcat?
a1.sources.r1.bind ?= ?s0
a1.sources.r1.port ?= ?44444

#使用缓冲内存中事件的通道 ? ?
a1.channels.c1.type ?= ?memory?
a1.channels.c1.capacity ?= ?1000?
a1.channels.c1.transactionCapacity ?= ?100

#描述sink?
a1.sinks.k1.type ?= ?logger

#将信源和信宿绑定到信道
a1.sources.r1.channels ?= ?c1?
a1.sinks.k1.channel ?= ?c1

2)flume目录启动命令: ? ? ? ? ? ? ??

? ? ? ? ? ? ? ? bin/flume-ng agent ?-c conf -f conf/my.conf -n a1 -Dflume.root.logger=INFO,console

3)安装telnet, ?另个终端进行telnet s0 44444,输入数据

4.主要知识点与操作点

Event:Flume数据传输的基本单元

Source 、Channel ? 、Sink 、Flow、Agent

1)hdfs sinks

? ?a1.sinks.k1.type ?= ?hdfs

? ?a1.sinks.k1.hdfs.path = hdfs://s0/flume/webdata/?

? ?复制hadoop的四个jar包到flume的lib中、以及复制hadoop中的core-site.xml、hdfs-site.xml到flume的conf中

?运行:bin/flume-ng agent ?-c /usr/cdh5/flume-1.5.0-cdh5.3.6/conf ?-n a1 -f /usr/cdh5/flume-1.5.0- ? ? ? ? ? ? ? cdh5.3.6/conf/my.conf ?-Dflume.root.logger=DEBUG,console?

2)flume文件监控
? a)监控一个文件 (exec source)
a1.sources.r1.type ?= ?exec?
? ? ? ? a1.sources.r1.command ?= ?tail -F /var/log/secure?

? b)监控一个目录(Spooling Directory Source),相对于监控文件即使重启也不会丢失数据
a1.sources.r1.type ?= ?spooldir?
? ? ? ? a1.sources.r1.channels ?= ?c1?
? ? ? ? a1.sources.r1.spoolDir ?= ?/var/log/apache/flumeSpool?
? ? ? ? a1.sources.r1.fileHeader ?= ?true


?3).flume集群搭建 ?(每台机器都搭建flume,利用avro sink)
? ?参见如下连接:

? ?https://www.cnblogs.com/haozhengfei/p/2192231596ceb2ac4c22294dbd25a1ca.html

5.问题点

?1)错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty? ?

? ? ? -----》 ?/etc/profile中flume的路径配错了?。êξ腋懔撕镁?,原来是我把flume的名称改了导致的)

2)startx 报 xf86OpenConsole: Cannot open /dev/tty0 (No such file or directory) ?---- ?普通用户启动不了桌面程序

? ?-------》?chmod u+s /usr/bin/Xorg,以程序所有者的身份运行

3)Exception in thread "main" java.lang.UnsatisfiedLinkError:?

? ?org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

? ?---》 归根结底是hadoop的运行问题,这个问题不解决导致所有与hadoop运行有关的程序都报这个错?。?strong class="wff">待解决!)

? ?如若解决不了,得花点时间去重新搭建集群环境咯?

-----------------------------------------------------------------

由于NativeCrc32.nativeComputeChunkedSumsByteArray问题,flume的my.conf文件、监控操作、集群搭建都没能
好好操作练习?。。?!有待加强深入练习。。。。。

转载自:https://blog.csdn.net/huang66666666/article/details/80515822

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



flume学习与总结记录
1.什么是flume??Cloudera开发的框架,实时收集数据??Flume学习的核心:agent的设计??官方文档,//flume.apache.org/FlumeUserGuide.html2.flume环境的搭建?下载地址://archive.cloudera.com/cdh5/??---选择对应版本?常规的解压安装操作??1)配置环境变量????e...
大数据之:Flume安装详解
0.软件版本下载//mirror.bit.edu.cn/apache/flume/1.集群环境Master172.16.11.97Slave1172.16.11.98Slave2172.16.11.992.下载软件包#Masterwget//mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.ta...
flume实战教学练习新手必看
使用Flume关键就是写配置文件需求一:从指定网络端口采集数据输出到控制台conf的书写exampleconf:Asingle-nodeFlumeconfigurationNa
flume源码分析
flume源码分析,Flume的程序入口是orgapacheflumenodeApplicationmain,进入后会先进行命令行参数的解析及核对,使用的组件是orgapachecommonscli?;故呛芎糜玫?。
云计算大数据技术之Flume安装教程
云计算大数据技术之Flume安装教程。
Error:Couldnotfindorloadmainclassorg.apache.flume.tools.GetJavaProperty
Error:CouldnotfindorloadmainclassorgapacheflumetoolsGetJavaProperty。
Flume的几个基础概念
Flume的几个基础概念,从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channal,Flume提供多种数据接收的方式,比如Avro,Thrift,exec等。
nginx+flume+hdfs搭建实时日志收集系统
nginx+flume+hdfs搭建实时日志收集系统。
Ceontos7安装Flume和问题
Ceontos7安装Flume及问题。Flume是一个强大的采集日志信息的工具,它适用大部分的日志采集场景。它的安装配置也非常简单,下面就一起来看看吧!
flume1.7TailDirsource重复获取数据集不释放资源解决办法
flume17TailDirsource重复获取数据集不释放资源解决办法。