??斗地主捕鱼电竞提现秒到 广告位招租 - 15元/月全站展示
??支付宝搜索579087183领大额红包 ??伍彩集团官网直营彩票
??好待遇→招代理 ??伍彩集团官网直营彩票
??络茄网 广告位招租 - 15元/月全站展示
kafka来读取flume的数据实现方法

转载   2018-05-25   浏览量:495


一、查看kafka topic

./kafka-topics.sh --list --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181

\

./kafka-topics.sh --delete --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181 --topic junshen

可以看到已经删除了,因为我已经配置过delete.topic.enable =true.所以已经都删除掉了

.\

二、flume配置发送数据方式

这个是配置之前的flume 她将数据写入hdfs

\

flume原理请自己查看flume文档。。新增一个channel和sink。将数据输出到kafka

查看flume的官方文档和kafka的配置要求

\

修改后的

\

启动kafka

./kafka-server-start.sh ../config/server.properties

看看kafka目前的topic

bin/kafka-topics.sh --list --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181,bigdata-test-4:2181,bigdata-test-5:2181

查看topic的详细信息

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic weblog

启动flume

./flume-ng agent --conf ../conf --conf-file ../conf/template01.conf --name a1 -Dflume.root.logger=INFO,console

其中出现了消费者接收不到的问题。在flume启动的时候就会报错。链接r2的一只不启动

最后发现是flume版本的问题。之前的配置,新版flume才可以使用

\

修改后重新启动flume

./flume-ng agent --conf ../conf --conf-file ../conf/template01.conf --name a1 -Dflume.root.logger=INFO,console

\

启动kafka客户端

./kafka-console-consumer.sh --zookeeper bigdata-test-4:2181, bigdata-test-5:2181, bigdata-test-3:2181 --from-beginning --topic weblog

启动web客户端 传输过来了数据

\

验证接受到了数据。。验证完成。

自此kafka集群配置完毕。

转载自:https://www.2cto.com/net/201805/749809.html

招聘 不方便扫码就复制添加关注:程序员招聘谷,微信号:jobs1024



flume学习与总结记录
1.什么是flume??Cloudera开发的框架,实时收集数据??Flume学习的核心:agent的设计??官方文档,//flume.apache.org/FlumeUserGuide.html2.flume环境的搭建?下载地址://archive.cloudera.com/cdh5/??---选择对应版本?常规的解压安装操作??1)配置环境变量????e...
大数据之:Flume安装详解
0.软件版本下载//mirror.bit.edu.cn/apache/flume/1.集群环境Master172.16.11.97Slave1172.16.11.98Slave2172.16.11.992.下载软件包#Masterwget//mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.ta...
flume实战教学练习新手必看
使用Flume关键就是写配置文件需求一:从指定网络端口采集数据输出到控制台conf的书写exampleconf:Asingle-nodeFlumeconfigurationNa
flume源码分析
flume源码分析,Flume的程序入口是orgapacheflumenodeApplicationmain,进入后会先进行命令行参数的解析及核对,使用的组件是orgapachecommonscli?;故呛芎糜玫?。
云计算大数据技术之Flume安装教程
云计算大数据技术之Flume安装教程。
Error:Couldnotfindorloadmainclassorg.apache.flume.tools.GetJavaProperty
Error:CouldnotfindorloadmainclassorgapacheflumetoolsGetJavaProperty。
Flume的几个基础概念
Flume的几个基础概念,从数据发生器接收数据,并将接收的数据以Flume的event格式传递给一个或者多个通道channal,Flume提供多种数据接收的方式,比如Avro,Thrift,exec等。
nginx+flume+hdfs搭建实时日志收集系统
nginx+flume+hdfs搭建实时日志收集系统。
Ceontos7安装Flume和问题
Ceontos7安装Flume及问题。Flume是一个强大的采集日志信息的工具,它适用大部分的日志采集场景。它的安装配置也非常简单,下面就一起来看看吧!
flume1.7TailDirsource重复获取数据集不释放资源解决办法
flume17TailDirsource重复获取数据集不释放资源解决办法。