花费 126ms 找到4459条记录
1 kafka producer batch 发送消息
2019年01月06 - 1. 使用 KafkaProducer 发送消息,是按 batch 发送的,producer 首先把消息放入 ProducerBatch 中: org.apache.kafka.clients.producer.internals.ProducerBatch 2.
2 Kafka学习(6)——优化指南
2016年11月02 - Kafka设计的初衷是迅速处理短小的消息,一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候,我们需要处理更大的消息,比如XML文档或JSON内容,一个消息差不多有10-100M,这种情况下,Kakfa应该如何处理?针对这个问题,有以下几个建议:最好的方法
3 如何决定kafka集群中话题的分区的数量
2016年03月19 - 如何决定kafka集群中topic,partition的数量,这是许多kafka用户经常遇到的问题。本文列举阐述几个重要的决定因素,以提供一些参考。 分区多吞吐量更高 一个话题topic的各个分区partiton之间是并行的。在producer
4 Kafka Consumer各版本分析总结
2017年04月07 - 又是很久没有写技术文章了, 平时的东西会记录在自己的本地, 比较方便; 但是搬上Blog的过程需要重新的总结和回顾甚至排版, 真没有那么多时间弄这些. 进入正题. Kafka从0.7版本到现在的0.10版本, 经历了巨大的变化; 而其中, 首当其冲的是Consumer的机制
5 在团800运维工作总结之haproxy---rsyslog----kafka---collector--es--kibana
2016年04月14 - 的优点在于配置简便,这次我选用了rsyslog今天就这haproxy日志,我把整个流程给大家走一遍,就算是让大家了解下具体流程如下haproxy----local2级别----rsyslog----kafka---collector(消费kafka,写到es)---es---kibana展示
6 为什么要用kafka、rabbit等消息队列
2017年09月04 - 。 6.顺序保证: 在大多使用场景下,数据处理的顺序都很重要。大部分消息队列本来就是排序的,并且能保证数据会按照特定的顺序来处理。(Kafka保证一个Partition内的消息的有序性) 7.缓冲: 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。 8.异步通信
7 Gobblin采集kafka数据
2016年12月01 - 作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程,话不多说,进入正题 一.Gobblin环境变量准备 需要配置好Gobblin0.7.0工作时对应的环境变量,可以去Gobblin的bin
8 Kafka负载均衡、Kafka自定义Partition、Kafk文件存储机制
2018年03月11 - 1、Kafka整体结构图 Kafka名词解释和工作方式 l Producer :消息生产者,就是向kafkabroker发消息的客户端。 l Consumer :消息消费者,向kafkabroker取消息的客户端 l Topic :咋们可以理解为一个队列。 l
9 kafka版本0.8.2.0-Producer Configs之request.required.acks
2015年12月18 - This value controls when a produce request is considered completed. Specifically, how many other brokers must have committed the data to their log and
10 利用Flume拦截器(interceptors)实现Kafka Sink的自定义规则多分区写入
2017年03月24 - 我们目前的业务场景如下:前端的5台日志收集服务器产生网站日志,使用Flume实时收集日志,并将日志发送至Kafka,然后Kafka中的日志一方面可以导入到HDFS,另一方面供实时计算模块使用。前面的文章《Kafka分区机制介绍与示例》介绍过Kafka的分区机制。我们对Kafka中存储日志

 
© 2014-2019 ITdaan.com 粤ICP备14056181号