您好、欢迎来到现金彩票网!
当前位置:秒速快三 > 数据流 >

你的所有数据流统统属于Kafka

发布时间:2019-05-17 18:10 来源:未知 编辑:admin

  由于业界的注意力从笨拙的Hadoop和数据湖转向实时数据流,Apache Kafka继续一路崛起。

  Apache Kafka在高歌猛进。正如行业分析公司Redmonk的芬坦·瑞安(Fintan Ryan)特别指出,去年Kafka在开发人员当中的人气指数飙升了260%。自此以后,由于物联网及企业其他方面需要实时数据流变得司空见惯,Kafka的人气越来越旺。Kafka起源于LinkedIn,创始工程团队拉出来后创办了Confluent。自那以后,Confluent就一直是这个Apache项目的主要开发者。

  但它不是唯一的开发者。事实上,考虑到Kafka越来越重要,现在提交代码的公司比以往任何时候都要多,包括肯尼·戈尔曼(Kenny Gorman)和埃里克·毕比(Erik Beebe)创办的Eventador,这两人都是现已被Rackspace收购的OjbectRocket的联合创始人。ObjectRocket将MongoDB数据库作为一项服务来提供,而Eventador提供全面托管的Kafka服务,进一步拉低了数据流的门槛。

  我与Eventador的这两位联合创始人谈话后清楚地发现,数据流不一样,需要“新的视角”,因为“实时变异的数据带来了新的使用场合和新的可能性。”一旦企业逐渐依赖数据流,就很难再回过头去。明白这一点是关键。

  尽管Apache Hadoop很流行,但Hadoop工作流程实在太缓慢了,满足不了现代企业不断变化的需求。的确,正如戈尔曼所说,“许多公司认识到,数据的价值在变得更实时后才更大。”对于更喜欢等待将实时数据流添加到产品和服务的那些公司来说,它们的竞争对手很有可能并不满足于批处理方面取得的既有荣誉。

  这个趋势推动着能够可靠、可扩展、尽可能近实时地提供和处理数据的技术日趋采用。市场需要存在专门针对这种架构的新框架。因此,Apache Kafka应运而生。

  Apache Spark怎么样呢?正如戈尔曼指出的那样,Spark确实具有实时处理功能,但它并非最适合这项任务。Spark数据流框架仍然被设计成微批处理(micro-batch)。

  戈尔曼解释,这样一来只剩下Kafka,它“能够为数据传输和处理框架提供一种真正只需一次的处理解决方案”。除此之外,Apache Flink、Beam及其他额外组件扩展了这些实时管道的功能,以便轻松执行数据变异、聚合和过滤等更多操作。这一切造就了一种成熟的、端到端的实时数据处理系统。

  就算Kafka学习和实施起来很费劲,也不重要,其实它学习和实施起来并不费劲。正如戈尔曼特别指出的那样,“Apache Kafka的优点在于,它提供了一套强大的API,但语义又非常简单。它完全很容易上手。”不仅如此,Kafka的API还用许多不同的编程语言来实现,所以你青睐的语言很有可能已有相应的驱动程序可用。

  Kafka有一个重要的概念:topic,这其实就是数据流的命名空间。将数据发布给topic很简单,Kafka可以处理路由、可扩展性、持久性和可用性等方面。多个用户协调这些topic的订阅,以获取数据,处理或路由数据。被问及这带来怎样的应用程序开发体验时,戈尔曼强调这并非轻而易举,但简单直观:“构建与Kafka协同运行的应用程序很容易,因为客户端库处理通信的大部分细节,开发人员只要使用API即可发布或订阅数据流。”

  戈尔曼告诉我,对开发人员来说,真正的窍门在于“用新的视角考虑使用数据流。”原因何在?因为“实时变异的数据带来了新的使用场合和新的可能性。”

  不妨看一个具体的例子。客户可能发布关于拼车乘客使用拼车服务的数据。一组消费者分析该数据流,执行机器学习算法以实现动态定价;然后另一组消费者读取数据,向客户的移动设备提供汽车的位置和可用性;另一组消费者向内部仪表板提供数据聚合框架所汇集的拼车数据。Kafka是整个数据架构的核心,它能满足各种各样的业务需求,而且完全实时。

  这对开发人员及其效力的公司来说很好,但是旺盛的Kafka需求无法保证Eventador肯定成功,因为它要与Confluent竞争,而Confluent的亮点在于它是Kafka的创始者。此外,Confluent还宣布了一款云产品,可能会与Eventador的Kafka服务争夺市场份额。

  戈尔曼没有因此心烦意乱。正如他描述的那样,真正的区别是,我们并不仅限于Kafka。我们在Kafka最有用途的地方才使用它。我们拥有一种端到端企业级数据流处理框架,基于Apache Kafka和Apache Flink。我们拥有支持AWS S3的连接件、REST接口,与PrestoDB和Jupyter笔记本集成,还拥有支持流行数据库、甚至支持其他数据流系统(比如AWS Kinesis)的连接件。我们提供全面方案,从简单的单一节点,到全面的企业本地配置,不一而足。

  此外,鉴于实时数据方面的需求很旺盛,戈尔曼认为,许多不同的玩家自有发展的空间。Eventador不仅可以用Flink及其他组件来互补Kafka,还将Rackspace倡导的口号“出色的客户支持”铭记在心,这首先就要拿出一款做工精良、全面集成的产品。戈尔曼几十年来在全球最大的几家公司搞过运营,继续说:“我们知道怎样运营一款一流的、专业质量的、稳若磐石的Xaas解决方案。”

  这个市场仍很新兴,这点他绝对没说错。开发人员仍在努力了解如何将Kafka集成到其项目中。由于需要与数据赛跑的这种形势,Kafka的使用场合一天天在扩大。

  戈尔曼指出,然而,多年后,“依赖你基础设施中的数据流会很常见,而不仅仅是一些辅助的工作负载。”这正是他们在倾力打造的未来。“一旦你开始要求数据更实时,脚步就很难停下来。”Eventador、Confluent,无疑还有其他公司正在打造这个实时数据流未来。对于一些人来说,这个未来就在眼前。对于其他人来说,这些初创公司希望早日迎来未来。返回搜狐,查看更多

http://starnet-france.com/shujuliu/49.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有