全面拥抱开源技术，数据实时集成案例分享-控件新闻-慧都网

全面拥抱开源技术，数据实时集成案例分享

原创|行业资讯|编辑：陈俊吉|2016-07-13 11:06:50.000|阅读 180 次

概述： 随着业界传播开源的理念，推广开源项目，为 IT 开发者提供了一个发现、使用、并交流开源技术的方向。很多企业在建设他们的业务交易和分析系统的项目中，开始关注和选用具有“自我特色”的开源技术和软件作为整体解决方案中的组成部分去实施。

# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>

相关链接：

随着业界传播开源的理念，推广开源项目，为 IT 开发者提供了一个发现、使用、并交流开源技术的方向。很多企业在建设他们的业务交易和分析系统的项目中，开始关注和选用具有“自我特色”的开源技术和软件作为整体解决方案中的组成部分去实施。

以下案例是国外某客户，包括核心系统在内的众多生产系统中已运行 IBM 软件产品，其核心环节中使用 IBM 数据复制软件，再结合开源软件和工具，实现了从重要的交易业务生产系统中使用 IBM 软件实时地复制数据到目标系统，在目标系统上通过开源软件把数据进行分发、加工处理、交付到数据库分析系统中，实现对业务进行实时分析。

1）数据实时复制

负责从各个业务系统上实时地复制交易数据，选用软件产品来实现。

2）数据采集

负责从目标系统上实时地采集数据，选用 Apache Flume 来实现。

3）数据接入

由于采集数据的速度和数据处理的速度不一定同步，因此添加一个消息中间件来作为缓冲，选用 Apache Kafka。

4）流式计算

对采集到的数据按业务规范进行实时处理和分析，选用 Apache Storm。

5）数据输出

把处理后的结果存放，实现持久化、稳定化和高效化，使用开源的NoSQL数据库。

方案优点

下面，我们对几个开源的核心软件做个简单扼要的说明，相信大家对都有了一定了解，此处不多花笔墨作说明。

1） Apache Flume

Apache Flume 提供了一个分布式、可靠、和高可用的海量日志采集、聚合和传输的日志收集系统；支持在日志系统中定制各类数据发送方，用于收集数据 Flume 提供对数据进行高效处理，擅长转移大数据量的日志和交易数据；通过通道（channel）无缝连接 Kafka。

2） Apache Kafka

kafka 是一种高吞吐量的分布式发布订阅消息系统，目标是提供一个发布订阅解决方案，它可以处理消费者规模的网站中的所有动作流数据。

Kafka 具有如下特性：

提供消息的持久化，即使数以TB的消息存储也能够保持长时间的稳定性能。
令你高吞吐量，即使是非常普通的硬件，kafka也可以支持每秒数十万的消息。
支持通过kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。

3） Apache Storm

Storm 能处理，在保证高可靠性的前提下，还可以让处理进行得更加实时，也就是说，所有的信息都会被处理。Storm 同样还具备容错和分布计算这些特性，这就让 Storm 可以扩展到不同的机器上进行大批量的数据处理。

Storm 具有如下特性：

简单的编程模型。类似于MapReduce 降低了并行批处理复杂性，Storm 降低了进行实时处理的复杂性。
可以使用各种编程语言。你可以在Storm 之上使用各种编程语言，默认支持 Clojure、Java、Ruby 和Python。要增加对其他语言的支持，只需实现一个简单的Storm通信协议即可。
水平扩展。计算是在多个线程、进程和服务器之间并行进行的。对于扩展，你只需要添加机器和改变对应的 Topology（拓扑）设置。
容错性。Storm 保证每个消息至少能得到一次完整处理，任务失败时，它会负责从消息源重试消息，会管理工作进程和节点的故障。
本地模式。Storm 有一个“本地模式”，可以在处理过程中完全模拟 Storm 集群。

方案优势

使用流计算处理核心业务数据，包括：交易行情数据、业务日志等重要业务信息，不但能高效处理，还能保证数据的完整性和准确性。
能有效地解决了从 Flume 到 Kafka 实时数据优于单条过快，造成 stormspout 消费 kafka 速率跟不上。手段是通过进行多 tuple 结构优化，对多个 log 打包成一个 tuple 进行发射处理。
提高整个系统运行的可靠性和高可用性。数据处理经过模块化之后，解决了用户最担心的假如当 Storm 挂掉了，数据采集和数据接入还是继续在跑着，数据不会丢失， Storm 起来之后可以继续进行流式计算。
在使用 IBM 产品处理核心业务的数据和信息的基础上，拥抱开源产品，在满足需求前提下进行技术创新，以追求较好的性价比。