彩票走势图

InfoSphere CDC 实时同步本地数据到云端的BigInsights

原创|行业资讯|编辑:陈俊吉|2016-07-21 10:35:47.000|阅读 558 次

概述: IBM InfoSphere CDC 是一款功能强大的数据实时复制软件,不仅广泛应用于传统ODS、数据仓库、数据集市及BI系统的异构平台集成,同时也提供对Cloud的全面支持;对于各种 Cloud 应用场景,CDC 不仅能提供低影响、近实时的海量数据复制,同时还可确保数据在传输过程中的完整性和安全性。

# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>

相关链接:

是一款功能强大的数据实时复制软件,不仅广泛应用于传统ODS、数据仓库、数据集市及BI系统的异构平台集成,同时也提供对Cloud的全面支持;对于各种 Cloud 应用场景,CDC 不仅能提供低影响、近实时的海量数据复制,同时还可确保数据在传输过程中的完整性和安全性。

大数据处理

作为IBM重金打造的旗舰品牌,Bluemix 公有云平台是一个基于 Cloud Foundry 开源项目的平台即服务(PaaS)产品,它使得组织和开发人员能够快速而又轻松地在云上创建、部署和管理应用程序。Bluemix 为全球广大用户提供丰富的应用和服务,这其中也包括云端的 IBM Hadoop产品:。

大数据处理

通过,可以轻松将本地数据库(On Premise)的数据实时同步到位于 Bluemix 云端的 ,从而解决在大数据分析中所面对的几大问题:

  • 海量数据的处理
  • 数据来源的多样性
  • 数据分析的敏捷性
  • 数据分析的持久性
大数据处理

接下来,我们将通过以下步骤来演示如何利用CDC搭建本地数据库(例如DB2)到云端的实时同步场景。

On Premise 系统配置

1. 配置并确认当前DB2数据库正常运行。

2. 安装 for DB2(位于源端的CDC引擎,通过实时解析DB2日志来捕获增量数据变化)。

 3. 安装InfoSphere CDC for DataStage(位于目标端的CDC引擎,将源端的实时增量数据应用于目标端Hadoop平台/HDFS文件系统)。

4. 配置CDC服务器到Bluemix的内部网络连接(防火墙)。

5. 安装CDC配置管理监控平台(Management Console 和 Access Server)。

大数据处理

创建 服务

大数据处理

1. 登录Bluemix平台(要求使用Bluemix ID)。

//console.ng.bluemix.net/

2. 点击页面上方的"目录",并在页面左侧的"服务"栏中勾选"数据与分析",然后选择"BigInsights for Apache Hadoop"。

3. 进入""页面,指定相关属性并创建服务。

大数据处理

检查 服务

1. 从Bluemix的用户仪表盘中,点击新创建的"BigInsights for Apache Hadoop"服务。

大数据处理

2. 检查当前服务的有效期,通常免费使用一个月。

3. 检查当前服务的凭证及配置信息,例如用户名、密码。

启动 服务

1. 在BigInsights for Apache Hadoop页面中点击"Launch" 以启动服务。

大数据处理

2. 检查BigInsights for Apache Hadoop的主机名,端口(8443)及URL前缀(/gateway/default/),以供CDC配置使用。

大数据处理

创建CDC预订和配置表映射

1. 在CDC配置管理监控平台(Management Console)中,创建预订并运行表映射向导。

大数据处理

2. 选择目标端交付方法为 Apache Hadoop -> Web HDFS。

大数据处理

3. 选择需要复制的DB2源表,并指定目标端BigInsights的Web HDFS目录路径。

大数据处理

配置CDC预订的Hadoop属性

1. 右键点击预订,选择Hadoop Properties。

大数据处理

2. 可修改Batch Size值(生成落地文件的触发条件),并输入通过Web HDFS连接BigInsights的连接信息。

大数据处理

3. 启动预订,开始实时复制。

验证数据实时同步结果

1. 在本地DB2数据库上运行若干个交易,使得CDC所监控的源表数据产生变更。

2. 在目标端主页上点击BigSheets,便可监控到数据从源端

DB2已实时同步过来,整个过程完全自动化,低延迟且准确无误。

大数据处理

详情请咨询!

客服热线:023-66090381


标签:大数据BI数据可视化数据分析大数据处理

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn


为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
相关产品
Cognos Analytics

工业4.0优选产品 | 商业智能和绩效管理软件领导者,帮助企业成为业绩最佳的分析驱动型企业

SPSS Modeler

工业4.0优选产品 | 在历史数据中发现规律以预测未来事件,做出更好的决策,实现更好的成效

IBM BigInsights for Apache Hadoop

经济高效地存储、管理和分析大数据

IBM InfoSphere Streams

高效捕获和分析动态数据的软件平台

Watson Analytics

具备理解,学习和推理能力,实现更智能的人机互动,帮助人们做出更好的决策

title
title
扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP