彩票走势图

Qlik资讯|在预算有限且资源很少的环境中,如何启动数据湖?

原创|行业资讯|编辑:况鱼杰|2020-06-24 13:52:17.327|阅读 160 次

概述:Qlik-TDWI-AWS联合网络研讨会名为“人工智能和分析的真相之源:优化数据湖管道以实现更快的业务洞察力”,是由TDWI高级分析研究副总裁Fern Halper和AWS合作伙伴解决方案架构师Dilip Rajan共同组织。该网络研讨会重点讨论了托管数据湖创建对于AI和ML程序成功的重要性,并讨论了构建高性能数据湖的关键考虑因素。

# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>

相关链接:

很高兴与大家共同提出一个有关许多组织的主题的话题,即如何更快地获得人工智能(AI)和机器学习(ML)计划的回报。各行各业的公司都在AI和ML功能方面进行了大量投资,但是在获取及时可靠的见解方面继续付出的努力却是可信赖数据的单个版本的可用性,可以连续使用这些数据。


Qlik-TDWI-AWS联合网络研讨会名为“人工智能和分析的真相之源:优化数据湖管道以实现更快的业务洞察力”,是由TDWI高级分析研究副总裁Fern Halper和AWS合作伙伴解决方案架构师Dilip Rajan共同组织。该网络研讨会重点讨论了托管数据湖创建对于AI和ML程序成功的重要性,并讨论了构建高性能数据湖的关键考虑因素。

该网络研讨会在多个地区得到广泛观察,产生了100多个问题。在下面回答最常见的五个最常见和/或最有趣的问题。

您能解释一下数据仓库和数据湖之间的区别吗? 哪个更好?

几乎每个讨论中都会继续提出这个问题。尽管数据仓库和数据湖都用于存储和管理数据,但这两者是完全不同的体系结构方法。

数据仓库是结构化的相关数据的存储库,在存储时定义了数据使用的目的。数据仓库通常充当组织的记录系统,旨在支持高级商业智能(BI)和报告计划。 数据仓库通常不是设计用来处理原始,半结构化或非结构化数据的重要来源,这些数据可供分析使用。

另一方面,数据湖存储大量的所有数据-结构化,半结构化或非结构化。没有数据被拒绝。数据是从源系统加载的,主要是原始格式,在存储时没有定义的目的,这使得数据湖非常适合数据探索/实验,AI,ML和数据科学计划。请参阅下表,以了解数据湖和数据仓库之间的更多区别。

尽管数据仓库和数据湖对于企业数据管理都至关重要,但它们各自都有自己的优势和局限性。然后开始看到Data Lakehouse概念的出现,其中Data Warehouse和Data Lake平台将其功能融合在一起,目的是提供更加统一的架构,为所有分析计划提供单一的事实来源,包括 BI,流分析,机器学习和数据科学。

具有多种数据架构的公司如何在云环境中合理化和现代化其环境? 我们有一个传统的本地数据仓库和一个基于云的数据湖。

Qlik 的客户正在建立更小,更专注于主题领域的云数据仓库。还可以看到客户利用其云数据湖作为预阶段提取阶段,将原始数据降落到数据湖中,然后将这些数据的子集提取到云数据仓库中。没有一种方法适合每种组织或业务场景,这就是为什么Qlik Data Integration旨在在所有主要云平台上随着客户需求的发展跨多种架构构建支持客户的原因。

我们有许多系统,它们以多种不一致的格式存储数据。 我们如何使用您的功能使中央系统中的各个系统的数据保持一致? 另外,您如何支持典型的ELT操作(例如匹配/合并等)? 这需要自定义编码吗? 

Qlik Data Integration自动执行数据标准化,原始更改数据文件的格式和合并,以创建数据的完整历史记录,而无需自定义编码。该解决方案还允许您通过简单,用户友好的基于Web的控制台将数据源中的数据管道自动化到您选择的目标系统。 无需手动脚本。

将信息迁移到一个平台平均需要多长时间?您的解决方案需要多少费用?您能否提及一些客户以及他们如何从您的解决方案中受益?

Qlik Data Integration解决方案的变更数据捕获和复制组件可以在不到一个小时的时间内建立和配置并移动数据。将数据从特定源迁移到目标端点所花费的时间取决于要移动的数据量。定价根据客户的特定需求而有所不同,例如客户希望从中复制数据的源数量,源系统的CPU内核以及目标端点的数量。

Qlik Data Integration在全球近2500家客户中使用,近一半的《财富》 100强公司使用该平台来优化其数据管道。Qlik 的客户报告了许多好处,包括降低了计算成本,缩短了部署时间表,降低了构建成本并加快了决策速度。实际上,全球最大的投资管理公司之一Vanguard在2019年的AWS re:Invent上公开分享了它如何利用Qlik解决方案将大型机交易复制到AWS云中,延迟为一到两秒,从而支持超过每小时更新6000万行。另一个客户Ferguson是美国最大的管道和HVAC设备供应商之一,该公司报告说,能够使用Qlik解决方案在短短六个月内迁移27个数据库的功能,而以前该解决方案过去只花了两年时间才迁移了两个。

在预算有限且资源很少的环境中,如何启动数据湖?

从存储和计算的角度来看,云是一个很好的起点,因为它为您提供了购买所需资源的灵活性。Qlik Data Integration支持所有主要的云平台提供商,包括AWS,Microsoft Azure,Google Cloud Platform以及Cloudera和Databricks,使您能够完全灵活地选择自己选择的合作伙伴。此外,Qlik 完全自动化了将近实时数据更改结合在一起所需的ELT代码生成过程,从而从基于Hadoop的数据湖实施中的编码任务中释放了昂贵而稀缺的数据工程和编程资源。还可以自动化数据管道设置,配置和管理的整个过程,因此您的资源可以专注于更高价值的分析任务。

立即试用Qlik

关于Qlik

Qlik 一直重视数据的作用。Qlik 提供端到端、实时数据集成和分析解决方案,帮助组织访问所有数据并将其转换为价值。帮助公司以数据为导向,更深入地了解客户行为,重新设计业务流程,发现新的收入来源,并平衡风险和回报。

今年4月,Qlik 发布了新的包装和使用项目,为客户提供更多的选择,并使云平台上的分析技术变得更简单、更容易也更符合成本效益。新的程序包括支持 SaaS 和 Client-Managed 选项的 QlikSense Enterprise 软件包,以及为 QlikView 客户提供的 Qlik Sense Enterprise SaaS 直接途径,使其能够在云中托管 QlikView 文档。

Qlik数据分析与管理平台


LEAD WITH DATA

qlik


标签:

本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@pclwef.cn


为你推荐

  • 推荐视频
  • 推荐活动
  • 推荐产品
  • 推荐文章
  • 慧都慧问
扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP