云计算成为数据仓库的新重心

　　研究机构IDG公司最近发布的一份调查报告显示，虽然组织数据向云平台的大规模迁移在2020年没有开始，但今年发展迅速。大多数组织计划在2021年扩大对云计算数据仓库和数据湖的投资。然而，围绕数据管理和ETL的许多问题仍然存在。

　　调查显示，77%的IT决策者计划在未来6至12个月内迁移到云计算数据仓库或扩展现有的云计算数据仓库。另有21%的信息技术决策者计划在未来24个月内扩展他们的云数据仓库。只有1%的IT决策者表示没有迁移或扩展云数据仓库的计划。

　　这些调查数据非常出色，尤其是考虑到只有38%的IDG调查参与者(商业智能、分析或数据科学领域的高管和高层决策者)拥有云计算数据仓库。根据调查，30%的组织运行内部数据仓库，而23%的组织使用非云数据仓库。

　　显然，在2021年的数据分析计划中，云计算对各种规模的组织都有着重要的影响。比如雪花、AWS、MicrosoftAzure、GoogleCloud、Databrickss等提供的云计算数据仓库，市场份额正在增加。除了这些的云计算数据仓库厂商，大部分开发数据仓库用于内部部署的厂商也在这方面提供类似的产品。

　　根据ETL供应商Matillion公司委托IDG公司进行的调查，虽然云计算数据仓库显然发展迅速，但不到一半的用户计划使用云计算数据仓库。

　　IDG调查显示，云数据仓库部署正在增长。

　　调查显示，57%的组织将采用内部部署与云计算数据仓库相结合的数据管理策略，22%的组织将采用云数据仓库策略。在采用云数据仓库战略的公司中，只有21%的组织使用单一云平台。

　　这个调查有一个类似的关于数据湖的故事，数据湖是一个无限可扩展且廉价的数据存储，在过去的十年里接手了Hadoop的责任。根据IDG的调查，虽然目前只有16%的组织在使用数据湖，但高达56%的组织表示他们将来会使用数据湖，而另外26%的组织正在考虑使用数据湖。只有2%的组织表示他们不考虑使用数据湖。

　　尽管许多组织正在将大量数据迁移到各种云存储库中，但云计算技术不应被视为解决所有数据管理挑战的灵丹妙药。根据IDG的调查报告，数据分析从业者需要一周的时间来获得一个给定的数据集进行分析。一般来说，准备和总结数据进行分析需要将近一半的时间(45%)，另外30%的时间用于探索和训练大型模型。只有25%的时间花在部署到生产中的模型上。

　　Matillion的产品总监大卫·朗顿(DavidLangton)对最初的分析陷阱越来越多并不感到惊讶。他说:“造成这类问题难以解决的原因很多。第一点也是最重要的一点是，组织能够生成的最有趣的分析和报告不是来自单一的数据源，而是必须结合起来。”

　　他说，云计算数据仓库结合有趣的数据，为用户带来有利可图的见解。他说，一些客户有在内部为这项操作部署设施的经验，他们只是在利用云计算数据仓库提供的规模，而其他客户现在才开始参与。

　　朗顿说，“我们过去常常在内部部署设施来做所有这些事情。我们现在正在重新构思、重新配置工具，并将大量数据转移到云平台。一些客户很清楚需要实现什么，现代化和以新的方式实现什么。但也有很多新客户没做过。”

　　他说，客户选择在ETL/ELT工具上做出许多选择，以在云存储中移动和转换他们的数据。他注意到了最近的一个趋势，就是供应商将主要集中在提取和装载上，把转型留给数据仓库供应商。一些ETL/ELT厂商也支持转换，但只提供一般的转换。

　　以Matillion为例，该公司旨在提供一个功能齐全的ETL工具，不仅可以提取和加载数据，还可以支持各种内部部署和云计算数据仓库系统的数据库内转换。他说，保持跨多个数据目的使用多种不同数据类型的灵活性是Matillion提供的产品的一个重要价值。

　　朗顿说:“这对我们来说是一个特别的地方。很多ETL工具提供者说他们有一个读写数据的标准适配器，我们的转换逻辑在中间，这样的好处是我们只需要写一次转换逻辑。我们为每个支持的目标系统编写转换逻辑来优化它。所以我们会在雪花上按方式操作，或者在红移上按方式操作，而不是把它们都当成黑盒，它们的工作方式都是一样的。”

　　灵活性很重要，因为采用了许多不同的方法。一些数据仓库使用读取模式方法(Hadoop就是这样设计的)，而另一些数据仓库在数据写入数据库时强制使用模式。事实上，许多云计算数据仓库都配备了查询处理功能，允许它们查询驻留在云计算数据湖中的数据，这也加剧了混乱。支持JSON数据类型的各种方法也是如此，通常在使用SQL语言查询JSON数据类型之前必须先对其进行扁平化。

　　总的来说，云计算分析中的工具和技术有了很大的改进，这促进了实验的发展，因为客户找到了适合他们的方法。朗顿说，使用ETL/ELT工具在中间定义数据的客户的优势是，他们可以轻松地更改数据仓库。

　　他说:“我们越来越多地看到人们在成为客户后迁移并尝试不同的数据仓库，并希望尝试采用另一种数据仓库。显然，我们有办法帮助迁移。但这确实表明，该组织已经全力以赴，在这些决策上投入巨资，希望在几年内更新和尝试新的解决方案。”