企业数据仓库:架构、类型、特性、优势

企业数据仓库 (EDW)

ScienceSoft 一直在渲染一个 全方位的数据仓储服务 since 2005.

什么是企业数据仓库:核心概念

企业数据仓库 (EDW) 是一种用于构建和存储公司所有业务数据的系统 分析查询和报告. 企业数据仓库 与数据湖、ML 集成 and BI software 其实施成本开始 200,000 美元起 对于中型企业。

为了能够回答企业级和部门特定的问题,企业数据仓库从所有企业关键业务软件和外部数据源中提取数据,包括:

  • 企业资源计划(ERP)系统。
  • 客户关系管理(CRM)系统。
  • 会计软件。
  • 人才管理系统。
  • 业务流程管理(BPM)系统。
  • 内联网。
  • 该公司的网站。
  • 物联网设备管理系统。
  • 用于机器学习等的公开可用数据集。

数据仓库VS企业数据仓库

DWH

  • 存储特定业务部门的数据
  • 回答部门特定的问题

企业数据中心

  • 整合和存储所有业务部门的数据
  • 回答企业级和部门特定的问题

企业数据仓库架构

企业数据仓库是 BI 解决方案的核心要素,它是 通常结构化 具有以下组件:

数据源层

来自内部和外部数据源的数据。

集结区

用于在提取、转换和加载 (ETL) 过程下进行数据处理的临时性质的中间存储区域。 ETL 整合来自多个来源的数据,并将其转换为适合存储在企业 DWH 中的建模格式。基于云的企业数据仓库,由于其可扩展性,使用ELT(提取、加载、转换),这意味着在数据加载到企业数据仓库之后执行转换步骤。

数据存储层

集中存储,可以访问数据以进行分析(查询、报告)和共享。

分析和商业智能

企业数据仓库中的数据可以通过OLAP工具、数据挖掘工具、报表和可视化工具进行查询。

具有暂存区的企业数据仓库结构的示例架构:

示例企业 DWH 架构 - ScienceSoft

企业数据仓库类型

数据仓库解决方案共有三种部署环境类型:

  • 本地 – 公司购买所有必需的硬件和软件来构建和部署企业数据仓库并对其进行进一步维护。
  • 云托管 – 公司在云中部署企业数据仓库,无需购买和维护硬件和软件。
  • 杂交种 – 一家公司通过云托管存储库增强了本地企业数据仓库。

本地

优点:

  • 完全控制企业数据仓库。 如果出现故障,内部 IT 团队可以直接访问 DWH 的问题区域以进行硬件和软件调整。此外,数据安全仍严格由内部 IT 团队控制。
  • 完全符合要求的数据标准。 使用本地企业 DWH 更容易实现数据安全合规性。
  • 可用性。 企业数据仓库所在设施的业务用户可以有效访问数据仓库中存储的所有数据,而无需依赖互联网连接。

查看注意事项

警告:

  • 全责.连同对本地企业数据仓库的控制,公司对其实施和维护负全部责任。
  • 敏捷扩展的复杂性。 为了满足增加的存储或计算要求,您需要购买新硬件,这可能导致需要调整或更换当前软件。

隐藏

优点:

  • 可扩展性。 云数据仓库固有的敏捷性允许在不影响企业数据仓库性能的情况下进行扩展和缩减。
  • 降低成本。 没有与硬件相关的成本(硬件采购、部署、维护、管理等)。如果您选择企业数据仓库即服务,则所有软件采购和维护成本也将被消除。

查看注意事项

警告:

  • 数据合规性。 尽管大多数云提供商都具有攻击者难以渗透的安全功能,但一些行业标准和法规(FDA、HIPAA 等)仍然要求将敏感数据存储在本地。
  • 预算超支的风险。 意外增加的查询量需要额外的计算/存储资源,如果没有设置控制或限制云资源,则会导致超支。

隐藏

杂交种

优点:

  • 云灵活性。 使用近乎无限的云资源满足存储和计算要求。
  • 数据合规.确保敏感数据存储在环境中,完全符合数据合规性标准。

查看注意事项

警告:

  • DWH成本.公司必须支付本地 DWH 系统的维护成本和运营费用,同时仍需支付云 DWH 服务的订阅费。

隐藏

企业数据仓库主要功能

数据整合与管理

  • 与 ETL/ELT 的数据集成。
  • 完整和增量数据提取/加载。
  • 结构化、半结构化、非结构化数据摄取。
  • 大数据摄取。
  • 流式数据摄取。
  • 使用 SQL 加载和查询数据。

数据存储

  • 面向主题的数据存储库。
  • 时变(从历史角度看数据)数据存储库。
  • 非易失性(只读)数据存储库。
  • 粒度数据存储。
  • 元数据存储。
  • 多种环境(云、本地、混合)中的存储。

数据库性能

  • 可扩展性。
  • 自动化 DWH 维护任务——备份、复制、修补等。
  • 高级数据搜索(物化视图支持、数据索引、结果缓存等)。

安全与合规

  • 数据加密。
  • 通过用户身份验证和授权保护数据访问。
  • 粒度访问控制(行级和列级)。
  • 遵守国家、地区和行业特定的法规(例如 GDPR、HIPAA、PCI DSS)。

需要整合您的公司数据?

ScienceSoft 已准备好为您建立一个高效的企业数据仓库解决方案,让您将不同的数据源整合到一个屋檐下,并通过全公司范围的分析来增强您的决策。

我们推荐的企业数据仓库集成

推荐的企业 DWH 集成 - ScienceSoft

数据湖

将大量结构化、半结构化和非结构化数据保存在数据湖中,并将处理后的数据导出到数据湖中,以使用 ML、大数据分析等服务进行分析。

自助式分析软件

使业务用户能够根据及时和相关的报告、查询和分析做出决策,根据自己的需要定制和进行。

机器学习软件

使数据科学家能够使用来自企业数据仓库的经过处理和清理的数据构建机器学习模型,以预测公司的收入、评估财务风险、预测市场趋势和公司的业绩等。

导致企业数据仓库成功的因素

  • 企业数据仓库解决方案与业务目标的合规性,企业数据仓库功能的经济合理性。
  • 架构灵活性,可在不影响其性能的情况下进一步发展企业数据仓库。
  • 企业数据仓库维护和管理任务(ETL 监控、管理数据质量和数据安全等)的自动化,以降低运营成本。
  • 企业数据仓库的稳定性和可用性,可在集中位置快速访问关键业务数据。
  • 企业数据仓库的高安全性和数据保护标准。
  • 与数据源的开箱即用集成;以最常见的编程语言编写的 SDK,可降低开发成本。

企业数据仓库的主要优势

缩短洞察时间 由于整合的公司数据已准备好进行分析。

提高生产力 企业用户和 消除通信瓶颈 跨部门快速、轻松地访问结构化和高质量数据。

节省时间 的 IT 人员和数据分析师 由于自动化数据管理程序(数据收集、转换、清理、结构化、建模等)。

增强的数据准确性、一致性和安全性 由于集中式数据治理方法。

打下坚实的基础 高级分析计划。

数据素养的扩展 整个企业。

我们推荐的 EDW 解决方案

选定的平台被识别 企业数据仓库解决方案的领导者 (福雷斯特浪潮, Gartner 魔力象限),完全符合企业级 DWH 的关键标准:计算和存储资源的几乎即时可扩展性(由于基于云的特性)、高性能和可用性(高达 99.99% 的正常运行时间)、高级安全性、等等。

Azure 突触分析

描述

一种基于节点架构的可扩展数据仓库解决方案,它采用并行查询处理来实现快速查询响应时间和高查询吞吐量。 Azure Synapse 统一了 Azure Data Lake 存储和 SQL 数据仓库,允许直接查询原始数据并结合关系和非关系数据以获得更深入的分析洞察力。

数据安全

动态数据屏蔽、内置认证、授权、数据加密等。

价钱

  • 数据存储 122.88 美元 每 TB/月 ($ 0.17/TB/小时)。数据存储大小包括您的 DWH 数据和 7 天增量快照存储.
  • 查询性能 定价取决于服务水平和地区。

亚马逊红移

描述

一种可扩展的数据仓库服务,由于具有大规模并行处理、列式数据存储、查询优化器、结果缓存等功能,可实现出色的性能。借助 Redshift Spectrum 功能,可以直接从 Amazon 查询数据以实现数据湖分析.

数据安全

端到端加密、精细访问控制、网络隔离等。

价钱

价格根据存储数据量和节点数收费。按需定价选项 0.25 美元/小时起 (每小时费率基于集群中节点的类型和数量)。

谷歌大查询

描述

一个可扩展的数据仓库解决方案,支持 Dremel 技术,旨在即时对海量结构化数据集运行查询。

数据安全

数据加密、谷歌的虚拟私有云策略控制等。

价钱

存储成本$0.02/GB/月 ($0.01/GB/月用于长期存储)。

流式插入: $0.01/200 MB。

查询性能, 2 个订阅选项可用:

  • 现收现付 ($5/TB,第 1 个 TB/月免费)。
  • 统一定价(从 10,000 美元/ 月,专门预留 500 个处理单元)。

EDW 实施

在提供 DWH 解决方案方面拥有 16 年以上的实践经验,与全球技术领导者(包括微软、亚马逊和甲骨文)合作,我们知道如何提供量身定制的 EDW 解决方案,帮助我们的客户实现他们的战术和战略业务目标。

EDW 咨询和实施

为帮助您建立 EDW 解决方案,我们涵盖:

  • 业务需求分析和需求获取。
  • EDW 实施策略设计。
  • EDW 配置和开发。
  • EDW 集成。
  • 数据管理程序。
  • 用户培训。
  • EDW 支持和管理(如果需要)。

EDW 即服务

为了您避免 EDW 的开发、实施和管理,我们定制了一个企业数据仓库,并在订阅费的基础上出租给您。

ScienceSoft 作为可靠的 DWH 实施合作伙伴

当我们第一次联系 ScienceSoft 时,我们需要有关创建集中分析解决方案以实现全公司透明分析和报告的专家建议。经过一系列采访,ScienceSoft 的顾问分析了我们的工作量、文档和现有基础设施,并为我们提供了清晰的项目路线图。

他们每天都与我们保持联系,这使我们能够及时调整工作范围并即时实施新要求。此外,该团队每隔一周进行一次演示,以便我们确保系统符合我们的业务需求。

Heather Owen Nigl,Alta Resources 首席财务官

关于科学软件

ScienceSoft 是一家全球 IT 咨询和 IT 服务公司,总部位于美国德克萨斯州麦金尼。自 2005 年以来,我们提供全方位的 数据仓储服务, 包含 咨询、实施、迁移和 数据即服务 支持我们客户的敏捷和基于数据的决策。通过 ISO 27001 认证,我们保证与我们的合作不会对我们客户的数据安全构成任何风险。