数据湖 vs 数据仓库 – 它们之间的区别

数据湖与数据仓库的关键区别

• 数据湖存储所有数据，无论其来源和结构如何，而数据仓库则以定量指标及其属性存储数据。
• 数据湖是一个存储库，可以存储大量的结构化、半结构化和非结构化数据，而数据仓库是技术和组件的混合体，允许数据得到战略性利用。
• 数据湖在数据存储后定义模式，而数据仓库在数据存储前定义模式。
• 数据湖使用 ELT（提取、加载、转换）过程，而数据仓库使用 ETL（提取、转换、加载）过程。
• 比较数据湖与数据仓库，数据湖非常适合那些想要进行深入分析的人，而数据仓库则适合运营用户。

什么是数据湖？

数据湖是一个存储库，可以存储大量结构化、半结构化和非结构化数据。它是一个存储各种类型数据的场所，数据以原生格式存储，没有账户大小或文件的固定限制。它提供了大量的数据量以提高分析性能并实现原生集成。

数据湖就像一个巨大的容器，非常类似于真实湖泊和河流。就像湖中有多个支流汇入一样，数据湖也有结构化数据、非结构化数据、机器对机器数据、实时流动的日志。

什么是数据仓库？

数据仓库是技术和组件的混合体，用于数据的战略性利用。它收集和管理来自不同来源的数据，以提供有意义的业务见解。它是大量信息的电子存储，专为查询和分析而非事务处理而设计。它是将数据转化为信息的过程。

接下来，我们将学习数据仓库与数据湖的关键区别。

数据湖与数据仓库的区别

以下是数据湖与数据仓库的关键区别：

参数	数据湖	数据仓库
存储空间	在数据湖中，所有数据都存储其中，无论来源和结构如何。数据以原始形式存储。只有在使用时才会进行转换。	数据仓库将包含从事务系统提取的数据，或包含定量指标及其属性的数据。数据经过清洗和转换。
历史	数据湖中使用的大数据技术相对较新。	与大数据不同，数据仓库概念已被使用数十年。
数据捕获	从源系统捕获各种类型的数据以及结构化、半结构化和非结构化数据，并以原始形式保存。	捕获结构化信息，并将其组织成数据仓库目的定义的模式中。
数据时间线	数据湖可以保留所有数据。这不仅包括正在使用的数据，还包括将来可能使用的数据。此外，数据可以永久保存，以便回溯历史进行分析。	在数据仓库开发过程中，大量时间用于分析各种数据源。
用户	数据湖非常适合进行深度分析的用户。这些用户包括数据科学家，他们需要具有预测建模和统计分析等功能的分析工具。	数据仓库非常适合运营用户，因为它结构良好，易于使用和理解。
存储成本	与在数据仓库中存储数据相比，大数据技术中的数据存储成本相对较低。	在数据仓库中存储数据成本更高且耗时。
任务	数据湖可以包含所有数据和数据类型；它使用户能够在转换、清洗和结构化处理之前访问数据。	数据仓库可以为预定义的数据类型提供预定义问题的洞察。
处理时间	数据湖允许用户在数据被转换、清洗和结构化之前访问数据。因此，与传统数据仓库相比，它使用户能够更快地获得结果。	数据仓库为预定义的数据类型提供预定义问题的洞察。因此，对数据仓库的任何更改都需要更长的时间。
模式位置	通常，模式在数据存储后定义。这提供了高敏捷性和易于捕获数据，但在流程的最后需要进行工作。	通常在数据存储前定义模式。这在流程的开始就需要工作，但可以提供性能、安全性和集成性。
数据处理	数据湖使用 ELT（提取、加载、转换）过程。	数据仓库使用传统的ETL（提取、转换、加载）过程。
抱怨	数据以原始形式存储。只有在使用时才会进行转换。	对数据仓库的主要抱怨是其无法更改，或者在尝试更改它们时面临的问题。
主要优势	它们整合不同类型的数据，以提出全新的问题，因为这些用户不太可能使用数据仓库，因为他们可能需要超越其功能。	组织中的大多数用户都是运营用户。这类用户只关心报告和关键绩效指标。

数据湖概念

数据湖是一个大型存储库，它以原始格式保存大量原始数据，直到需要时为止。数据湖中的每个数据元素都有一个唯一的标识符，并标记了一组扩展的元数据标签。它提供了广泛的分析能力。

数据仓库概念

数据仓库将数据存储在文件或文件夹中，这有助于组织和使用数据以做出战略决策。该存储系统还提供原子数据和汇总数据的多维视图。需要执行的重要功能是：

1. 数据提取
2. 数据清理
3. 数据转换
4. 数据加载和刷新