Talend 教程 – 什么是 Talend ETL 工具？
Prafulla Ranadive Talend 教程摘要
在本 Talend 教程中，您将从零开始学习所有概念。本教程涵盖了从基础到高级的主题，例如 Talend 是什么、Talend 工具的历史、Talend 大数据、使用 Talend 工具进行数据集成的好处、Open Studio 架构以及 Talend Open Studio 扩展。本 Talend 教程完全免费。
什么是 Talend？
Talend 是一个开源软件平台，提供数据集成和数据管理解决方案。Talend 专注于大数据集成。该工具提供云、大数据、企业应用集成、数据质量和主数据管理等功能。它还提供了一个统一的存储库来存储和重用元数据。
它有开源和付费两个版本。它是云计算和大数据集成的最佳工具之一。
Talend 的历史
| 年份 | 里程碑 |
|---|---|
| 2002 | 研发 |
| 2005 | 公司成立 - 第一轮融资，由 AGF Private Equity 和 Galle Partners 投资 |
| 2006 | Open Studio V1.0 - 启动美国业务 |
| 2007 | 集成套件/完成第二轮融资 |
| 2008 | Open Profiler / 数据质量 |
| 2009 | Integration Suite RTx/MPx / MDM 收购 |
| 2010 | IDM 社区版 / MDM 企业版 |
| Open Studio V | |
| 2014 | OW2 最佳项目 |
| 2015 | 被评为引领潮流的产品 |
| 2016 | DBTA 100 |
| 2017 | Gartner 数据集成工具魔力象限 |
| 2021 | Stitch 与 Amazon Redshift 控制台的原生集成 |
Talend 产品套件
Talend 产品套件包含以下讨论的 3 个主要产品
Talend 大数据
Talend 工具可以利用图形化工具和向导轻松实现大数据集成的自动化。这使得组织能够开发一个环境，以便轻松地与 Apache Hadoop、Spark 和NoSQL 数据库一起工作，处理云端或本地的作业。
如今，许多公司正在使用 Hadoop 来节省成本和提高性能。公司通常在使用企业解决方案时会花费昂贵的计算时间。借助 Hadoop，可以对数据进行转换、清理、丰富和集成，以应对更高的分析工作负载。
Talend Sandbox 包含四个用例
- 数据仓库优化
- 点击流分析
- 社交媒体情感分析
- Apache 网站日志分析。
您可以创建自己复杂的用例。
Talend 对大数据 Hadoop 的好处
- 通过在图形界面中进行安排和配置，提高大数据作业设计的效率。
- 增加数据质量、可扩展性和管理功能
- MapReduce 功能允许更快地进行并行数据处理
- 共享存储库和远程部署
- 通过数据清洗实现数据质量和分析
- 通过图形用户界面提高大数据作业设计的效率
- 原生支持 HBase、HDFS、Hive、SqoopPig
- 嵌入 Hortonworks Data Platform 中
数据集成
Talend 数据集成软件工具拥有一个开放、可扩展的架构。它能更快地响应业务需求。该工具提供比手动编码更快地开发和部署数据集成作业的能力。
它使您能够轻松地将所有数据与其他数据仓库集成，或在系统之间同步数据。数据集成涉及将存储在不同来源的数据结合起来，并为用户提供这些数据的统一视图。它帮助您管理各种 ETL 作业，并为用户提供简单的自助式数据准备功能。
Talend 在数据集成方面的好处
敏捷集成：使用超过1000个开箱即用的连接器、基于Eclipse的图形工具以及性能优化的代码生成器，无需编写代码即可更快地响应业务请求。
团队生产力：利用强大的版本控制、影响分析、测试和调试以及元数据管理进行协作。
易于管理：该工具提供先进的调度和监控功能。它提供带有仪表盘和集中控制的实时数据集成，以便在多个节点上快速部署。
在竞争中保持领先：如果您使用此工具，您将不必等待使用最新、最酷的数据集成功能。
支付最低的拥有成本：Talend 工具提供基于订阅的定价模式。您只需为使用 Talend Studio 的开发人员数量付费，从而与固定许可证费用相比节省了资金。
集成云
您可以通过使用高度可扩展且安全的云集成平台即服务（iPaaS）来加速云端和本地数据集成项目。Talend 集成云工具提供连接性、内置的数据质量和原生代码生成功能。
Talend 是一个安全的云集成平台，允许 IT 和业务用户连接共享的云端和本地资源。它释放了云设计作业的能力，因为它可以在云中进行管理、监控和控制。
接下来，在这个带有示例的 Talend 教程中，我们将了解 Talend 集成云相对于其他工具的优势。
集成云的好处
| Talend 集成云 | 其他工具 |
|---|---|
| 900多个拖放组件 | 手动编码，效率低下 |
| 生成优化代码 | 需要专业技能 |
| 协作与管理 | 难以维护 |
| 金牌支持 (SLAs) | 有限的支持 |
什么是 Talend Open Studio？
Talend Open Studio 是一个用于数据集成、数据分析、大数据、云集成等的开放架构。
它是一个图形用户界面环境，提供超过1000个预构建的连接器。这使得执行诸如转换文件、加载数据、移动和重命名文件等操作变得容易。它允许每个组件定义复杂的过程。
集成作业是通过配置 Talend 组件而不是编码来创建的。此外，作业可以在开发环境中运行，也可以作为独立脚本执行。
使用 Talend Open Studio 的好处
- 它将开发集成所需的时间从数周和数月缩短到数天甚至数小时。
- 它转换和更新来自各种来源的数据。
- 轻松监控和管理复杂的部署
- 您可以拥有任何解决方案中最低的拥有成本
- Talend Open Source 可以轻松地组合、转换和更新来自各种来源的数据。
- Talend Open Source 工具继承了编程平台的潜在能力。
- 广泛的源/目标连接器选择使其成为整个行业的最佳选择。
- 具备强大的多模式日志文件/对账报告（数据流/迁移后）能力
| 传统ETL | Talend |
|---|---|
| 专有引擎 | 开放 |
| 难以扩展大数据 | 生成原生代码 |
| 昂贵 | 低总拥有成本 |
Talend Open Studio - 架构
现在，在这个 Talend Open Studio 教程中，我们将学习 Talend Open Studio 的架构。以下是 Talend Open Studio 架构的 3 个关键组件
客户端
客户端模块包括一个或多个 Talend Studio 和 Web 浏览器，它们可以使用相同或不同的机器。Talend Studio 允许您执行数据集成过程，无论数据量和过程复杂性如何。
Talend 服务器
Talend 服务器是另一个重要模块，它包括一个基于 Web 的应用程序服务器。它支持所有项目的管理和维护。它在管理数据库中包含用户帐户、访问权限和项目授权。
数据库
数据库组件包括管理、审计和监控数据库。该组件有助于管理用户帐户、访问权限和项目授权。审计数据库有助于评估作业的不同方面，以开发一个理想的面向过程的决策支持系统。
工作区
在 Talend 中，工作区是您存储所有项目文件夹的目录。但是，为此，您每个连接（存储库连接）至少需要一个工作区目录。如果您不想使用默认目录，Talend 允许连接到各种工作区目录。
存储库
存储库是 TOS 工具用来收集数据以解释业务模型或设计作业的存储区域。
Talend Open Studio 扩展
现在，在这个 Talend ETL 教程中，我们将学习 Talend Open Studio 的扩展
- Talend 集成套件
- Talend 按需
- Talend 数据质量
- Talend ESB
- Talend 大数据集成
结论
- Talend 是一个开源软件平台，提供数据集成和数据管理解决方案
- Talend 软件可以通过图形化工具和向导轻松实现大数据集成的自动化
- Talend 产品套件包括 3 个主要产品：1) Talend 大数据 2) 数据集成 3) 集成云
- Talend 为大数据和数据集成提供数据完整性、数据映射和批处理功能。
- Talend ETL 工具通过在图形界面中进行组织和配置，提高了大数据作业设计的效率
- Talend 数据集成软件工具具有开放、可扩展的架构。它能更快地响应业务请求。
- Talend 集成云工具提供连接性、内置数据质量和原生代码生成功能。
- Talend Open Studio 是一个用于数据集成、数据分析、大数据、云集成等的开放架构。
- Talend Studio 的五个扩展是：Talend 集成套件、Talend 按需、Talend 数据质量、Talend ESB 和 Talend 大数据集成
