如何选择最佳自动化测试工具？

在文章测试流程改进中，你了解了项目 Guru99 Bank 的改进点。它使用自动化测试而不是手动测试。但团队成员可能会问你——

回答这个问题很有挑战性，因为有许多因素需要考虑

• 你希望通过软件工具支持你的测试活动，但你不了解市场上现有的工具
• 哪种类型的工具最符合需求和项目预算？
• 团队中谁有能力在使用工具后操作它？

软件测试工具选择的重要性

任何测试自动化的成功都取决于为自动化选择正确的工具。为你的项目选择“正确”的测试工具是实现项目目标的最佳方法之一。以下示例将向你展示选择测试工具的好处

在 Guru99 Bank 项目中，为了节省测试工作量，项目团队决定使用自动化测试工具进行测试执行。经过多次会议，你的团队为项目选择了一个合适的工具。

一个月后，你收到了项目团队关于这个工具的报告

结果非常棒。新的自动化工具使测试生产力翻倍。这意味着我们节省了 50% 的测试执行成本。如果你有兴趣探索更多项目选择，请查看此自动化测试工具列表。

这是在项目中使用测试工具的好处的一个例子。选择正确的测试工具有助于提高项目生产力并节省项目成本。

测试工具类型

测试经理在选择测试工具时可以考虑多种类型的测试工具。

开源工具

开源工具是指源代码被公开发布供使用和/或修改其原始设计，免费的程序。

开源工具几乎适用于测试过程的任何阶段，从测试用例管理到缺陷跟踪。与商业工具相比，开源工具的功能可能较少。

商业工具

商业工具是为销售或商业目的而生产的软件。

商业工具比开源工具提供更多供应商支持和功能。

定制工具

在某些测试项目中，测试环境和测试流程具有特殊性。没有开源或商业工具能够满足要求。因此，测试经理必须考虑开发定制工具。

示例：你希望为 Guru99 Bank 项目找到一个测试工具。你希望此工具能够满足项目的一些特定要求。

自动化可行性分析

回到上面的例子，项目团队决定开发一个能够满足项目要求的定制工具。假设他们需要自动化 100 个测试用例，他们估计需要 5 天时间开发一个能够自动化所有这些测试用例的工具。

这是他们工作的结果

如上述情况，问题是测试工具无法自动化测试规范中的所有测试用例。这意味着并非所有应用程序功能都可以使用测试工具进行彻底测试。

如果被测应用程序的功能频繁变化或过于复杂，则很难为所有应用程序功能创建自动化测试，因为每个工具都有其自身的局限性。

如果你不想遇到这种情况，在选择测试工具之前，你必须分析测试用例并决定哪些测试用例应该自动化，哪些不应该。这就是自动化可行性分析活动。

自动化可行性分析是测试中非常重要的贡献者。在此分析中，你需要检查被测应用程序是否符合自动化测试的条件。

你需要考虑的一些因素

要了解有关这些因素的更多信息，你可以使用本文中包含的清单

如何选择最佳自动化测试工具

为了选择最合适的测试工具，测试经理应遵循以下工具选择流程

步骤 1) 确定工具要求

如果你不知道自己在寻找什么，如何选择测试工具？

你需要精确识别你的测试工具要求。所有要求都必须由项目团队和管理委员会记录和审查。

考虑以下示例

步骤 2) 评估工具和供应商

在确定工具要求后，测试经理应

• 根据项目要求分析市场上可用的商业和开源工具。
• 创建一份最符合你标准的工具候选名单
• 你应考虑的一个因素是供应商。在做决定时，你应该考虑供应商的声誉、售后支持、工具更新频率等。
• 通过试用和启动试点项目来评估工具的质量。许多供应商通常会提供其软件的试用版供下载

步骤 3) 估算成本和效益

为确保测试工具对业务有益，测试经理必须平衡以下因素

在购买或构建工具之前，应进行成本效益分析

示例：在花费大量时间调查测试工具后，项目团队为 Guru99 Bank 网站项目找到了完美的测试工具。评估结果表明该工具可以

• 将测试执行的当前生产力翻倍
• 将管理工作量减少 30%

然而，在与软件供应商讨论后，你发现该工具的成本太高，与其能为团队带来的价值和效益相比不划算。

在这种情况下，工具的成本与效益之间的平衡可能会影响最终决定。

步骤 4) 做出最终决定

要做出最终决定，测试经理必须

• 对工具有强烈的认识。这意味着你必须了解工具的优点和缺点
• 平衡成本和效益。

即使花费数小时阅读软件手册和供应商信息，你可能仍需要在实际工作环境中试用该工具，然后才能购买许可证。

你应该与项目团队和顾问开会，以更深入地了解该工具。

你的决定可能会对项目、测试流程和业务目标产生不利影响；你应该花足够的时间认真思考。

选择测试管理工具时要考虑的事项

市面上选择众多，在选购测试管理工具时很容易感到困惑。这是一份公正的指南，旨在帮助你根据你的需求选择最佳工具。

在本指南中，我将为你提供选择测试管理工具时最重要的但经常被忽视的 5 个参数。但在开始之前，让我重申一下——

不要将苹果和橘子进行比较

如果你的预算不允许，将每月 30 美元的 SaaS 工具与功能齐全的 6000 美元商业工具进行比较是没有意义的。首先根据预算过滤你的工具列表很重要。如果预算有限，开源是一个不错的选择。虽然商业工具价格昂贵，但它们提供强大的支持，并且易于使用，并提供了大量培训材料。

接下来你应该计算的是你的许可证成本。为此，你需要估算测试完成的持续时间以及你选择的测试方法，这将帮助你确定哪种模式适合你的预算，例如你是想按注册用户、并发用户还是持久用户付费。通常，持久或一次性成本较高，因为它是资本支出。对于某些软件，你需要运行时许可证。并非所有供应商都支持运行时许可证，因此如果你打算安装到不同的机器上，你还需要考虑运行时许可证费用。

一旦你根据预算筛选了你的选择，以下是比较测试管理工具的 5 个非常重要的参数——

技巧 #1 测试管理工具应提高生产力

测试团队正面临着跟上快速技术变革和在多个平台（浏览器和设备）上进行测试需求的严峻挑战。由于手动测试占据了大部分测试时间，解决此挑战的一种方法是加强自动化。但还有其他领域可以提高工具的效率，包括有效的测试实验室/数据管理、发布管理、富有洞察力的报告等。选择正确的测试管理工具可以在很大程度上帮助提高这些参数。

让我们从生产力的角度来看看测试管理工具需要什么——

测试信息的粒度

测试管理工具应包含与测试过程相关的详细信息报告。例如，在测试用例失败时，了解测试在哪一步失败总是很有帮助的，而不是知道整个测试用例失败。无论在测试期间应用了哪些微小更改，测试管理工具都应将这些更改通知相应的团队成员。为了便于跟踪和快速行动，它还应保留更改的审计跟踪，包括测试用例的完整版本控制。此外，测试管理工具应将测试结果保存为会话，并且必须能够比较测试运行结果。标准测试管理工具期望的其他功能包括记录测试策略、规划测试执行、创建缺陷、链接用户故事等。视频上传功能和 API 支持将锦上添花。

发布管理跟踪 (DevOps)

软件发布很复杂，有多种活动（例如构建版本跟踪、团队协作和发布透明度）同时进行。一个好的测试管理工具必须具有强大的发布管理跟踪能力，能够记录被测试和发布的软件列表，这样就不会与其他测试工件冲突。此外，它应该能够在一个环境中管理所有项目工件。

测试管理工具必须为所有利益相关者提供单一的需求视图。与利益相关者的协作确保捕获正确的 S需求。该工具应能够跟踪其他开发资产和需求之间的链接。

对于分布式团队，它应该提供一个单一的共享存储库，以协作和共享需求，评估链接的缺陷并了解它们与测试的关系。

为了确保质量和一致性，你的测试管理工具必须强制执行标准化。

报表

如果你的测试团队知道发布中有多少缺陷是未解决的，但不知道解决这些缺陷需要多长时间，那将是一团糟。为了监控测试活动，测试工程师高度依赖测试管理工具生成的报告。可靠的测试管理工具应在其报告中提供以下信息，例如测试计划进度、测试用例编写状态、测试用例失败和通过、按测试套件划分的测试状态、按区域划分的测试状态、待自动化测试用例等。

你的测试管理工具应允许完全可见的开发人员活动和生命周期流程，从需求管理到测试和缺陷修复。

一个好的测试管理工具应包含以下属性

• 图表和仪表板应提供有关有多少自动化测试已运行或等待执行的见解
• 应突出显示常见的测试属性，例如通过/失败/跳过的测试用例数量、用户工作量等。
• 决定每个版本的准备情况
• 查看你的自动化测试运行以及手动测试结果

技巧 #2 敏捷支持

当前市场对敏捷的需求正在增长，而且每天都在扩大。你的测试管理工具支持敏捷方法至关重要。在敏捷中，需求是可变的并逐步完成，你的测试管理工具应该能够适应这些需求。你选择的敏捷测试管理工具应促进开发人员、测试人员和其他利益相关者之间的深度合作（敏捷的基本原则）。

敏捷测试管理工具应支持

• 创建用户故事
• 估算
• 冲刺积压规划
• 速度图表和其他报告等
• Scrum 和 Kanban

在敏捷环境中，如果你正在关注每次迭代的缺陷率变化，测试管理工具的测试运行比较将是富有成效的。此外，对于敏捷，测试管理工具需要记录每次迭代和待办事项的产品发布。

技巧 #3 外部集成

自动化测试用例执行可以大大减轻测试工程师的负担。你应该选择一个能够轻松与自动化工具集成的测试管理工具。寻找管理测试脚本以及在本地和远程主机上调度和启动测试的能力。此外，将自动化测试结果存储在测试管理工具中的能力也是可取的。你的测试管理工具必须支持持续集成。带有 CI 的测试管理工具的主要优点是测试会自动启动。启动可以由任何事物触发，例如开发人员的代码提交、带有底层测试自动化的测试用例或特定时间的计划任务。持续集成在时间、细节、方向和粒度上有所不同。

对于任何质量保证团队来说，缺陷跟踪工具的集成使他们的测试过程变得非常容易。一个标准测试管理工具如果能与 SDLC 应用程序或其他缺陷跟踪工具（如 JIRA、BugZilla、Mantis）无缝集成，将为该工具增加更多价值。它应允许用户将缺陷链接到测试用例运行实例，以实现软件测试过程的集中管理。它还应允许整个项目团队同时处理一个问题。

你的支持台系统的集成是任何测试管理工具都应提供的重要功能。支持台软件，又称票务系统，帮助用户即时解决问题。它帮助客户了解所有已解决和未解决的问题。

API 支持自定义集成是可取的。

技巧 #4 移动支持

你的测试管理工具应支持移动设备和平板电脑。

移动支持对于在客户现场、不在办公桌前工作的团队，或与不同地理位置的团队合作的经理来说，非常有用。

测试管理工具必须在移动设备上提供完整（而非简化）的功能集。

支持多种设备和移动操作系统至关重要，因为随着设备数量的增加，会出现更多复杂性，例如位置、手势、加速度计和方向问题。毕竟，你购买手机时绝不会考虑它是否与你的测试管理工具兼容！

技巧 #5 支持

测试管理工具供应商的支持团队应致力于以一切可能的方式帮助他们的客户。许多测试管理工具更侧重于创建光鲜亮丽的网站和广告以吸引更多客户。但为了持续和重复的业务，他们必须专注于提供最佳的帮助台支持。

最佳测试管理工具应具备实时聊天、电话、常见问题解答和在线用户指南、产品文档信息、知识库、提交帮助台工单等功能，以帮助客户。

许多测试管理工具还提供与工具专家进行实时视频会议的功能，以解决客户疑问。如果实时会议不可行，那么与测试管理工具相关的演示或录制视频应始终可在网站上获取并随时访问。对于开发人员，如果工具提供 API 或自定义集成支持，则必须提供演示脚本和详细文档。

尽管并非所有工具都提供上述所有支持渠道，但你应该选择一个提供你“首选”支持渠道的工具。

另一个重要但经常被遗忘的参数是工具供应商是否以客户为中心？以下是选择测试管理工具时需要考虑的一些事项——

• 工具界面应用户友好并包含客户集成功能
• 它应该支持多种语言和多个时区
• 它应该具有高级搜索功能

希望本指南能帮助你选择最适合你测试需求的工具！为了更全面地管理应用程序的生命周期，你可能需要探索这些ALM 工具。