Splunk 入门教程:Splunk 工具是什么?如何使用?

什么是 Splunk?

Splunk 是一个广泛用于实时监控、搜索、分析和可视化机器生成数据的软件平台。它在一个可搜索的容器中捕获、索引和关联实时数据,并生成图形、警报、仪表板和可视化。Splunk 提供对整个组织数据的便捷访问,以便于诊断和解决各种业务问题。

我们为什么需要 Splunk?

Splunk Monitoring Tool

Splunk 监控工具为组织提供了诸多优势。使用 Splunk 的一些好处包括:

  • 在仪表板中提供增强的 GUI 和实时可见性
  • 通过提供即时结果,缩短故障排除和解决时间。
  • 它是根本原因分析的最佳工具。
  • Splunk 允许您生成图表、警报和仪表板。
  • 您可以使用 Splunk 轻松搜索和调查特定结果。
  • 它允许您对任何故障条件进行故障排除,以提高性能。
  • 帮助您监控任何业务指标并做出明智的决策。
  • Splunk 允许您将人工智能融入您的数据战略。
  • 允许您从机器数据中收集有用的运营智能
  • 汇总和收集来自不同日志的宝贵信息
  • Splunk 允许您接受任何数据类型,如 .csv、json、日志格式等。
  • 提供最强大的搜索分析和可视化功能,赋能各类用户。
  • 允许您创建一个中央存储库,用于搜索来自各种源的 Splunk 数据。

Splunk 的功能

Splunk 的重要功能包括:

  • 加速开发与测试
  • 允许您构建实时数据应用程序
  • 更快地产生投资回报
  • 通过实时架构实现敏捷统计和报告
  • 提供搜索、分析和可视化功能,赋能各类用户

Splunk 产品

Splunk 提供三个不同版本。

  • Splunk Enterprise
  • Splunk Light
  • Splunk Cloud

Splunk Enterprise

Splunk Enterprise 版本供大型 IT 企业使用。它帮助您收集和分析来自应用程序、网站、应用程序等的数据。

Splunk Cloud

Splunk Cloud 是一个托管平台。它具有与企业版本相同的功能。可以从 Splunk 或使用AWS 云平台获得。

Splunk Light

Splunk Light 是免费版本。它允许搜索、报告和修改您的日志数据。与其他版本相比,它的功能和特性有限。

Splunk 架构

现在,在本 Splunk 基础教程中,我们将学习 Splunk 架构

Splunk Architecture
Splunk 架构

以下是 Splunk 架构的基本组成部分:

通用转发器 (UF)

通用转发器或 UF 是一个轻量级组件,可将数据推送到重型 Splunk 转发器。您可以在客户端或应用程序服务器上安装通用转发器。此组件的工作是仅转发日志数据。

负载均衡器 (LB)

负载均衡器是默认的 Splunk 负载均衡器。但是,它也允许您使用自定义负载均衡器。

重型转发器 (HF)

重型转发器是一个重型组件。此 Splunk 组件允许您过滤数据。例如:仅收集错误日志。

索引器 (LB)

索引器帮助您存储和索引数据。它提高了 Splunk 的搜索性能。默认情况下,Splunk 会自动执行索引。例如,主机、源和日期和时间。

搜索头 (SH)

搜索头用于获取智能并执行报告。

部署服务器 (DS)

部署服务器有助于部署配置。例如,更新 UF 配置文件。我们可以使用部署服务器在组件之间共享,我们可以使用部署服务器。

许可证管理器 (LM)

许可证基于数量和使用情况 — 例如,每天 50 GB。Splunk 定期检查许可证详细信息。

Splunk 如何工作?

现在,在本 Splunk 培训中,我们将学习 Splunk 如何工作

How Splunk Works
Splunk 如何工作

转发器

转发器从远程计算机收集数据,然后实时转发数据到索引器。

索引器

索引器实时处理传入数据。它还将数据存储和索引在磁盘上。

搜索头

最终用户通过搜索头与 Splunk 进行交互。它允许用户进行搜索、分析和可视化。

Splunk 的应用

问题陈述:麦当劳不清楚哪些促销活动效果最好。

  • 促销类型(例如,20% 折扣)
  • 地区级别的文化差异
  • 购买时间
  • 客户使用的设备
  • 每单产生的收入

他们需要了解消费者的行为和客户的反应。

整个过程使用三种数据源

  1. 在麦当劳门店下单
  2. 在移动应用程序中下单
  3. 通过 Web 应用程序下单
现在,过程按照下面给出的图表从一个步骤进行到另一个步骤。

How Splunk Works

输入

输入数据进入解析阶段,

解析

在解析阶段,相关数据被转换为事件。

  • 客户所在地区
  • 每单收入
  • 订单时间(早、中、晚、夜)
  • 客户使用的设备(手机、电脑、平板电脑)
  • 应用的折扣券

索引阶段

在此阶段,事件根据以下内容进行排序和索引以进行存储:

  • 按地理位置划分的销售额
  • 订单收入
  • 订单时间(早、中、晚、夜)
  • 客户使用的设备
  • 提供的优惠券已应用

搜索头

它用于获取智能并执行报告。

麦当劳使用它来获取以下信息:

  • 在哪个地理位置,哪些促销活动效果最好?
  • 客户行为如何影响订单收入?
  • 什么时候应用汉堡或套餐优惠是最佳时机?

Splunk 如何提供帮助?

  • 实时显示特定地区的所有订单。
  • 确定不同促销活动如何实时影响。
  • 监控麦当劳内部开发的销售点系统的性能。
  • 员工可以监控客户的评论,并帮助了解客户的期望。
  • 分析不同支付方式的速度
  • 确定无差错的支付方式

使用 Splunk 的最佳实践

  • 您应该测试索引,以便可以快速执行测试。
  • 有一些特定字段您必须在索引时正确处理。其余的都可以在索引后创建/修改。
  • 事件拆分在 Splunk 中是自动发生的,因此检查 Splunk 是否正确检测到事件的开始和结束很重要。
  • Splunk 可以自动检测时间戳。但是,如果您的日志格式具有不同的时间戳,则需要配置时间戳。

使用 Splunk 的知名公司

一些使用 Splunk 的知名公司有:

  • Cisco
  • 博世
  • IBM
  • 摩托罗拉
  • 百事公司
  • Adobe
  • Visa
  • 阿迪达斯
  • Facebook
  • Salesforce
  • Walmart

Splunk 的替代方案

1) Site24x7 的日志管理

Site24x7 为您的基础设施栈提供了一个集中式、基于云的日志管理工具。该工具自动识别所有应用程序日志,为 100 多个应用程序提供开箱即用的支持。

Site24x7

Site24x7 日志管理工具的关键特性:

  • 支持 100 多种日志类型,包括云平台日志
  • 通过简单的自定义轻松管理任何日志
  • 用户友好的基于查询语言的搜索
  • 支持广泛的日志格式(JSON、多行、键值、XML 格式等)
  • 基于模式相似性进行集群消息
  • 用于自动修复事件的 IT 自动化
  • 通过 Microsoft Teams、ServiceNow、PagerDuty、Opsgenie、Jira、Webhooks、Zendesk 和 Zoho Cliq 等工具进行第三方告警,实现有效协作。

访问 Site24x7 >>


2) Sumo Logic

Sumo logic 工具可帮助您维护应用程序的基础设施。实时搜索和分析日志数据非常简单。该工具允许您监控和可视化历史和实时事件。

下载链接: https://www.sumologic.com/


3) Fluentd

Fluentd 是一个免费的开源数据收集器工具。它帮助您将日志保存在 FS 缓冲区中。因此,您可以随时检索它们。它还提供负载均衡、重试等服务以保持健壮性。

下载链接: https://www.fluentd.org/


4) ELK 堆栈

ELK 堆栈允许用户从任何源、任何格式获取数据,并搜索、分析和可视化这些数据。该工具提供集中式日志记录。此功能在尝试识别服务器或应用程序问题时很有用。

下载链接: https://elastic.ac.cn/elk-stack


5) LogFaces

Logfaces 是 Splunk 的另一个替代品,允许您通过电子邮件发送查询。该工具将日志数据保留在本地。该工具附带一个简单的桌面应用程序。

下载链接: http://www.moonlit-software.com/

使用 Splunk 的缺点

使用 Splunk 工具的一些缺点是:

  • 对于大量数据,Splunk 可能成本很高。
  • 仪表板虽然实用,但不如其他一些监控工具有效。
  • 它的学习曲线很陡峭,并且需要 Splunk 培训,因为它是一个多层架构。所以你需要花很多时间来学习这个工具。
  • 搜索很难理解,尤其是正则表达式和搜索语法。

摘要

  • Splunk 是一种用于实时监控、搜索、分析和可视化机器生成数据的软件。
  • Splunk 通过提供即时结果来缩短故障排除和解决时间。
  • Splunk 提供三个不同的版本:1) Splunk Enterprise 2) Splunk Light 3) Splunk Cloud。
  • 1) 通用转发器 (UF) 2) 负载均衡器 (LB) 3) 重型转发器 (HF) 4) 索引器 (LB) 5) 搜索头 (SH) 6) 部署服务器 (DS) 7) 许可证管理器 (LM) 是 Splunk 工具的重要组成部分。
  • Splunk 的重要应用包括:1) 交互式地图 2) 促销支持 3) 性能监控 4) 实时反馈 5) 仪表板和支付流程。
  • 使用 Splunk 的最重要最佳实践是,您应该使用测试索引,以便可以快速执行测试。
  • Cisco、Bosch、IBM、Motorola、Adobe、Visa 等知名公司正在使用此工具。
  • 1) SumoLogic 2) ELK 堆栈 3) Log faces 4) Fluentd 是 Splunk 的一些替代品。
  • Splunk 的最大缺点是对于大量数据,它可能成本很高。