干货分享 | Splunk—让数据引领行动

时间:2020-03-24 13:56:17 发布人:admin 来源: 点击量:

随着5G时代的到来我们的网络逐步发生翻天覆地的变化,我们每天在互联网上产生的数据越来越庞大,而随着大数据和人工智能的发展,这些数据的价值也越来越重要。

今天我们就来介绍一款能实时进行深度数据分析,并将数据由“为我所有”转化成“为我所用”的产品—Splunk!

为什么需要数据分析

IDC预测2025年全球产生的数据增长至163ZB, 是2017年的10倍!

Splunk访问了全球1,300+业务和IT领袖得出:

• 55% 数据还未发挥其潜在价值 

• 81% 人认为这些数据非常重要

• 61% 人计划未来5年利用人工智能协助业务发展 

• 92% 人渴望学习新技术做数据分析

Splunk 将机器数据转化为商业价值

索引未开发的数据:任何来源、类型、数据量

 

Splunk协助客户用数据找答案

Splunk成立于2004年,是一个面向所有机器生成的IT数据的引擎,使用它可收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据。

可助您实时看到您的关键应用程序和基础设施上正在发生的状况,实现对环境的主动监控,并在问题发生之前采取预防措施,防患于未然。

数据分析进程

基础架构

Splunk的十项特点

实时(Real Time Architecture)

由于Splunk的数据存储方式不是传统的结构化数据库,而是文件系统,所以无需对数据做转换清洗,加上强大的数据处理和计算能力,使得Splunk能够以实时的速度采集数据并展现。

国内银行 利用Splunk实时监控应用性能指标以及业务指标(包括交易量、响应时间、成功率、返回码、交易类别、交易渠道等等),同时使用历史数据建立基线分析变化趋势,可快速响应应用系统故障和数据分析需求。

数据复用( Universal Machine Data Platform )

Splunk不限制用户的使用场景,同一份数据可以在多个场景之间复用,从而最大化Splunk的平台价值。

国内交易所 利用Splunk一套平台,同时实现了CMDB、全场 景分析、跨岗位数据关联分析、交易系统性能分析以及DevOps监控等使用场景,将Splunk作为企业的数据中台, 利用同一份数据开发出了多个Use Case,让机器数据发挥了它最大的价值。

读时建模(Schema on the Fly)

Splunk不需要在数据接入前固定数据字段,模型的建立是在查询的那一刻发生的,由此赋予了对数据灵活使用以及将不同数据源关联分析的能力 。

囯内外资汽车制造商 利用Splunk建立了安全运营中心(SOC),实现系统常态化运营,通过集中管理各种安全设备日志、应用日志规范事件告警和分析,全面展现安全运营状态。利用Splunk读时建模的特性,他们可以很轻松的将不同数据源的日志做标准化模型映射,进而通过关联规则从海量数据中发现高级威胁。

简单易用(Agile Reporting & Analytics)

Splunk的SPL(Search Processor Language)是一种具有自然语义的数据查询、分析语言,它的功能类似SQL但比SQL更加简单,可以很轻松的实现数据 的统计、排序、对比等功能。

全球最大直销企业 开始于国内试水通过直播进行产品推销, 业务部门想了解观看直播的观众分类属性,比如:来源是 APP还是微信?有没有进行分享?有没有观众是通过分享加入观看活动?观看者是美容顾问还是消费者?美容顾问有在利用转发或是分享来挖掘新客户吗?IT部门按照业务需求在Splunk上只花了三个小时就创建好了监控页面,很好的回答了业务的问题。

灵活扩展(Scales from Desktop to Enterprise)

通过配置Splunk集群,可以将Splunk从桌面级实例扩展到企业级实例,从而 支持处理更大的数据量,目前Splunk客户中最大的日增长数据量是4PB/day 。

囯内领先电信设备制造商 的数据中心有上百种不同的技术和设备,它们分层交织在一起,其中的机器数据体量巨大、增长迅速并且具有高度多变性和多样性 Splunk强大的架构横向扩展能力帮助客户将近10TB的数据实 时接入分析,从一个中央界面获得虚拟化、私有云和基础设施端到端的运维可见性。

快速见效(Fast Time to Value)

您不需要考虑平台如何搭建,性能如何调优,解析规则如何配置等问题,您可以在1分钟内完成Splunk的安装部署,数据无需配置解析规则即可 接入Splunk,简单易用的SPL能够帮助你快速从数据中获得价值。

囯内保险企业 使用Splunk作为应用日志分析平台,实现寿险、团险、银保通等核心应用系统的日志收集和监控,将各个节点 的日志相互关联,串成业务流,消除了数据孤岛。这些数据分 析能力有效帮助运维人员排查和追踪问题并及时响应他们需求,在开门红等重大活动中快速生成业务分析报表,支撑了业务的高速发展。

AI/机器学习(AI / Machine Learning)

机器学习能够实现动态异常告警、预测分析以及告警归类等高级分析功能, Splunk实现机器学习的方式有两种,一种是封装在高级解决方案App中的,另 一种是利用Machine Learning Tool Kit(MLTK)自定义的机器学习 。

自从部署Splunk进行实时监控以来,国内线上支付平台供应商 可以快速跟踪系统异常,利用机器学习,实现了告警自动消噪,在1~2秒内轻松检测出交易延迟、系统挂起或支付转 账失败等问题,这种主动的系统监控使他们能够有效发现系 统故障的根因,成功率超过98%,保障了服务的“永远在线”。

内容更新(Content Update)

Splunk会定期更新内置的安全关联规则,这些更新的关联规则是根据真实发 生的入侵事件编写,从而让用户持续获得最新的安全分析能力。

囯内主要互联网企业 内部安全团队原来使用ELK作为安全事件分析平台,但ELK并没有内置的关联规则,这使得安全团队得依靠自己的经验和知识积累在开源平台上开发和优化关 联规则,但随着团队核心骨干的离职,这套平台和规则变得 无以为继,于是他们选择Splunk做为安全分析中枢,开箱即用和持续更新的内容使整个团队可以集中精力分析安全事件, 而无需花太多时间在规则的编写和维护。

活跃生态(Passionate & Vibrant Community)

Splunk生态系统包括 Splunkbase(应用商店),Splunk Answer(问答社区)以及 Splunk Dev(开发者社区),Splunk base中包含超过3000个可以直接安装在Splunk Enterprise上的App,其中大部分App是由第三方厂商开发维护。70%的Splunk使用问题都可以从Splunk Answer中找到答案。开发者可以从Splunk Dev中找到Splunk的接口信息以及文档。

开箱即用(Splunkbase)

 

Splunk针对大型数据运营中心

针对自身拥有大型数据运营中心、维护团队并对IT运维、安全较高的企业,Splunk在IT架构里特别对安全运营和IT运维两个方面进行了深入的分析和行动,从而能够监控关键服务的实时健康度和安全威胁。

数据分析进程

IT和安全运营领域的领导者

总体架构

 

Splunk安全运营用例

Splunk IT运维用例

让数据引领行动

Splunk可帮助企业充分利用数据资源,将其转化为业务成果。相关的、及时的、可操作的产出可以推动业务的增长,这就是把数据转化为行动的意义所在。

今天的分享就到这里,如您还有任何疑问或者想获取相关资料、申请免费试用,均可与我们联系!


友情链接

总部/北区

地址:北京市海淀区高梁桥斜街42号院1号楼融汇国际大厦-3A层信亦宏达
电话:400-650-6601(9:00-18:00)
服务热线:13522376611(7*24h)
传真:+86 010-62260557-666
Email: service@sinynet.com

售前咨询热线 400-650-6601

关注信亦宏达

微信

微博

2012-2020 版权所有©信亦宏达网络存储技术(北京)有限公司 京ICP备09114115号-1

京公网安备 11010802032893号