如何从0到1搭建故障监控与告警系统

2019-04-07 20:40:32 来源:网络整理 作者:管理员

原标题:如何从0到1搭建故障监控与告警系统

由于笔者转行新零售行业,最近负责智能货柜的产品设计,针对智能硬件经常发生的设备故障,怎么去第一时间监控到设备硬件和软件上产生的故障,是当下笔者研究的一个课题,本文就如何搭建故障监控与告警系统进行了浅析与探讨。

如何从0到1搭建故障监控与告警系统

一、有关故障监控与告警的基础知识

智能货柜同一般的软件有较大的区别,软件只涉及服务应用层面的交互,而智能货柜则既涉及到软件应用的交互,还涉及到硬件和软件的交互,因此智能货柜的故障和监控要比普通的APP以及系统要更加复杂,下面就故障监控与告警相关的背景和知识做相应的介绍。

1. 什么是故障?

百度百科对于故障的解释如下:

故障是系统不能执行规定功能的状态。通常而言,故障是指系统中部分元器件功能失效而导致整个系统功能恶化的事件。

而对于智能货柜来说,故障即是任何会影响设备正常售卖的事件,包括硬件上的故障,也包括软件上的故障。

  • 硬件上的故障包括:锁故障、门故障、制冷故障、货道故障等;
  • 而软件上的故障则包括:无法支付、软件死机、卡屏、交易失败等。

故障的种类有可能是非常多的,对于产品而言只能在最开始系统设计的时候,尽可能的穷举出越多的故障,只有明确了故障的种类,才能监控到这些故障。

那我们为什么要做故障监控与告警系统呢?

对于智能货柜来说,每一个运营都需要负责非常多的设备,而不能时时刻刻守在设备旁边,也就无法及时知道设备发生了故障,因此故障监控与告警系统将会产生如下价值:

  • 及时性:自动获知机器故障信息,并将故障信息传递给对应的线下运营人员,第一时间解决机器故障,恢复设备售卖;
  • 收益性:设备故障无法售卖,自然会降低设备的交易额,而通过故障监控告警,可以最大程度的降低运营的损失,提高机器交易额,也就为公司创造了更大的效益;
  • 同时故障监控和告警也会积累大量的数据信息,为产品的迭代和优化提供强有力的支持,提升产品的性能和体验。
2. 监控告警的目标与区别

监控与告警的区别:其实本质上监控是告警的基础,只有具备了监控的信息,才能针对监控的信息去指定相应的规则和策略来进行告警。监控的信息是非常全和杂的,但是对于接受故障的用户来说,杂和全的信息会干扰用户的判断和决策,因此只有在监控信息基础上,针对相应的规则筛选出需要告警的信息来进行触达和展示,才能最大效率和准确的解决相应的故障。

监控和告警的目标则是一致的,即:

  • 全面:监控与告警的广度,尽可能多的覆盖到故障类型
  • 及时:数据处理和传递的时效性,快速的将告警信息暴露出来
  • 准确:保证监控和告警信息的准确性,避免浪费相应的资源去解决错误的告警。
二、如何从0到1搭建故障监控与告警系统

既然是从0到1的系统,那自然不免会涉及到非常多的工作需要去找。前期用户调研、竞品调研以及市场背景都要去了解。

用户调研:因为系统做出来不是给产品用的,因此必须要了解该系统使用对象的想法。一般来说针对公司自己软硬件的故障监控系统,都是给公司内部相关部门的人使用的,因此用户调研上相对来说会比较容易,需要了解使用对象的使用习惯、对于哪些故障类型比较关注,尽可能多的收集故障类型。

竞品调研:一般来说对于陌生的产品和系统,为了避免更少的踩坑,还是需要多多体验市场上存在的产品,包括成熟和不成熟的系统都可以去参考,能够产生许多的灵感。

以上2点是做该系统比较简单的工作,以下内容则涉及到故障监控与告警系统具体的产品设计方案。

1. 故障监控与告警系统的基础

首先要做故障的监控,就必须要了解和清楚怎么去监控设备硬件和软件的相关信息,主要通过如下方式去监控故障:

  • 硬件上报:首先在做一款智能货柜的时候,如果是定制化的机器,在机器出厂之前,在硬件上就需要双方协定做好哪些协议和串口,此时需要硬件和软件产品经理共同探讨,在出厂前就需要明确需要监控哪些硬件故障,而为了监控这些故障,必然需要在硬件上做相应的开发。比方说要监控机器的温度,如果机器没有上报温度的串口和协议,那我们必然无法监控到温度异常的故障;
  • 软件埋点:软件埋点更多的涉及到前端交互页面的监控,比方说某个按钮的点击率,某些环节的转化率,而只有这些地方埋点后,我们才能监控到这些数据,才能判断是否软件出现异常和故障;
  • 服务器与日志上报:服务器和日志更多的是通过后台接口的方式进行监控,比方说某个接口宕机或者高并发挂掉,而后台的故障事先都需要定义好相应的错误码,通过故障错误码来监控故障信息。

只有以上工作做到位后,才能具备监控和告警的基础,不然没有这些信息,后面也没办法实现故障的监控和告警。

2. 故障监控的类型

前期在故障类型较少的时候,有可能是通过开发代码定义故障类型,但是为了后续系统的拓展和兼容性,建议还是通过页面配置的方式来实现故障类型定义。

以下通过智能硬件的故障类型来给大家详细说明,故障类型的编辑可能涉及到如下字段来区分故障:

  • 故障id:故障id是唯一的,每个故障都会上报一个故障id,通过故障id可以唯一确定每个故障;
  • 故障类型:故障类型其实也是可以通过前端页面自定义创建的,在此可以直接通过下拉选择故障类型,如果要新增故障类型则通过新的页面去操作;
  • 故障名称:通过故障id无法直观知道每个故障,通过名称则很直观和清晰的知道每个故障信息;
  • 故障等级:故障等级对于故障告警的策略和编辑是非常有用的,此字段也是必要的;
  • 推荐解决方案:推荐解决方案是给相应的运维人员查看的,对于一些新运维人员需要通过此信息去指导运维人员去解决相应的故障。

以上字段是对一个故障最基础的编辑和定义,当上报一个故障id时,则可以通过故障id去拉取该故障的其他信息。不同的业务可能对于故障的定义字段都不尽相同,需要根据业务去灵活制定。

如何从0到1搭建故障监控与告警系统

3. 故障告警的规则和策略

正如上文提到的,故障监控和告警是两个不同的事情,监控是把所有上报的信息都会记录下来,所以信息一定是多而杂的,这些过多的信息如果都推送给相应的人员,那很可能是大大提高了用户处理错误信息的工作量,所以是需要规则和策略去筛选准确的故障信息进行推送。

那么告警规则和策略包含哪些信息呢?简单粗暴的来说,一个告警规则和策略需要包含告警的统计指标,告警推送的条件、告警的收敛规则。

举例如下:

比方说针对网络故障的告警,则对应的监控项为网络速度,那么创建一个告警规则需要定义如下信息:

  • 告警名称:网络故障告警
  • 告警指标:网络速度
  • 告警条件:网络速度小于20kb/s
  • 统计时间:30分钟
  • 发生次数:3次

那么当某台设备30分钟内上报网速小于20kb/s大于等于3次时,就需要通过告警推送到对应的人员。告警规则也是可以通过前端页面去灵活配置的,这也大大提高了系统的拓展性和广泛使用性,可以及时跟进数据情况修改和新增相应的告警规则。

4. 故障告警的方式和渠道

当系统监控到需要推送告警信息时,需要通过什么渠道推送告警信息呢?这里也涉及到前期用户调研的一些内容,一定是需要通过最简单、高效的渠道去推送到运维人员手中,主要有以下方式和渠道来进行推送告警信息:

  • 告警后台系统:通过数据仓库可视化的告警以及告警列表来推送相应的信息。此种方式是最基础的信息来源,但是运维人员不可能时刻打开后台系统来查看,因此此种方式是比较不适用的不高效的;
  • 邮件:一般使用系统的人员有可能是使用电脑的,但是对于智能货柜的用户群体来说,他们经常都不在办公室奔波于线下,如果手机未安装邮箱APP,则无法及时获知告警信息;
  • 微信公众号:通过微信公众号的模板消息来进行触达是非常高效的,使用的人员能够及时收到相应的告警信息,而且微信公众号的模板消息是免费的;
  • APP推送:APP相较于后台系统还是有效许多的,通过APP消息推送和内部的告警模块进行触达,主要是由于运维人员用的最多的就是APP,需要用到APP补货、查询数据等,所以通过此方式也是非常可行的。

以上列了主要的几种告警推送的方式和渠道,其实还包括一些其他的方式,比方说钉钉群、微信群、短信等,至于需要通过哪种方式去推送告警信息,一般都是需要根据业务来确定,也不一定是只通过一种方式去触达。为了保证告警的效果,可以多种方式同时推送,但是前期也需要平衡开发的成本和收益,选择一种最高效、开发难度最小的进行触达。

三、故障监控和告警系统总结

故障监控和告警系统其实相对来说还是一个比较简单的系统,但是如果需要从0到1的去搭建这样一个系统也是需要注意比较多的情况,尽可能系统化、模块化的去设计这样一个系统。

  • 做好充分的用户调研、竞品调研和背景分析,充分挖掘用户的痛点和需求,参考成熟的一些系统方案;
  • 前期基础需要搭好,一定要搭建好故障上报的体系,没有渠道去获取相关的故障信息则无法做故障的告警,则后续系统的搭建也是白搭;
  • 故障的定义、告警的规则和策略是该系统的核心,需要尽可能多的整理总结故障类型,覆盖多一些故障,其次也需要根据实际情况不断去调整故障告警的规则和策略,优化迭代故障告警的准确率。
  • 通过何种渠道去推送告警信息,也是需要根据用户的使用习惯,结合开发实现的难度和成本去综合考量,必要的话可以采取多种方式去推送,以提高故障触达率与解决时效。

作者:harryli,新零售行业产品经理,微信公众号“Harry李先生笔记”。

本文由 @harryli 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自Unsplash,基于CC0协议。

显示全文
为您推荐
宋伊人、丁泽仁主演的《花青歌》过审,人设有趣,口碑却让人担忧
宋伊人、丁泽仁主演的《花青歌》过审,人设有趣,口碑却让人担忧

2021年由楼健执导,苏晓彤、王子奇领衔主演的《御赐小仵作》可以说取得了不错的口碑与成绩,使这部小成本剧集达到了S+级的热度与播放量,成了近两年来当之无愧的古代仵作题材的古装甜爽探案喜剧。如今距离这部.........

发布时间:2023-06-01 18:03:12

鹅蛋能蒸蛋羹吗
鹅蛋能蒸蛋羹吗

【导读】 鹅蛋能蒸蛋羹吗,下面是小编为你收集整理的,希望对你有帮助!能。鹅蛋是家禽鹅生下的卵,表面较光滑,白色,呈椭圆形,个体很大,其重量是一般鸡蛋的四、五倍,味道有些油,但质地较粗糙,草腥味较重,食味不及鸡鸭蛋,新鲜的鹅蛋必须烹饪后食用。此外,鹅蛋中还含有丰富的营养......

发布时间:2023-06-01 18:01:06

江疏影与王传君同框叙旧
江疏影与王传君同框叙旧

江疏影和王传君,两个看似完全没有交集的名字,在5月28日有了神奇的新反应因为一起参加《五十公里桃花坞3》,老同学很少在镜头前同框。除了花旦 江疏影说,他想和王传君在一起,因为这会让他更有安全感。这也让.........

发布时间:2023-06-01 17:03:17

向日葵传播种子的方法 这些方法可以传播种子
向日葵传播种子的方法 这些方法可以传播种子

【导读】 向日葵传播种子的方法 这些方法可以传播种子,下面是小编为你收集整理的,希望对你有帮助!向日葵不仅可以观赏食用,另外在工业方面也有一定作用,向日葵有很多种不同传播种子的方法,分别是自体传播、风体传播、水体传播、鸟类传播、哺乳类动物传播等,传播范围也是相当广泛。向日葵传播种子的方法1.自体......

发布时间:2023-06-01 17:01:05

《奥本海默》新预告泄露 展示更多新角色
《奥本海默》新预告泄露 展示更多新角色

在很早之前发布首支官方预告后,人们关于克里斯托弗·诺兰自编自导的新片《奥本海默》愈加等待。而近日网上走漏出了一段长达 3 分钟的最新预告,其中展示了更多新角色,包含马特·达蒙、佛罗伦斯·皮尤和小罗伯特.........

发布时间:2023-06-01 16:03:25

纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿)
纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿)

【导读】 纳摩盖吐龙:蒙古超巨型恐龙(长21米/长有钉状牙齿),下面是小编为你收集整理的,希望对你有帮助!纳摩盖吐龙是一种蜥脚类恐龙,诞生于7500万年前-7000万年前的白垩纪末期,体长最多可达21米,属于超巨型恐龙的一种,因为出土的四颗钉子状牙齿而被命名,第一批化石发现于蒙古国,因此也叫做蒙古纳摩盖吐......

发布时间:2023-06-01 16:01:04

日内瓦是哪个国家的首都:瑞士的一个城市(并不是首都)
日内瓦是哪个国家的首都:瑞士的一个城市(并不是首都)

【导读】 日内瓦是哪个国家的首都:瑞士的一个城市(并不是首都),下面是小编为你收集整理的,希望对你有帮助!我们知道地球对于人类来说是一个非常大的星球,因此地球上还有许多我们人类没能发掘的地方,而地球上的国家也是非常多的,日内瓦这个城市也是一个比较有名的城市,那么日内瓦是哪个国家的首都呢?它具体又在哪个地方......

发布时间:2023-06-01 15:01:04

《欢迎光临》播出近半,口碑稳中有升
《欢迎光临》播出近半,口碑稳中有升

本报记者 李夏至由正午阳光出品制作的都市生活轻喜剧《欢迎光临》在北京卫视播出接近一半,口碑稳中有升。该剧讲述一个酒店门童和空姐的恋爱故事,看似多少有点悬浮的设定需要大量的生活细节与戏剧手段来弥补。对《.........

发布时间:2023-06-01 14:03:12

月球背面为什么去不了,月球背面到底有什么?
月球背面为什么去不了,月球背面到底有什么?

【导读】 月球背面为什么去不了,月球背面到底有什么?,下面是小编为你收集整理的,希望对你有帮助!作为太阳系中最为特殊的天体,月亮总是以一面面向地球,从来没见过它的背面长什么样,这主要是由于月球的自转和公转周期相同。然而自人类登月成功以来,如今已经成功发射探测器到火星了,但却根本没有月球背面的消息......

发布时间:2023-06-01 14:01:04

朱一龙爆发式的哭戏,刷新演艺圈新水平,拭目以待
朱一龙爆发式的哭戏,刷新演艺圈新水平,拭目以待

朱一龙主演的电影《峰爆》9月17日即将在各大电影院上映,这部属于灾难型的电影,里面没有过多装饰的场景和华丽的服饰。在灾难面前,个人是多么的渺小,他们帮助困难群众,为了保护家园逆行而上,在这期间产生的父.........

发布时间:2023-06-01 13:03:11

鸡胗怎么炒
鸡胗怎么炒

【导读】 鸡胗怎么炒,下面是小编为你收集整理的,希望对你有帮助!用料:小米椒,鸡胗,大蒜,盐,生抽,黄酒。步骤:1、鸡胗冷水下锅,煮变色了捞起切片。鸡胗要切花,一来好看,二来容易熟又保持了爽口感。2、切好的鸡胗加盐加黄酒加生抽腌制半小时以上。3、大蒜切成蒜蓉,小米......

发布时间:2023-06-01 13:01:03

周迅觉得何炅黄磊太像空巢老人
周迅觉得何炅黄磊太像空巢老人

今日何炅晒出与黄磊的《向往的生活7》海报,何炅黄磊两人牵着小h小o画面很温馨夸姣的呢。可是有的网友却戏弄:“如同两个假笑空巢白叟”“孩子们都离开了,就剩俩老人了,能开心吗?”“这笑脸是p的吧?”这一季.........

发布时间:2023-06-01 12:03:13