某大型供电局
电力行业是大数据应用十分有价值的行业,有电网专家分析称,每当数据利用率调高10%,便可使电网提高20%~49%的利润。电力行业的数据有效利用,不仅可以能大幅提升电力企业的盈利与控制水平,而且能向其他行业提供大量的高附加值的增值服务业务。现阶段基于电网运行和设备检测或检测数据、电力企业营销数据、电力企业管理数据可以进行电网检测及维护、设备检修运维、设备故障的预测和远程诊断等。如何打破电力行业系统数据孤岛,基于统一大数据融合管理平台进行设备运维、故障预测、诊断和运检智能决策是电力行业大数据实现效益增长必须解决的难题。
客户简介
该供电局是南方电网公司的全资子公司,供电面积近2000平方公里,用户数量高达297.8万。目前,该供电局已经成为全国第四个最高负荷突破1000万千瓦的城市电网,也是我国供电负荷密度最大、供电可靠性领先的特大型城市电网之一。
客户需求
公司现有服务器1100台,数据库117套,中间件69套,网络设备50个,存储设备30个,虚拟化平台1个,核心业务系统7个。每年产生的性能检测数据已达到10亿条,运维压力越来越大。针对公司发展需求,客户有三方面的需求:一是构建大数据运维分析基础平台;二是通过对运维数据的挖掘,对供电局的网络资源使用率提前预测,优化资源分配;三是运维故障预警分析。
如何解决
1.大数据运维平台 目前该供电局已有设备和系统的性能监控相关数据,未来还将产生日志易的监控日志记录和APM的相关数据。通过大数据运维平台的构建可以实现监控数据存储、调用、管理功能的整合。
2.资源使用预测模型 资源使用预测模型预是用于预测在未来一段时间内,系统的各种软硬件资源的使用占有情况。基于该供电局现有的性能监控数据,根据不同的监控指标得到不同的资源在过去一段时间内的使用情况,网卡使用率、集群CPU使用率、存储设备的使用率等,提取出与预测的资源类别使用率相关的数据,如预测网络设备的使用率则提取网络设备在过去一段时间内的使用情况数据,选择一个时间节点作为分割点,分割点之前的数据作为训练数据,分割点之后的数据作为Y值定义数据,通过提取的特征维度,利用各种机器学习算法,建立资源使用率预测模型,并选择表现最好的预测模型投入实际生产使用,利用预测的结果作为资源分配的依据,使得现有资源得到更好、更合理的分配和使用,并对不能满足生产需要的资源给予合理的补充参考依据。在此模型中,模型效果评价指标采用类似分类问题中正确率的定义。
3.故障预测模型 故障预测模型是利用系统之前的报警和故障记录数据,作为定义Y值的数据依据,利用系统到目前为止产生的各种性能检测数据、日志记录、APM数据,建立机器学习预测模型,分析各种数据维度与机器发生故障的相关性关系,利用交叉验证等模型优化技术,准确率、召回率、AUC值等评价指标,得到最终且效果达到预期的预测模型,对实时的监控数据进行采集并输入到已训练好的模型中,得到集群中机器在未来一段时间内将会故障的概率值,并根据设定概率的阈值对机器进行预警,给予运维人员更加有根据和有用的建议。
2.资源使用预测模型 资源使用预测模型预是用于预测在未来一段时间内,系统的各种软硬件资源的使用占有情况。基于该供电局现有的性能监控数据,根据不同的监控指标得到不同的资源在过去一段时间内的使用情况,网卡使用率、集群CPU使用率、存储设备的使用率等,提取出与预测的资源类别使用率相关的数据,如预测网络设备的使用率则提取网络设备在过去一段时间内的使用情况数据,选择一个时间节点作为分割点,分割点之前的数据作为训练数据,分割点之后的数据作为Y值定义数据,通过提取的特征维度,利用各种机器学习算法,建立资源使用率预测模型,并选择表现最好的预测模型投入实际生产使用,利用预测的结果作为资源分配的依据,使得现有资源得到更好、更合理的分配和使用,并对不能满足生产需要的资源给予合理的补充参考依据。在此模型中,模型效果评价指标采用类似分类问题中正确率的定义。
3.故障预测模型 故障预测模型是利用系统之前的报警和故障记录数据,作为定义Y值的数据依据,利用系统到目前为止产生的各种性能检测数据、日志记录、APM数据,建立机器学习预测模型,分析各种数据维度与机器发生故障的相关性关系,利用交叉验证等模型优化技术,准确率、召回率、AUC值等评价指标,得到最终且效果达到预期的预测模型,对实时的监控数据进行采集并输入到已训练好的模型中,得到集群中机器在未来一段时间内将会故障的概率值,并根据设定概率的阈值对机器进行预警,给予运维人员更加有根据和有用的建议。
实施效果
基于大数据运维分析平台的建立,经过数据清洗和整合,数据分析师建立了营销一体化系统空间利用率模型、服务器虚拟计算资源预测模型。在现有营销一体化资源预测模型的基础上对虚拟化计算资源模型推广,初步优化后模型准确率达到86.2%,故障预测准确率达75%,可支持工作人员合理分配空间资源,提前防止空间溢出,对故障进行提前预测。
准备好开始大数据升级了吗?
联系我们