分类筛选
分类筛选:

数据中心方面有关大学毕业论文范文 和大规模数据分析预测在数据中心和实践方面研究生毕业论文范文

版权:原创标记原创 主题:数据中心范文 类别:毕业论文 2023-12-23

《大规模数据分析预测在数据中心和实践》

该文是数据中心方面硕士论文范文与分析预测和数据中心和实践有关专升本毕业论文范文。

兴业银行数据中心主中心自2011 年入驻张江园区以来,逐步形成了一体化全方位的运维管理体系,同时积累了丰富的运维数据和业务数据,但这些数据往往都是以信息孤岛的形式存在,缺乏有效利用.此外,随着智能时代的到来,大数据、云计算和人工智能等技术不断被引入金融科技领域,各金融机构都希望赶上这波浪潮,以此为契机对金融科技架构进行深入优化.本文将介绍大规模的数据分析预测技术在兴业银行数据中心的探索与实践,希望能够为同业金融机构提供相关参考.

一、传统的银行数据中心运维现状

银行数据中心的数据主要包括业务数据、日志数据、运维数据、CMDB、知识库以及基础设施数据.这些数据相互比较独立,比如:业务数据存储于生产数据库;日志数据分布于各个应用系统的文件系统上;运维数据往往以监控数据的形式存在,如CPU 使用率、文件系统使用率和表空间使用率等;CMDB 由系统自动采集或人工录入的方式保存在相应的数据库中;知识库是作为单独的系统进行存储;基础设施数据主要包括电力、空调和网络等状态数据,通常也存储在专门的系统中.以上数据往往各自为政,由相应的系统进行维护管理,因而造成信息孤岛,无法充分利用数据的价值.

基于以上现状,数据中心日常运维中存在以下三方面痛点.

. 疲于被动运维

比如对于容量管理,往往是空间使用率达到告警阀值时,才触发监控系统报警,此时需要一线运维人员立即提交申请进行清理扩容,这种方式不仅被动,而且处理时效性差.

2. 故障排查难

当系统不可用时,运维人员往往需要从网络、系统和应用等多个条线进行故障排查.排查方法也比较单一,比如应用方面往往是通过Shell 工具查看应用服务产生的日志.这种方式不仅效率低下,而且难以发现故障产生的根本原因,事后很容易再次引发相同的故障或关联系统故障.

3. 数据价值利用率极低

数据应用没有形成固定的模式,当领导层需要相关数据指标和统计报表时,往往需要重新设计计算逻辑,或者无法提供更有价值的信息.

针对以上痛点,兴业银行在运维过程中逐步探索出一条可行的解决之道,即引入大数据分析技术以及数据预测技术,建立集中的数据分析预测平台.该平台要求能够统一管理以上各种数据,并能够对数据进行分析(实时和离线).通过预测技术可以化被动运维为主动运维,比如:提前预测容量达到警戒值的时点;通过分析预测应用性能数据,及时准确发现异常或故障;充分利用数据,深层次挖掘数据的潜在价值.

二、数据分析预测框架

经过多年的探索与实践,同时积极响应监管部门对于安全可控的要求,兴业银行引入主流的开源技术,采用DevOps 模式进行自主研发,形成了一套完整的数据分析预测平台,平台整体架构如图1 所示.

1. 底层数据源

架构最底层为各种数据源,即数据中心涉及的多种数据形式,包括应用服务产生的日志文件(结构化以及半结构化),操作系统的信息(CPU、内存和文件系统等),数据库的信息(表空间使用率、响应时间和吞吐率等),以及其他基础设施产生的数据(电力、温湿度和网络流量等).由于这些数据以不同的形式存在于不同的系统中,因此需要部署相应的数据采集节点进行数据转换并传输.

2. 数据采集

源数据的多样性决定了需要采用多种形式的数据采集方式,主要的采集方式有以下五种:传统的Shell 脚本,可以处理简单的结构化日志数据;Python 脚本,适用于处理复杂的半结构化和非结构化日志文件以及操作系统数据的获取;SQL 脚本,主要针对通过SQL 语句直接获取数据库信息;Web 服务,主要用于获取其他系统的相关数据;文件传输,这是最直接的数据采集方式,即没有特殊的预处理,直接进行点对点传输.

3. 数据处理

数据采集完之后就需要进行相应的处理,主要有实时和离线两种处理方式.对于实时处理采用流式计算方式,采用的是目前比较主流的Flume+Kafka+Storm 框架,Flume 负责数据的收集,Kafka 负责数据的缓存,Storm负责数据的高效实时计算(过滤、关联和汇聚);对于离线处理采用批处理计算方式,采用的是开源社区活跃度非常高的Spark 计算框架,同时为了降低学习难度,使用Hive 将Spark 任务转换为熟悉的SQL 任务,由于Spark 是内存型计算,因此相比传统的Shell 计算以及Hadoop 的MapReduce 方式,Spark 在计算效率上有明显的优势.

4. 数据预测

数据通过实时和离线方式处理完成后即形成集中的数据平台,以统一的接口对外发布,在此基础上引入相关模型可以对数据进行进一步的利用.由于数据中心的数据很多是带有时间戳的,即时序数据,因此可以采用数据预测模型,对历史数据进行建模,进而对未来的数据进行预测.首先引入时序数据库InfluxDB 存储时序数据,它不仅可以优化数据存储结构,而且可以对大规模数据进行高效的统计分析,自带的管理工具方便对时序数据进行管理;其次,采用Facebook 开源的大规模数据预测工具Prophet 对时序数据进行预测,它采用加性回归模型,同时对指定的节假日进行建模,非常符合应用性能分析数据的特点(比如工作日的交易量明显高于节假日).

5. 应用层

应用层建立在数据预测层之上,主要是基于数据预测结果的不同应用,这些应用包括数据可视化(集中数据平台的数据也可以直接进行可视化),将预测数据按指定格式送入监控系统作为一种监控数据源.对于容量数据的分析预测有助于容量管理,与此同时数据预测还可以为上层的决策提供指导.下面一章将对兴业银行数据中心的实际应用场景进行详细描述.

三、应用场景

目前,兴业银行数据中心数据分析预测平台已稳定运行半年有余,每天新增的数据量已达亿级别.对于应用性能数据,以核心业务系统为例,每天新增6000 万笔交易,根据预测很快将到达亿级规模;对于容量数据,以接入系统的文件系统为例,每天新增2000 万条记录.为了得到较好的数据预测模型,需要积累至少一年以上的时序数据用于模型学习,数据预测在数据可视化、监控告警、容量管理以及分析决策方面都有相关的应用场景.

1. 数据可视化

目前兴业银行数据中心张江主中心总控中心大屏以多种形式展示了数据分析预测平台的相关数据,包括实时的总交易笔数、交易异常笔数、各渠道交易笔数和各网点的交易情况等等.同时将实际数据与预测数据对比显示,清楚直观,一目了然.对于系统信息,可以查看一段时间的系统运行情况,比如数据库表空间使用情况的变化趋势等.

2. 监控报警

传统的监控方式一般是设置两个固定的警戒值(比如80% 和90%,如图2-a 所示),这种方式不够灵活,且容易造成虚报.而基于预测的监控是将预测数据作为基线(如图2-b 所示),并与实际数据进行实时对比,可以得到吻合度评价指标.根据不同的时间区间可以得到当天的吻合度以及过去几分钟的吻合度,将这些评价指标作为监控项反馈入监控系统,当吻合度较低时触发报警.实际运行期间,通过交易量预测及时发现了个人网银系统登录入口疑似被大量重复扫描,运维人员迅速采取应急措施,其后吻合度恢复到正常水平(90% 以上).因此从另一个层面来讲,数据预测也可以应用于网络安全检测,预测模式对比于正常模式,如果实际模式相比预测模式差别较大,则极有可能存在异常访问情况.

3. 容量管理

传统运维中,容量管理占据运维工作很大一部分时间,往往采用监控警戒值进行报警的方式进行被动管理.这种方式不仅处理时效性比较差,而且无形中增加了运维人员的工作量(对告警事件的响应).通过对容量数据进行分析预测,可以直观地看到容量的变化趋势,从而为资源配置以及容量规划提供指导依据,有助于节约IT 成本.此外,积累的容量数据也是自动化容量管理的前提,大量的容量模型可以用于学习决策模型,为自动化容量管理提供依据.

4. 分析决策

应急与预警是数据中心运维重点提升的两大能力.应急首先需要进行故障定位,传统的网络测试、应用日志查看和系统巡检方式难以及时定位故障问题,因此无法迅速隔离、恢复.采用集中式的数据分析预测平台,则可以从多个角度反映系统运行状况.比如,对于交易可以精确到交易代码、交易渠道和上下游系统,建立交易拓扑链路之后,将各个环节与正常模式(预测获取)进行对比,从而迅速定位出故障源,并为上层领导提供决策支持,决定是否需要进行故障隔离或者启用故障应急措施.此外,当积累足够多的故障数据后,可以对监控策略进行自适应优化,对故障进行规律性分析等.

四、未来展望

将来的工作中,兴业银行将在以下三个方面继续探索和实践,使数据分析预测平台发挥更大的作用.

1. 多维关联分析

目前,数据分析预测平台已实现了数据的集中,但是对于数据的分析仍然处于单一维度状态,比如对于交易数据和容量数据采用独立的两种分析方法.大数据时代不再是以前传统思维时代的因果分析,而是相关性分析.因此需要对多维数据进行关联性分析,从而充分挖掘数据的潜在价值,比如通过关联分析交易数据和数据库I/O 吞吐率,定位到某次故障的原因是数据库未及时更新统计数据,导致数据库性能下降,进而引起应用服务无法及时响应,服务堵塞,造成服务连续性下降.在关联分析的基础上,不仅可以发现故障,进一步更可以对故障进行预测,提前进行警示,从而避免类似故障的发生.

2. 扩展数据源

目前接入数据分析预测平台的数据源主要是运维相关数据.然而数据中心最有价值的仍然是业务数据,当数据分析预测技术在运维数据上应用成熟时,可以推广到对业务数据的分析预测,比如分析客户行为特征,建立用户画像,从而为精准营销提供辅助.再者,可以将运维数据和业务数据结合起来进行分析,比如根据对交易响应时间的分析预测改进客户体验,制定合适的促销推广计划(抢红包、高收益理财等).最后,通过对业务数据分析可以识别出可疑交易,进而为反洗钱、反金融诈骗提供决策支持.

3. 认知智能

归根结底,数据分析预测属于人工智能范畴,而未来的数据中心也将朝着智能化方向发展.数据中心的智能其实是建立在数据智能的基础上,随着数据量的不断增加,数据模型不断地迭代优化,数据中心的智能水平也将不断提高,自我认知决策能力也将提升.结合自动化运维,过去需要人工介入的运维工作将逐步由机器取代,从而实现数据中心的自我运维.

图1 数据分析预测平台架构

图2 传统监控方式 vs 基于预测的监控

数据中心论文参考资料:

关于大数据的论文

毕业论文数据怎么找

大数据杂志

论文数据

有关大数据的论文

数据挖掘论文

上文点评,上文是一篇关于数据中心方面的大学硕士和本科毕业论文以及分析预测和数据中心和实践相关数据中心论文开题报告范文和职称论文写作参考文献资料。

和你相关的