分类筛选
分类筛选:

关于金融模型方面毕业论文题目范文 与面向金融模型海量估值的复杂计算框架的建设和实践相关毕业论文提纲范文

版权:原创标记原创 主题:金融模型范文 类别:毕业论文 2023-12-24

《面向金融模型海量估值的复杂计算框架的建设和实践》

本文是关于金融模型类毕业论文提纲范文跟估值和复杂计算框架和实践相关毕业论文提纲范文。

近年来,银行业金融市场业务发展迅速,金融产品的种类不断增加,交易规模日益增大,金融模型算法随着业务的纵深发展也日益复杂,交易敞口、风险计量和公允价值计量等海量估值计算相关的处理效率和性能容量受到了挑战.仅仅通过纵向扩展提升服务器性能的方式不但成本高,而且受硬件性能约束,扩展性有限,很难满足业务发展的长远要求.随着大数据和云计算技术的深入发展,传统中心式、集中式的计算模式正朝着多中心(去中心化)、分布式的计算模式演变.

本文详细介绍了一个相对通用的、分布式的任务处理框架(复杂计算框架).该框架设计适用于计算量大或复杂度较大的数据分析型场景,尤其是针对相对集中的数据进行大量计算的场景.

一、建设背景

在传统的以数据库为核心的系统框架中,数据库承担着任务管理和数据存取的双重职责,在计算密集型的系统上,容易造成I/O 瓶颈,最终导致业务批量耗时久,用户体验不佳的状况.伴随着金融市场业务量的不断增长,现有以数据库为核心的架构受数据库自身节点性能与容量的约束,已无法满足后续业务需求.在金融市场业务发展与技术变革的双重驱动下,针对银行每日处理的高密度计算分析性场景,采用分布式计算解决横向扩展问题,不仅可以满足业务海量复杂计算处理需求,同时也达到了计算去数据库的目的.相对于数据仓库的数据密集型应用场景,复杂计算框架更侧重于服务未来计算密集型的应用场景.

二、实现方案

1. 总体设计思路

在任务调度上,复杂计算框架更注重并发控制与资源的合理利用,可充分发挥集群每个节点的处理能力;在数据存储上,采用分布式环境下文件对象存储作为主要解决方案,在保障存储可靠性的基础上使其具有高效的存取性能;在物理资源的部署上,以普通廉价的计算服务器为主,做到所有物理节点的高可扩展、高可用并且无单点.

复杂计算框架整体架构主要包括调度管理、数据管理和资源管理三大部分(如图1 所示).调度管理完成整个复杂计算框架单个作业内多任务依赖关系的管理、任务具体执行顺序的编排和多作业之间并发管理.调度管理由任务管理者与任务处理者组成.数据管理完成整个复杂计算框架不同类型共享数据的统一管理,包括小文件共享(CommonFs)、高速缓存(DynaCache)和持久化保存(DuroData)等.资源管理完成整个复杂计算框架物理资源的动态分配与统一管理.

2. 具体实现方案

(1)调度管理

调度管理是整个框架能够按执行计划完成处理任务的核心功能,也决定着在多任务环境下并发处理的能力.调度管理主要由任务管理者(Driver)与任务处理者(Processor)两个核心部分组成.Driver 的首要职责是对Processor 进行管理,负责发起启动和销毁的命令,同时和Processor 保持同步,监控Processor 的运行状态.Driver 结合资源管理模块,可以做到Processor 的动态扩缩,根据计算资源的忙闲状态动态地调整Processor.Processor 是任务的实际执行者,是一个特殊的服务进程,受资源管理的控制(CPU 和内存约束) 和Driver 的监控,连续地执行Driver 发送的任务请求.复杂计算框架将不同作业拆分后分发至不同的Processor 上进行处理,处理过程中所需的数据由数据管理层进行提供,如图2 所示.

调度管理的完成对作业从请求到结束的全生命周期的管理.严格来说,一套协议由集群、Processor 和Driver 等角色参与,Driver 起主导作用.主要的处理对象包含事件、任务依赖和资源负载等.从物理视图展示实际调度管理两个角色的实际进程所处位置,如图3 所示.

(2)数据管理

复杂计算框架数据管理是为满足计算对数据的输入、输出、共享和访问需求而设计的,并非一般的系统级存储设施.目前主要提供以下三类服务:

① 小文件共享(CommonFs).CommonFs 用于计算需要的临时数据的保存.它主要由Zookeeper(分布式应用程序协调服务)、DataManager 和DataAgent等组件组成(复杂计算框架中小文件共享的基础服务).在集群中形成一套分布式的小文件共享系统,Zookeeper 中主要保存共享系统的元数据.用户可以通过DataClient(复杂计算框架提供的管理客户端)保存、访问和删除小文件.DataAgent 完成所有物理数据的实际管理.整个存储过程的基本步骤如图4 所示.

②高速缓存(DynaCache).高速缓存满足作业对高频变化的数据访问要求,对某些估值计算过程中复用的市场数据,缓存的使用可以大幅减少计算次数,从而提高整体处理效率.由于部分作业对数据访问具有临时性和压力集中的特性,通过动态申请功能避免了作业间的干扰且保证了数据访问的高时效.目前复杂计算框架提供的内存缓存集群以redis( 一种高性能内存数据库) 为主.用户通过CacheResourceClient(复杂计算框架提供的客户端)可以主动申请或者释放缓存资源.一旦申请成功,将独占该资源,直至主动释放资源为止,如图5 所示.

③增量数据持久化保存(DuroData).有些情况下,部分作业使用到跨作业的历史交易存量数据,复杂计算框架将提供增量数据持久化保存服务DuroData(增量数据持久化服务).DuroData 提供保存数据表的功能,相对于关系型数据库提供的逻辑视图,DuroData 模块提供的是持久化的物化视图服务,视图的物化有利于后期计算期间数据的高效查询.视图物化之前将对增量数据根据用户需求进行预处理,根据视图定义文件,将预处理完增量数据与已存在物化视图合并成新的物化视图,供计算使用.数据使用模块通过版本号获取相应的视图数据,增量更新数据保存流程如图6 所示.

(3) 资源管理

复杂计算框架的资源管理主要包括ClusterMaster(资源管理主物理节点)和ClusterSle( 资源管理从物理节点) 两部分.ClusterMaster 完成对ClusterSle的调度, 目前主要采取两种策略: 一是ClusterMaster 向申请者推送空闲ClusterSle 资源,申请者负责领用,推送顺序按照申请者的当前资源使用情况从小到大依次进行.该策略的特点是可以较好地平衡资源,但申请者的处理较为复杂,典型的案例为Mesos(Apache 下的开源分布式资源管理框架).二是由申请者主动向ClusterMaster 申请资源,待资源请求满足后进行分配.该策略的特点是申请者的处理相对简单,但ClusterMaster 实现复杂,易形成瓶颈,典型案例为Yarn(Apache 下的另一种资源协调器).

3. 实现逻辑

基于上述基础框架各模块的协同工作,整个估值作业将被拆分成数据加工任务、拆分与任务生成任务、估值计算任务和结果收集任务四类.数据加工任务主要完成对计算所需数据进行预处理,供计算时直接使用.拆分与任务生成主要是将10 亿笔估值任务按照自定义维度(风险估值时的情景类别和风险类别)进行拆分,拆分成不同的子任务,并根据计算所需数据将子任务组织成直接可计算的请求报文发送给估值计算任务处理服务.估值计算任务主要是对拆分后的子任务根据任务特点进行模型计算.结果收集任务完成对拆分后所有子任务计算结果的汇总与打包,复杂计算框架处理流程如图7 所示.

整个过程中的各个步骤由多个节点并发处理,各类数据在数据加工任务环节按各自组织逻辑被加工成计算所需的数据,并在拆分与任务生成阶段根据原始作业估值计算请求文件被整合为直接可使用的估值报文.整个数据加工阶段由多个数据处理节点处理及存储,去除数据单点;生成的估值报文一次加载便可在整个估值过程中使用,消除不必要的随机I/O,提高了计算效率.

三、金融模型海量估值实践及效果

相对于以数据库为中心的中心式框架,复杂计算框架批量用10 台计算服务器完成了以高性能ORACLE(内存256G,40 CPU 核)为基础的60 台服务器架构的产品量(包括利率类、商品类、外汇类和期权类等产品,约10 亿次估值)的估值计算,如图8 所示.风险估值批量整体耗时减少约30%,整个风险估值批量实际处理耗时减少约40 分钟左右,如图9 所示.

在计算服务器计算性能利用率上,复杂计算框架对资源的利用率相对基于高性能ORACLE 架构单机平均吞吐量单位时间(s)提高了约30% 左右,复杂计算框架单机吞吐量可达到17000tps,如图10 所示.在同样硬件环境下,单节点处理能力也是业界知名Numerix 系统的2.5 倍(Numerix 处理性能约为6700tps).

目前,模拟实验的效果已较充分地证明了计算框架应对大规模密集计算场景的能力,验证了复杂计算框架在平衡任务、合理利用计算资源和整体处理等方面的作用.复杂计算框架与大数据框架的场景差别在于:大数据框架具有大规模的数据集,相对统一的简单计算以及任务规模和数据规模相当的特点;而复杂计算框架具有中等数据集,计算复杂以及任务量可能远多于数据量的特点.复杂计算框架不仅作为一个技术产品,同时可以在数据分析型领域起到一定的补充作用.

目前复杂计算框架在物理资源分配等方面还处于研究阶段,诸多部署相对静态,未来在动态扩缩能力方面将进行完善与提高,例如结合docker 容器技术,物理部署上实现云化,最终形成以容器为单元的计算集群.另外对于提供大数据的存储服务还相对欠缺,未来将通过进一步的研究,例如通过引入ceph(分布式存储)等技术,实现对现有框架的补充.

在多场景情况下,目前复杂计算框架对程序化和高频、超高频交易场景的支持相对较弱,未来可探索与GPU 异构平台进行结合,使整个框架在计算能力上得到质的提高.

金融模型论文参考资料:

金融经济期刊

国内金融期刊排名

建筑模型论文

关于金融的论文

金融经济杂志社

金融博览杂志

此文总结,这是一篇关于估值和复杂计算框架和实践方面的相关大学硕士和金融模型本科毕业论文以及相关金融模型论文开题报告范文和职称论文写作参考文献资料。

和你相关的