随着科技的不断进步，互联网技术的发展给我们的生活带来了许多的便利，让我们足不出户便可以享受到世界各地美食、奢侈品以及其他服务，彻底改变了传统的支付方式和企业经营方式。
近年来，个人以及企业的资金流通量不断上升，人民银行为应对和预防新型洗钱犯罪活动，相继颁布了多项反洗钱发文和指引。在未来，银行的日交易流水数据量飞速的增长，反洗钱法规不断完善的前提下，对各行社反洗钱工作的时效性等要求越来越高，并且意味着反洗钱系统也将需要技术的革新。
一、建设目标
某省农信社，前一代反洗钱系统于2012年10月上线，实现了以自定义可疑监测标准为核心，贯彻落实风险为本的思想，后因人行推行反洗钱法人监管工作及村镇银行改造的要求，先后进行两次系统改造以及数次小规模优化，承担了近年来日益繁重的反洗钱工作。
由于基础数据量不断增长（每日交易流水从50W增加到400W，存量数据已增至18亿）、客户洗钱风险评级结果不断新增(目前已增至1.8亿条）和各行社（含村镇银行）个性化可疑规则的不断增加（原有近百条全省统一规则，目前又增加了超过150条个性化规则），对反洗钱批量处理的性能造成了一定的压力。为保证反洗钱系统的快速稳定运行，某省农信社对反洗钱批量处理的性能进行改造优化，以适应现有反洗钱业务开展和监管要求。
二、系统规划
本次改造将在不影响现有反洗钱系统前端WEB功能正常使用的情况下，引入MPP数据库框架，重点提高后端批量跑批的效率，缩短后台批量处理的时长，并将前后台的数据处理进行隔离，完成后台加工处理结果与现有WEB程序的有效对接。
（一）利用MPP数据库并行计算的特点，提高反洗钱后台批量处理的效率，缩短跑批时长。
（二）利用MPP数据库高动态扩展能力的特点，可支持动态新增机器，提高并行计算的能力，防止再次出现因业务不断增长导致后端批量处理时长变长的问题，在架构上具有良好的横向扩展能力和延续性。
（三）利用MPP数据库高效压缩的特点，提高数据I/O吞吐能力，缩短数据装载时长；同时又减少数据存储的空间，符合大数据建设的方向。
三、建设收益
反洗钱信息监控系统，通过引入大数据系统，能够有效提升系统处理效率，满足人民银行监管要求，同时解决了数据存储资源占用率高、历史数据查询缓慢、人民银行频繁取数检查困难等关键问题，在面对未来业务量的增长，可能增加的监管规则、人行取数检查、大数据量监控有更强的适应能力。
(一)采用混合框架MPP优化反洗钱系统
本项目通过选用Oracle 11g和GBase 8a混合数据库框架，利用各自数据库的处理技术优点，适应不同应用场景，提高整体批次性能，支持在线事务操作。
Oracle：为日常业务进行数据分析、并发性事物处理提供良好策略，其数据每天提取业务变动部分增量同步到Gbase。
GBase 8a：为应对反洗钱数据的复杂加工、分析逻辑，提高处理性能，其提取每天新增数据同步到Oracle，同时存储大量历史数据。
两数据库之间每日双向同步，Oracle端保留日常所需2年左右的数据量，保证用户流畅的系统操作体验感；Gbase 8a保留5年以上历史数据，能有效提高人行数据检查的需要。
由于Oracle和Gbase 8a数据库的不同特点，调整原本使用在Oracle的优化方式或者处理逻辑。
主要针对以下方面：
1、使用GBase 8a数据库从上游系统加载数据，且动态化、简化配置方式，比传统Oracle加载方式提高5倍。
2、深度优化规则处理逻辑，有效利用GBase 8a临时表的特性、智能优化算法、以及数据轮询处理机制，提高规则计算速度。
3、利用大数据数据库优点，取消分区数据，加快性能。Oracle需要通过分区进行局部加工处理的数据，在GBase 8a可以全量处理，数据量大的处理优势较为明显。
4、ETL处理性能深度优化，重构原Oracle存储过程，通过GBase 8a提供的高效的处理能力、丰富的函数方法，重写处理逻辑，兼具性能同时有更高可读性。
5、对反洗钱主要的三类数据，案例数据、评级数据、报表数据，使用独立的、异步进行的数据同步和整合机制，提高系统运行效率。
(二)构建和完善历史数据分析
根据人民银行监管要求，反洗钱系统必须存放可查询的5年历史数据。某省农信社2017年每月流水量平均达到了1亿，以传统数据库查询5年的数据（18亿）非常困难。
在反洗钱系统改造过程中，银丰新融已深入考虑数据查询需求，以及人民银行300号文内容，引入多数据源处理策略，并建立相应的模块，可以自定义其查询内容、支持自定义存储或SQL调用、动态参数表和导出的功能模块。在查询大数据量内容，可以选择Gbase 8a数据库，利用Gbase 8a的性能提高效率，大部分数据提取场景可在秒级统计完毕。
该反洗钱系统，通过技术层面的全面考量、及其扩展性设计，已针对历史数据查询建立相关的查询模型。能够协助业务人员以高效、快速、准确的数据分析结果。
(三)精确量化规则模型
随着国际金融的不断创新，反洗钱监管环境也在不断变化，而针对新增规则，对指标进行量化十分重要。在反洗钱监测过程中，各级行社需要根据自身地理位置、交易情况、获取的数据质量、以及系统性能方面进行复杂的考量，决定规则的量化指标。
某省农信社由于交易量巨大，基于传统Oracle数据库上，如需对新增的261、73、201等规则进行开发测试，较为困难，尤其是针对多次重跑或者周期较长的规则。现经过改造优化，在大数据环境下，该省农信社开发环境仍然可以通过400W数据量实现2小时内完成一天案例批次，为大数据量环境下精确且有效分析规则指标、规则自校验等成为可能。
(四)存储空间优化
在传统Oracle数据库中，执行语句的执行计划与表分析统计情况有关，为达到优化的速度、效率需要，牺牲部分空间建立索引，但索引又可能影响插入、更新等操作性能，同时需要耗费大量时间对表空间进行整理，以释放空间或维护索引有效。
改造后GBase 8a使用默认5.5压缩，压缩率提高了约4倍，在保证查询使用效率的前提下，但其执行计划使用智能索引，大部分情况无需另外创建索引，维护成本相对较低。
(五)监管报表处理优化
通过把批次程序从Oracle到GBase 8a的优化改造，将报表计算进行改造，帮助行里非现场监督报表、洗钱风险评级客户年报表、大额可疑上报情况报表等，进行全面升级调优，经严谨测试确认，保证准确性且及时满足监管要求。
