ADM敏捷数据管理解决方案-

需求场景
需求分析
解决方案
方案优势

需求场景

金融业作为资金密集型行业，数据具有高敏感性和高价值性的特征，因此对数据的安全使用有着极高的要求，如何安全地使用数据、最大程度地发挥其价值，是金融业一直以来研究的课题，开发测试业务作为数据使用频繁的典型应用场景，受到金融用户重点的关注，如何满足开发测试环境对数据的申请要求、如何提升数据交付的效率、如何管理数据使用的版本等，是开发测试部门常见的工作需求，金融用户通过满足开发测试人员日常面临的数据使用与管理需求，达到显著缩短业务上线周期的目标。

需求分析

要求缩短测试数据的交付时间项目的开发及测试是有时间周期的，由于数据量较大、数据申请较为频繁，一般一份数据的准备时间在一周左右，等待数据的时间较久，此问题不解决，将会成为开发测试提升效率的瓶颈。所以，如何提升数据副本的交付效率，是开发测试场景中首先要考虑的需求。
要求满足不同的数据申请需求对于开发测试业务而言，数据的需求是多样的，有的要求某个时间点的数据，有的要求当天或前一天的数据；针对新上线的业务系统，还会有造数需求。针对不同数据申请需求，要求全部满足，需要考虑多种数据获取方式。
要求敏感数据使用前进行脱敏在使用数据的时候，既要考虑到敏感数据的安全性问题，又要考虑到工作效率问题，因此，在对数据交付使用前，需要对敏感数据做相应的处理工作。要做到最大程度发现敏感信息，确保敏感数据不遗漏，还需要做到对敏感数据的仿真脱敏，以使得敏感数据脱敏后满足校验要求。
要求数据使用流程闭环开发测试使用的数据，多为从生产系统中获取的数据，基于安全和效率考虑，需要将数据获取、数据存储、数据交付、数据管理、数据回收实现全流程的闭环管理。
要求对副本数据进行高可用保护交付到开发测试环境的数据，虽说是经过处理的副本数据，但对于开发测试人员来讲，该数据为测试基准数据，需要考虑到副本数据的保护问题，一旦发生故障，能够快速恢复副本数据，不影响副本数据的正常使用。

解决方案

考虑到数据的多种获取方式及数据的闭环管理，在生产域、备份域和测试域分别部署一台敏捷数据管理平台ADM Server：生产域的ADM Server用于直接备份生产数据，以获取实时性的副本数据；备份域的ADM Server用于从NBU/CommVault备份系统中获取备份数据，以获取任意时间点的副本数据；测试域的ADM Server用于接收生产域或备份域处理后的副本数据，用于测试环境的数据交付域。
生产域、备份域均属于生产网络，而测试域属于测试网络，两个网络是独立的，考虑到安全性与数据的传输效率，需要将生产网络与测试网络单向打通。
生产域的ADM Server可用于实时备份有频繁交付数据需求的业务系统，可实现备份集备份、原格式备份两种备份方式。
备份域的ADM Server可用于从NBU/CommVault备份系统中获取任意时间点的备份数据，并且在获取数据的同时，也可以帮助用户解决备份数据恢复校验的问题。
测试域的ADM Server可用于满足研发/测试环境的数据交付、副本数据版本管理、副本数据版本切换、副本数据回收等需求。

方案优势

1.测试数据快速交付

敏捷数据管理平台ADM采用创新型技术——数据库虚拟化技术几分钟内创建完成虚拟数据库，快速将已经脱敏过的数据作为黄金副本传输到开发测试网，有效减少开发测试场景中测试数据的准备时间，提高了开发测试环境搭建的效率；
多份虚拟数据库读写操作独立，完全满足测试环境多场景同步测试的需求。

2.测试数据存储节约

ADM内置独有的高效压缩存储池，压缩比达3:1，显著降低了基础数据源获取的存储成本，一份基础数据源，可挂载多份虚拟数据库，节约了存储成本10倍以上，快照共享降低了持续增长的副本数据存储成本。

3.测试数据动态快照版本管理

ADM快照功能，可以灵活对虚拟数据库的状态进行管理和维护，便于开发测试的数据版本迭代。动态快照的使用保证了虚拟数据库持续对外提供服务，不影响测试业务的连续性。

4.测试数据集中统一管理

测试数据具有数据副本多、数据版本多的特性，人为管理容易形成较多的僵尸数据，造成存储资源的浪费，通过ADM管理测试数据，可以形成闭环流程，集中统一管理测试数据的交付与版本管理，提升数据管理效率的同时，杜绝了僵尸数据的产生。

5.测试数据系统可视化管理

测试环境的数据，版本繁多，传统人为创建副本保存的测试数据，很难形成有效的数据血统管理，通过ADM的部署，利用可视化的结构拓扑图，可以清晰展现数据版本间的血统关系，对数据的使用一目了然。

6.数据脱敏保证金融数据安全

ADM平台具备数据脱敏管理模块，可实现自动扫描识别敏感数据，精准定位敏感数据源，提供丰富的仿真脱敏算法，保证脱敏后的数据关系一致，异构和并发脱敏提升了数据脱敏的效率，降低了数据泄露的风险。 ADM的数据副本管理与数据脱敏管理可以实现良好的联动，不仅能够快速准备脱敏数据源，还能实现脱敏数据的快速分发。