ADM敏捷數據管理解決方案-

需求場景
需求分析
解決方案
方案優勢

需求場景

金融業作爲資金密集型行業，數據具有高敏感性和高價值性的特征，因此對(duì)數據的安全使用有著(zhe)極高的要求，如何安全地使用數據、最大程度地發(fā)揮其價值，是金融業一直以來研究的課題，開(kāi)發(fā)測試業務作爲數據使用頻繁的典型應用場景，受到金融用戶重點的關注，如何滿足開(kāi)發(fā)測試環境對(duì)數據的申請要求、如何提升數據交付的效率、如何管理數據使用的版本等，是開(kāi)發(fā)測試部門常見的工作需求，金融用戶通過(guò)滿足開(kāi)發(fā)測試人員日常面(miàn)臨的數據使用與管理需求，達到顯著縮短業務上線周期的目标。

需求分析

要求縮短測試數據的交付時(shí)間項目的開(kāi)發(fā)及測試是有時(shí)間周期的，由于數據量較大、數據申請較爲頻繁，一般一份數據的準備時(shí)間在一周左右，等待數據的時(shí)間較久，此問題不解決，將(jiāng)會(huì)成(chéng)爲開(kāi)發(fā)測試提升效率的瓶頸。所以，如何提升數據副本的交付效率，是開(kāi)發(fā)測試場景中首先要考慮的需求。
要求滿足不同的數據申請需求對(duì)于開(kāi)發(fā)測試業務而言，數據的需求是多樣的，有的要求某個時(shí)間點的數據，有的要求當天或前一天的數據；針對(duì)新上線的業務系統，還(hái)會(huì)有造數需求。針對(duì)不同數據申請需求，要求全部滿足，需要考慮多種(zhǒng)數據獲取方式。
要求敏感數據使用前進(jìn)行脫敏在使用數據的時(shí)候，既要考慮到敏感數據的安全性問題，又要考慮到工作效率問題，因此，在對(duì)數據交付使用前，需要對(duì)敏感數據做相應的處理工作。要做到最大程度發(fā)現敏感信息，确保敏感數據不遺漏，還(hái)需要做到對(duì)敏感數據的仿真脫敏，以使得敏感數據脫敏後(hòu)滿足校驗要求。
要求數據使用流程閉環開(kāi)發(fā)測試使用的數據，多爲從生産系統中獲取的數據，基于安全和效率考慮，需要將(jiāng)數據獲取、數據存儲、數據交付、數據管理、數據回收實現全流程的閉環管理。
要求對(duì)副本數據進(jìn)行高可用保護交付到開(kāi)發(fā)測試環境的數據，雖說(shuō)是經(jīng)過(guò)處理的副本數據，但對(duì)于開(kāi)發(fā)測試人員來講，該數據爲測試基準數據，需要考慮到副本數據的保護問題，一旦發(fā)生故障，能(néng)夠快速恢複副本數據，不影響副本數據的正常使用。

解決方案

考慮到數據的多種(zhǒng)獲取方式及數據的閉環管理，在生産域、備份域和測試域分别部署一台敏捷數據管理平台ADM Server：生産域的ADM Server用于直接備份生産數據，以獲取實時(shí)性的副本數據；備份域的ADM Server用于從NBU/CommVault備份系統中獲取備份數據，以獲取任意時(shí)間點的副本數據；測試域的ADM Server用于接收生産域或備份域處理後(hòu)的副本數據，用于測試環境的數據交付域。
生産域、備份域均屬于生産網絡，而測試域屬于測試網絡，兩(liǎng)個網絡是獨立的，考慮到安全性與數據的傳輸效率，需要將(jiāng)生産網絡與測試網絡單向(xiàng)打通。
生産域的ADM Server可用于實時(shí)備份有頻繁交付數據需求的業務系統，可實現備份集備份、原格式備份兩(liǎng)種(zhǒng)備份方式。
備份域的ADM Server可用于從NBU/CommVault備份系統中獲取任意時(shí)間點的備份數據，并且在獲取數據的同時(shí)，也可以幫助用戶解決備份數據恢複校驗的問題。
測試域的ADM Server可用于滿足研發(fā)/測試環境的數據交付、副本數據版本管理、副本數據版本切換、副本數據回收等需求。

方案優勢

1.測試數據快速交付

敏捷數據管理平台ADM采用創新型技術——數據庫虛拟化技術幾分鍾内創建完成(chéng)虛拟數據庫，快速將(jiāng)已經(jīng)脫敏過(guò)的數據作爲黃金副本傳輸到開(kāi)發(fā)測試網，有效減少開(kāi)發(fā)測試場景中測試數據的準備時(shí)間，提高了開(kāi)發(fā)測試環境搭建的效率；
多份虛拟數據庫讀寫操作獨立，完全滿足測試環境多場景同步測試的需求。

2.測試數據存儲節約

ADM内置獨有的高效壓縮存儲池，壓縮比達3:1，顯著降低了基礎數據源獲取的存儲成(chéng)本，一份基礎數據源，可挂載多份虛拟數據庫，節約了存儲成(chéng)本10倍以上，快照共享降低了持續增長(cháng)的副本數據存儲成(chéng)本。

3.測試數據動态快照版本管理

ADM快照功能(néng)，可以靈活對(duì)虛拟數據庫的狀态進(jìn)行管理和維護，便于開(kāi)發(fā)測試的數據版本叠代。動态快照的使用保證了虛拟數據庫持續對(duì)外提供服務，不影響測試業務的連續性。

4.測試數據集中統一管理

測試數據具有數據副本多、數據版本多的特性，人爲管理容易形成(chéng)較多的僵屍數據，造成(chéng)存儲資源的浪費，通過(guò)ADM管理測試數據，可以形成(chéng)閉環流程，集中統一管理測試數據的交付與版本管理，提升數據管理效率的同時(shí)，杜絕了僵屍數據的産生。

5.測試數據系統可視化管理

測試環境的數據，版本繁多，傳統人爲創建副本保存的測試數據，很難形成(chéng)有效的數據血統管理，通過(guò)ADM的部署，利用可視化的結構拓撲圖，可以清晰展現數據版本間的血統關系，對(duì)數據的使用一目了然。

6.數據脫敏保證金融數據安全

ADM平台具備數據脫敏管理模塊，可實現自動掃描識别敏感數據，精準定位敏感數據源，提供豐富的仿真脫敏算法，保證脫敏後(hòu)的數據關系一緻，異構和并發(fā)脫敏提升了數據脫敏的效率，降低了數據洩露的風險。 ADM的數據副本管理與數據脫敏管理可以實現良好(hǎo)的聯動，不僅能(néng)夠快速準備脫敏數據源，還(hái)能(néng)實現脫敏數據的快速分發(fā)。