ADM敏捷數據管理(lǐ)解決方案-

需求場景
需求分析
解決方案
方案優勢

需求場景

金(jīn)融業作(zuò)爲資金(jīn)密集型行業，數據具有高(gāo)敏感性和(hé)高(gāo)價值性的特征，因此對(duì)數據的安全使用(yòng)有着極高(gāo)的要求，如何安全地使用(yòng)數據、最大(dà)程度地發揮其價值，是金(jīn)融業一直以來(lái)研究的課題，開(kāi)發測試業務作(zuò)爲數據使用(yòng)頻繁的典型應用(yòng)場景，受到(dào)金(jīn)融用(yòng)戶重點的關注，如何滿足開(kāi)發測試環境對(duì)數據的申請(qǐng)要求、如何提升數據交付的效率、如何管理(lǐ)數據使用(yòng)的版本等，是開(kāi)發測試部門(mén)常見的工(gōng)作(zuò)需求，金(jīn)融用(yòng)戶通過滿足開(kāi)發測試人員日常面臨的數據使用(yòng)與管理(lǐ)需求，達到(dào)顯著縮短業務上(shàng)線周期的目标。

需求分析

要求縮短測試數據的交付時(shí)間項目的開(kāi)發及測試是有時(shí)間周期的，由于數據量較大(dà)、數據申請(qǐng)較爲頻繁，一般一份數據的準備時(shí)間在一周左右，等待數據的時(shí)間較久，此問題不解決，将會(huì)成爲開(kāi)發測試提升效率的瓶頸。所以，如何提升數據副本的交付效率，是開(kāi)發測試場景中首先要考慮的需求。
要求滿足不同的數據申請(qǐng)需求對(duì)于開(kāi)發測試業務而言，數據的需求是多樣的，有的要求某個時(shí)間點的數據，有的要求當天或前一天的數據；針對(duì)新上(shàng)線的業務系統，還會(huì)有造數需求。針對(duì)不同數據申請(qǐng)需求，要求全部滿足，需要考慮多種數據獲取方式。
要求敏感數據使用(yòng)前進行脫敏在使用(yòng)數據的時(shí)候，既要考慮到(dào)敏感數據的安全性問題，又要考慮到(dào)工(gōng)作(zuò)效率問題，因此，在對(duì)數據交付使用(yòng)前，需要對(duì)敏感數據做相應的處理(lǐ)工(gōng)作(zuò)。要做到(dào)最大(dà)程度發現(xiàn)敏感信息，确保敏感數據不遺漏，還需要做到(dào)對(duì)敏感數據的仿真脫敏，以使得敏感數據脫敏後滿足校驗要求。
要求數據使用(yòng)流程閉環開(kāi)發測試使用(yòng)的數據，多爲從(cóng)生産系統中獲取的數據，基于安全和(hé)效率考慮，需要将數據獲取、數據存儲、數據交付、數據管理(lǐ)、數據回收實現(xiàn)全流程的閉環管理(lǐ)。
要求對(duì)副本數據進行高(gāo)可用(yòng)保護交付到(dào)開(kāi)發測試環境的數據，雖說是經過處理(lǐ)的副本數據，但(dàn)對(duì)于開(kāi)發測試人員來(lái)講，該數據爲測試基準數據，需要考慮到(dào)副本數據的保護問題，一旦發生故障，能(néng)夠快(kuài)速恢複副本數據，不影響副本數據的正常使用(yòng)。

解決方案

考慮到(dào)數據的多種獲取方式及數據的閉環管理(lǐ)，在生産域、備份域和(hé)測試域分别部署一台敏捷數據管理(lǐ)平台ADM Server：生産域的ADM Server用(yòng)于直接備份生産數據，以獲取實時(shí)性的副本數據；備份域的ADM Server用(yòng)于從(cóng)NBU/CommVault備份系統中獲取備份數據，以獲取任意時(shí)間點的副本數據；測試域的ADM Server用(yòng)于接收生産域或備份域處理(lǐ)後的副本數據，用(yòng)于測試環境的數據交付域。
生産域、備份域均屬于生産網絡，而測試域屬于測試網絡，兩個網絡是獨立的，考慮到(dào)安全性與數據的傳輸效率，需要将生産網絡與測試網絡單向打通。
生産域的ADM Server可用(yòng)于實時(shí)備份有頻繁交付數據需求的業務系統，可實現(xiàn)備份集備份、原格式備份兩種備份方式。
備份域的ADM Server可用(yòng)于從(cóng)NBU/CommVault備份系統中獲取任意時(shí)間點的備份數據，并且在獲取數據的同時(shí)，也(yě)可以幫助用(yòng)戶解決備份數據恢複校驗的問題。
測試域的ADM Server可用(yòng)于滿足研發/測試環境的數據交付、副本數據版本管理(lǐ)、副本數據版本切換、副本數據回收等需求。

方案優勢

1.測試數據快(kuài)速交付

敏捷數據管理(lǐ)平台ADM采用(yòng)創新型技術——數據庫虛拟化技術幾分鐘(zhōng)内創建完成虛拟數據庫，快(kuài)速将已經脫敏過的數據作(zuò)爲黃金(jīn)副本傳輸到(dào)開(kāi)發測試網，有效減少開(kāi)發測試場景中測試數據的準備時(shí)間，提高(gāo)了(le)開(kāi)發測試環境搭建的效率；
多份虛拟數據庫讀寫操作(zuò)獨立，完全滿足測試環境多場景同步測試的需求。

2.測試數據存儲節約

ADM内置獨有的高(gāo)效壓縮存儲池，壓縮比達3:1，顯著降低(dī)了(le)基礎數據源獲取的存儲成本，一份基礎數據源，可挂載多份虛拟數據庫，節約了(le)存儲成本10倍以上(shàng)，快(kuài)照共享降低(dī)了(le)持續增長的副本數據存儲成本。

3.測試數據動态快(kuài)照版本管理(lǐ)

ADM快(kuài)照功能(néng)，可以靈活對(duì)虛拟數據庫的狀态進行管理(lǐ)和(hé)維護，便于開(kāi)發測試的數據版本叠代。動态快(kuài)照的使用(yòng)保證了(le)虛拟數據庫持續對(duì)外(wài)提供服務，不影響測試業務的連續性。

4.測試數據集中統一管理(lǐ)

測試數據具有數據副本多、數據版本多的特性，人爲管理(lǐ)容易形成較多的僵屍數據，造成存儲資源的浪費，通過ADM管理(lǐ)測試數據，可以形成閉環流程，集中統一管理(lǐ)測試數據的交付與版本管理(lǐ)，提升數據管理(lǐ)效率的同時(shí)，杜絕了(le)僵屍數據的産生。

5.測試數據系統可視(shì)化管理(lǐ)

測試環境的數據，版本繁多，傳統人爲創建副本保存的測試數據，很(hěn)難形成有效的數據血統管理(lǐ)，通過ADM的部署，利用(yòng)可視(shì)化的結構拓撲圖，可以清晰展現(xiàn)數據版本間的血統關系，對(duì)數據的使用(yòng)一目了(le)然。

6.數據脫敏保證金(jīn)融數據安全

ADM平台具備數據脫敏管理(lǐ)模塊，可實現(xiàn)自(zì)動掃描識别敏感數據，精準定位敏感數據源，提供豐富的仿真脫敏算(suàn)法，保證脫敏後的數據關系一緻，異構和(hé)并發脫敏提升了(le)數據脫敏的效率，降低(dī)了(le)數據洩露的風(fēng)險。 ADM的數據副本管理(lǐ)與數據脫敏管理(lǐ)可以實現(xiàn)良好(hǎo)的聯動，不僅能(néng)夠快(kuài)速準備脫敏數據源，還能(néng)實現(xiàn)脫敏數據的快(kuài)速分發。