基于CDM技術的敏捷數據管理(lǐ)實踐分享

光大(dà)證券 基礎數據管理(lǐ)團隊 孫偉、沈波

一、前言

近年來(lái)，證券業務快(kuài)速發展，信息系統變更日益頻繁，敏捷開(kāi)發、快(kuài)速叠代已經成爲支持業務創新的必要條件。數據庫作(zuò)爲信息系統運行的重要支撐，數據準備和(hé)交付的自(zì)動化程度對(duì)系統開(kāi)發、測試效率有較大(dà)的影響。

二、測試數據準備遇到(dào)的困難

測試數據的準備通常包括數據庫備份、數據庫脫敏、數據庫恢複等幾大(dà)步驟。在備份環節，我司主要是利用(yòng)數據庫自(zì)帶的備份功能(néng)進行數據庫物理(lǐ)和(hé)邏輯備份，并通過統一備份平台對(duì)備份文(wén)件進行備份。

根據測試實際需求，如需要真實數據，我們通常采用(yòng)灰度環境，灰度環境的數據準備主要有兩種方式：直接采用(yòng)實時(shí)備庫或者是采用(yòng)與生産隔離的數據庫。

兩種方式各有優劣，第一種方式的優點在于數據是實時(shí)和(hé)生産庫同步，省去了(le)數據導入的環節，而且對(duì)于某些(xiē)數據庫如ORACLE DATAGUARD可以利Flashback功能(néng)在測試完成之後快(kuài)速恢複與生産的同步，缺點在于如DB2，SQLSERVER,MYSQL等數據庫并不支持一鍵恢複同步功能(néng)，往往需要重新恢複備庫以及和(hé)主庫同步關系；對(duì)于第二種方式顯著優點是在于與生産環境隔離，導入和(hé)恢複都不會(huì)影響到(dào)生産環境，更加安全，但(dàn)是往往時(shí)間需要更久，因爲包括了(le)備份文(wén)件傳輸，數據導入，也(yě)犧牲了(le)實時(shí)性。

如果數據到(dào)測試或者開(kāi)發環境，根據《證券期貨業信息系統運維管理(lǐ)規範》數據用(yòng)于非生産環境時(shí)，應進行脫敏處理(lǐ)。結合我司實際安全要求，脫敏工(gōng)作(zuò)必須在進入測試或者開(kāi)發之前完成。對(duì)于全庫的數據準備步驟以及時(shí)間更加複雜(zá)：

需要在脫敏區(qū)域對(duì)數據庫備份文(wén)件進行導入還原到(dào)脫敏區(qū)域；

通過脫敏工(gōng)具對(duì)該庫中的敏感數據進行脫敏；

重新進行全庫備份；

備份文(wén)件通過至少2次傳輸到(dào)達測試環境；

在測試環境進行全庫導入/還原。

整個過程經曆了(le)2次備份，2次還原，至少2次傳輸操作(zuò)，時(shí)間長且複雜(zá)度高(gāo)，嚴重影響測試開(kāi)發環境數據準備。

除了(le)影響測試數據的準備效率，我們還面臨另外(wài)一種場景，數據庫備份的定期驗證，定期驗證的重要性不言而喻，有多個案例表明(míng)在真正需要用(yòng)到(dào)數據庫備份進行恢複時(shí)，發現(xiàn)備份文(wén)件不可用(yòng)。尤其是對(duì)于一些(xiē)穩态系統，由于日常叠代需求很(hěn)低(dī)，如果不定期對(duì)數據庫備份進行驗證，一旦遇到(dào)需要數據庫恢複場景，很(hěn)可能(néng)遭遇備份文(wén)件不可用(yòng)局面。結合行業要求，我司每季度會(huì)對(duì)所有數據庫備份文(wén)件進行恢複驗證，由于數據庫種類繁多，數據量很(hěn)大(dà)，這(zhè)個工(gōng)作(zuò)需要耗費大(dà)量的人力和(hé)時(shí)間。

基于以上(shàng)遇到(dào)的問題，我們進行了(le)市場調研，接觸到(dào)了(le)一種基于CDM（Copy Data Management，數據副本管理(lǐ)）技術的敏捷數據管理(lǐ)平台，通過對(duì)該技術的運用(yòng)，我們整合了(le)CDM和(hé)脫敏相關工(gōng)具，實現(xiàn)了(le)生産到(dào)開(kāi)發測試環境的數據快(kuài)速交付，以及實現(xiàn)了(le)備份數據的自(zì)動化周期性的恢複校驗。

三、基于CDM技術實踐

CDM技術簡介

Gartner對(duì)CDM的定義是，它從(cóng)生産環境通過快(kuài)照技術獲取有應用(yòng)一緻性保證的數據，在非生産存儲上(shàng)生成“黃金(jīn)副本”（Golden Image），這(zhè)個“黃金(jīn)副本”數據格式是原始的磁盤格式，可再虛拟化成多個副本直接挂載給服務器，分别用(yòng)于備份恢複、容災或開(kāi)發測試等。

基于CDM技術的敏捷數據管理(lǐ)實踐

我們在調研市場後，發現(xiàn)當前主要存在以下(xià)三種CDM技術産品：

1、以存儲爲核心提供的CDM，雖然能(néng)夠提供快(kuài)照和(hé)克隆功能(néng)，但(dàn)很(hěn)難實現(xiàn)跨異構存儲，構建企業級規則驅動的副本數據平台，并缺乏豐富的數據服務能(néng)力，無法提供自(zì)動化、自(zì)服務等功能(néng)。

2、塊級CDP技術提供的CDM功能(néng)，利用(yòng)CDP技術所創建的副本數據，是一種磁盤快(kuài)照技術，無法保證數據的一緻性，并且同一時(shí)間的磁盤快(kuài)照隻能(néng)挂載一份，難以滿足多應用(yòng)場景的數據需求。

3、端到(dào)端的CDM：把單純面向恢複的應用(yòng)場景，變成了(le)面向數據使用(yòng)的應用(yòng)場景，通過副本數據在各個業務環節的即時(shí)可用(yòng)，爲更多業務場景提供數據支撐。

以存儲爲核心的CDM和(hé)塊級CDP提供的CDM功能(néng)，按照Gartner的定義，屬于“類”CDM。我們最終選擇了(le)端到(dào)端的CDM技術産品，在生産到(dào)灰度環境、生産到(dào)開(kāi)發測試環境的數據快(kuài)速交付，以及備份數據的自(zì)動恢複校驗三個應用(yòng)場景。

圖1：整體業務架構拓撲

生産到(dào)灰度環境的數據快(kuài)速複制

利用(yòng)CDM産品的數據庫虛拟化技術，通過一份數據副本，可快(kuài)速創建出多個虛拟數據副本，這(zhè)些(xiē)虛拟數據副本幾乎不占用(yòng)任何存儲空(kōng)間，且整個發布動作(zuò)可以分鐘(zhōng)級完成。

1）具體流程：

對(duì)接生産庫備庫，定時(shí)進行全量，增量備份，并實時(shí)備份獲取數據歸檔日志；

2）當需要數據時(shí)，将指定時(shí)間點的數據挂載發布到(dào)灰度環境（發布到(dào)灰度環境上(shàng)數據不需要脫敏）；

3）測試結束後，銷毀灰度數據庫。

生産到(dào)開(kāi)發測試環境的數據快(kuài)速複制

通過部署CDM方案，分鐘(zhōng)内創建完成虛拟數據庫并調用(yòng)脫敏系統對(duì)虛拟數據庫執行脫敏，脫敏後數據自(zì)動推送複制到(dào)中間網CDM，經過中間網CDM節點可将脫敏數據分鐘(zhōng)級挂載發布到(dào)測試網，有效減少開(kāi)發測試場景中測試數據的準備時(shí)間，提高(gāo)開(kāi)發測試環境搭建的效率。

（1）網絡說明(míng)

生産網和(hé)測試網進行物理(lǐ)隔離，生産網和(hé)中間網、中間網和(hé)測試網分别可點對(duì)點打通。

（2）開(kāi)發測試數據快(kuài)速交付

1）在生産網和(hé)中間網分别部署CDM節點；

2）生産數據脫敏在生産網内完成；

3）生産網CDM節點将脫敏後的數據推送到(dào)中間網CDM節點；

4）脫敏數據通過中間網挂載發布到(dào)測試網的開(kāi)發測試環境；

5）測試結束後，按策略定期銷毀數據。

（3）數據脫敏

部署CDM前的數據脫敏，需要分别在生産網和(hé)中間網各部署一套脫敏系統，生産數據不能(néng)直接給到(dào)測試網，需要經曆從(cóng)生産網到(dào)中間網、從(cóng)中間網到(dào)測試網的兩次數據抽取和(hé)脫敏，并且是面向整庫全量數據的抽取。

部署CDM後的數據脫敏，生産網部署一套脫敏系統，将數據發布到(dào)生産網的脫敏環境并執行脫敏任務後，脫敏數據利用(yòng)CDM節點之間的遠程複制功能(néng)推送到(dào)中間網，并通過中間網挂載發布到(dào)測試網。

（4）測試數據版本管理(lǐ)

開(kāi)發測試環境在使用(yòng)數據的過程中存在測試數據版本回退、新老(lǎo)版本并行測試等場景。通過CDM的虛拟數據庫版本管理(lǐ)機制，可以實現(xiàn)秒級版本回退操作(zuò)，以及通過版本快(kuài)照分鐘(zhōng)級創建曆史版本數據環境，實現(xiàn)曆史環境、當前環境的新老(lǎo)版本并行對(duì)比測試。并且，使用(yòng)中的虛拟數據庫可以實現(xiàn)秒級創建動态快(kuài)照，虛拟數據庫可持續保持對(duì)外(wài)提供服務，不影響測試業務連接。

備份數據的自(zì)動校驗

校驗的主要目的是爲了(le)定期檢驗備份文(wén)件有效性，保證在恢複和(hé)還原數據文(wén)件時(shí)的可用(yòng)。

利用(yòng)CDM對(duì)接我司統一備份平台，實現(xiàn)備份數據的自(zì)動化恢複校驗。定時(shí)抽取備份數據并自(zì)動進行有效性驗證，保證備份數據的可用(yòng)。過去，考慮到(dào)作(zuò)業周期長，工(gōng)作(zuò)量大(dà)，備份數據校驗按季度來(lái)進行，在CDM方式下(xià)可縮短至按周進行。

四、結束語

通過CDM解決方案的實施，我們實現(xiàn)了(le)一個平台、一站(zhàn)式解決數據獲取，數據存儲，數據構建，數據使用(yòng)，數據銷毀，在保證合規性基礎上(shàng)，以敏捷的數據全生命周期管理(lǐ)，更好(hǎo)地實現(xiàn)數據共享和(hé)數據利用(yòng)。