淺談跨存儲數據遷移技術與實現論文
1 數據遷移技術
數據遷移方法，要根據具體的存儲設備類型、系統(tǒng)軟硬件架構、系統(tǒng)數據類型等特點，選擇合理、高效、便捷的技術，實現一種或多種技術并用、混用，才能有效地確保業(yè)務的連續(xù)，減少停機時間，可靠安全地進行數據遷移。目前，業(yè)界通用的數據遷移技術實現大致分為如下幾類。
1. 1 基于存儲的遷移方法
基于存儲的遷移特點是基于存儲系統(tǒng)的虛擬化技術或存儲管理技術，有3 種方法實現:存儲陣列內部數據復制，是利用存儲陣列內置數據復制軟件，將源數據卷復制到目標數據卷，如clone。存儲陣列間的數據復制，可基于存儲管理系統(tǒng)的遠程復制技術不消耗服務器資源，并且可根據陣列io 對主應用的影響，來調整數據復制的速度，但條件有所限制，必須在同種品牌廠商存儲設備間進行，如EMC 的VMAX 系列設備同DMX 系列設備間可使用cold push 方式和hot push 方式，利用存儲設備具備的數據復制遷移功能進行數據遷移; 或是基于主機操作系統(tǒng)，利用專業(yè)的存儲復制遷移工具軟件，將不同存儲連接至同一臺主機，實現陣列到陣列的數據復制，但是會耗費一定的系資源，因此要根據應用場景，調整數據復制的速度。利用虛擬化存儲技術，將虛擬化設備融合進SAN 架構的存儲系統(tǒng)，實現存儲設備統(tǒng)一封裝，可以很方便地將數據從源端遷移至目的地，并可兼容主流存儲設備、支持不同廠商或品牌存儲系統(tǒng)間的數據遷移和容災、適合于頻繁的數據遷移，某些業(yè)務場景，可實現跨物理存儲數據遷移而業(yè)務無需中斷，但是需要配置專有的虛擬化設備如EMC 的`Vplex，或具備虛擬化功能的存儲陣列。
1. 2 基于主機操作系統(tǒng)命令的遷移方法
基于主機操作系統(tǒng)命令遷移的特點是數據遷移操作的發(fā)起和控制均發(fā)生在主服務器端，支持聯機遷移，可在不同存儲系統(tǒng)間進行，但對主機性能有一定影響，影響承載業(yè)務的響應效率，適合于主機存儲的非經常性遷移，并且必須根據實際情況評估系統(tǒng)負荷的可行性。
有兩種實現方法: 一種是對采用邏輯卷管理器管理的系統(tǒng)通過邏輯卷數據鏡像實現數據遷移，但目標卷可添加至原卷縮在的卷組中，有些卷組屬性參數支持物理卷數量有限，有一定局限性; 另一種是利用操作系統(tǒng)拷貝( 復制) 命令，如在Unix 系統(tǒng)上使用命令cp、dd、tar 等命令來實現數據復制、lv 復制、文件打包遷移等操作，或在Windows 系統(tǒng)使用圖形界面拷貝或copy命令靈活地進行，但需要進行脫機處理。
1. 3 基于備份管理軟件的遷移方法
基于備份管理軟件遷移的特點是利用備份管理軟件將數據備份到物理或虛擬帶庫，再恢復到新的存儲設備中。如采用在線備份，數據遷移過程對服務器業(yè)務影響相對較小，但在備份時間點與切換時間點之間源數據因聯機操作所造成的數據變化，需要通過手動方式進行同步如數據庫備份工具DSG; 如采用離線備份，必須停止服務器業(yè)務，在數據恢復成功后再恢復業(yè)務運行。備份管理軟件可使用存儲系統(tǒng)自帶軟件，第三方備份工具如EMC network。由于選擇備份方式不同，數據遷移所耗費的實踐會有較大的差異。
1. 4 基于專有應用軟件的遷移方法
采用應用軟件本身的遷移工具、或第三方支持的遷移工具來實現數據遷移，這種方法依賴于應用軟件自身的機制，與主機、存儲種類關系不大，可實現實時復制、定時復制、靜態(tài)復制或數據轉儲。如Oracle 自帶的工具DataGuard 或動態(tài)復制工具goldenGate。一般情況下存儲系統(tǒng)上都有多種應用系統(tǒng)，因此，數據遷移大多采用多種工具及技術并用來實現存儲系統(tǒng)的數據遷移。
2 陜西聯通綜合聯機系統(tǒng)數據遷移
根據陜西聯通綜合聯機系統(tǒng)存儲現狀，運用不同的存儲遷移技術，制定數據遷移方案，實現非正常環(huán)境下，跨存儲數據遷移。
2. 1 陜西聯通綜合聯機系統(tǒng)現狀
陜西聯通于2009 年建立綜合聯機系統(tǒng)，利用兩臺IBMP570 小型機，利用DMX2000 存儲，利用HA 軟件構建雙機互備份群集環(huán)境，采用SAN 架構搭建，如圖1 所示。由于設備老舊故障頻發(fā)，于2015 年購買IBM P740 小型機及EMC VMAX10K存儲來替換上述設備。本次遷移面臨的困難: DMX2000 與Vmax10K 存儲位于不同的San 交換機上，需要跨不同的SAN網絡進行數據遷移。ED140 交換機有故障，無法進行配置更改，無法與ED4800 交換機進行連接，配置鏈路。DMX2000有前端和后端板卡故障，無法進行change bin 操作，不能與VMAX10K 存儲建立鏈路連接，不能使用EMC 存儲使用的coldpush 方式和hot push 方式進行數據遷移。遷移系統(tǒng)時間不超過6 h。
2. 2 數據遷移方案
在上述硬件環(huán)境下，確定遷移方案，分為兩個步驟進行: 首先進行操作系統(tǒng)層面數據遷移，然后利用存儲Clone 技術，存儲內部再進行數據遷移，實現主機和存儲的同時替換。
現有主機各有一塊空閑HBA 卡，連接至SAN 48K 交換機，VMAX10K 1F0 和3F0 端口連接到SAN 48K 交換機上，使主機可以訪問VMAX10K 上的磁盤，利用OM 軟件進行源主機VG數據復制; 然后將復制好數據的磁盤，作為clone 數據源盤，創(chuàng)建對應的Clone 關系，將clone 目標盤分配給新主機，運用全量與增量clone 技術，完成在線實時遷移。利用上述技術，可進行多次數據復制，可在新主機環(huán)境中進行多次應用測試，最終的業(yè)務割接測試時間很短，30 min 用于啟停應用，30 min 可完成數據同步，業(yè)務割接1 h 完成。遷移工作全部完成后，拆除虛線鏈路。
2. 3 系統(tǒng)回退方案
由于前期數據已經進行全量數據遷移，并進行了業(yè)務測試，正式割接過程，僅僅適用于追平數據的實踐差，數據跨存儲遷移無需回退。
2. 4 數據完整性驗證方案
數據完整性、一致性驗證重點放在小型機系統(tǒng)數據遷移應用側數據，由于前期測試階段，首先進行了全量數據同步后的應用驗證及數據一致性檢測，和多次增量clone 后，應用驗證及數據一致性檢測。此方案將大量的檢查驗證工作在正式割接前進行，有充足的實踐做全面的檢測和一致性檢查，因而正式割接僅僅是數據增量，無任何風險。
3 結語
跨存儲數據遷移涉及存儲系統(tǒng)、操作系統(tǒng)、應用系統(tǒng)、數據遷移軟件及相關數據復制，要求遷移方案數據調度邏輯合理、各個環(huán)節(jié)遷移技術選擇得當、完整性與一致性驗證工作充分，必須要根據存儲及各自系統(tǒng)的特點制訂切合實際的遷移方案、實施策略，而某種單一的數據遷移技術往往無法勝任某種特殊環(huán)境。本文通過存儲系統(tǒng)數據遷移技術的探討，通過對陜西聯通跨存儲數據遷移這一非正常環(huán)境實踐案例進行詳細說明，為企業(yè)數據遷移提供借鑒經驗。
【淺談跨存儲數據遷移技術與實現論文】相關文章：
淺析云存儲技術在大數據時代的運用論文12-02
跨平臺的數據交流論文12-08
分頁存儲過程(用存儲過程實現數據庫的分頁代碼) -電腦資料01-01
分頁存儲過程(用存儲過程實現數據庫的分頁代碼)數據庫教程 -電腦資料01-01
Android學習筆記之數據的內部存儲方式實習數據的讀寫、存儲到Cache實現讀寫 -電腦資料01-01
淺談網絡教學平臺下的數據挖掘技術論文10-27
簡易數字波形存儲器的實現的論文12-18
相變存儲器的淺談論文12-22