電網信息化系統(tǒng)中同步并行數據遷移技術的運用探討的論文

時間：2023-05-04 23:16:55 論文范文我要投稿

相關推薦

　　摘要：為保證南方電網營銷管理系統(tǒng)集中部署上線后歷史數據的可用性，需按照營銷系統(tǒng)數據模型要求完成現有營銷管理系統(tǒng)數據的清理、轉換和遷移工作。文章提出了兩種數據遷移方案，根據電網市場營銷業(yè)務限制綜合分析了第一種傳統(tǒng)遷移方案的瓶頸與不足，采用了第二種實時同步、分庫并行轉換的數據遷移方案，并實踐驗證了該方案的有效性，大幅度縮短數據遷移時間。文章提出的方案對于大規(guī)模企業(yè)級管理信息系統(tǒng)的歷史數據遷移工作起到一定的參考與借鑒作用，確保新系統(tǒng)按計劃穩(wěn)步高效推廣應用。

電網信息化系統(tǒng)中同步并行數據遷移技術的運用探討的論文

　　關鍵詞：營銷管理系統(tǒng)，數據遷移，同步，并行

　　某電網營銷管理信息系統(tǒng)（CSGII-MM V2.0，簡稱“新系統(tǒng)”）主要實現抄核收、用電檢查、營銷稽查監(jiān)控、業(yè)擴、管理線損等功能的設計、建設過程管理，是實現電力營銷全生命周期管理的一個重要環(huán)節(jié)，為保障新系統(tǒng)順利實施上線，順利完成由云南電網營銷管理信息系統(tǒng)（PMS，簡稱“老系統(tǒng)”）到南方電網營銷管理信息系統(tǒng)的順利過渡，應做好數據遷移工作的切實保障，保證南方電網營銷管理系統(tǒng)數據的真實、準確和完整。為了保證新系統(tǒng)上線后歷史數據的可用性，需研究出行之有效的數據遷移方案，能夠將老系統(tǒng)歷史數據整理、轉換、集中，使得業(yè)務操作能夠獲得歷史數據的支撐，充分利用歷史數據的價值。

　　1、系統(tǒng)遷移現狀分析

　　為實現系統(tǒng)內歷史數據的有效遷移，需對南方電網營銷管理系統(tǒng)現狀進行詳細分析，分析內容包括遷移原則、業(yè)務現狀與技術現狀[1]。

　　1.1、遷移原則

　　數據清理收集工作，應當遵循如下原則進行：完整性原則、真實性原則、有效性原則、統(tǒng)一性原則、保密性原則。

　　1.2、業(yè)務現狀

　　電網營銷管理系統(tǒng)為全省大集中，系統(tǒng)數據覆蓋省、地市、縣級供電單位、國際公司和股份公司各供電單位，數據域包括客戶域、電網域、服務域、核算域、帳務域、營銷設備域、量測域、管控域、支撐域和其他類數據十大類。

　　2、數據遷移方案分析

　　2.1、數據遷移方案一

　　新老系統(tǒng)數據遷移方案一采用源數據庫（老系統(tǒng)數據庫）à 數據遷移中間庫 à 新系統(tǒng)數據庫的方式開展數據的轉換和遷移工作，在中間庫開展轉換、核查和整改工作。首先由老系統(tǒng)數據庫采用 ORACLE DBLINK 技術遷移數據至中間庫，在中間庫進行數據轉換及數據校驗、整改工作，再由中間庫遷移至新系統(tǒng)，最后進行核心數據功能驗證，如圖 1 所示。

　　2.2、數據遷移方案二

　　2.2.1、實時數據同步

　　取消方案一中的中間庫數據遷移工作，采用數據同步技術，提前將老系統(tǒng)的數據同步至中間庫，在老系統(tǒng)業(yè)務停機幾小時后即可完成數據同步，開始進行數據轉換，既降低方案一中的網絡帶寬花銷，又減少了方案一中老系統(tǒng)至中間庫的數據遷移時間。數據同步需在老系統(tǒng)數據庫與中間庫上部署數據同步軟件，該軟件從老系統(tǒng)生產數據庫中獲取實時數據，與中間庫建立連接，將實時數據同步發(fā)送至中間庫[2]。

　　數據同步包含首次數據同步與增量數據同步，首次數據同步指數據同步軟件將有遷移需求的數據以某時間點為截止全量遷移復制至目標數據庫，增量數據同步指首次數據同步結束后到業(yè)務系統(tǒng)停止時將所產生的新增數據實時同步至目標數據庫。增量數據同步的原理為實時分析源端數據庫的日志，生成數據變動的壓縮表，以捕獲增量數據，數據經壓縮和加密后傳送至目標數據庫，經過目標庫數據同步軟件的裝載后，即實現了增量數據的同步。

　　2.2.2、分庫并行數據轉換

　　在采用實時數據同步的基礎上，放棄使用原有中間庫，新建 4 個中間庫進行數據轉換及校驗工作，中間庫既作為數據源也作為數據遷移中間庫，可實現 4 個中間庫并行的數據轉換及遷移工作。在此過程中需要數據同步軟件將老系統(tǒng)數據實時同步到 4 個中間庫 , 正式數據遷移開始之后即可開展數據轉換、校驗、整改與遷移工作。按此方案，采用并行的數據遷移方式，可在不同的中間庫分配不同的供電局業(yè)務數據，相較之前的單鏈路串行數據遷移方式，即需要按順序依次進行各局數據遷移、轉換的方式，此方案極大程度提高了數據遷移所需時間，方案二如圖 2 所示。

　　2.3、對比結論

　　試點局上線進行數據遷移工作時采用數據遷移方案一，數據遷移時數據量約為 1 T，耗時為 4 天。由于南方電網營銷管理系統(tǒng)后續(xù)上線供電局較多，遷移數據量較大，約為 2 T，采用方案一耗時較長。在數據遷移過程中，為保障新老系統(tǒng)數據的一致性及數據遷移的成功率，需要對老系統(tǒng)進行業(yè)務系統(tǒng)停機處理，若按方案一，需要對老系統(tǒng)停機 7 天或更久。停機時，無法進行客戶算費收費工作，而電網公司業(yè)務上不允許長時間對業(yè)務系統(tǒng)停機。為保障電網公司利益不受損失，市場營銷業(yè)務能正常快速開展，綜合對比后正式數據遷移采用數據遷移方案二。

　　3、數據遷移改進方案實施應用

　　3.1、數據遷移方案實施

　　3.1.1、全量數據實時同步

　　通過對業(yè)務數據量及服務器性能分析后，4 個分庫的建設工作順利完成。在正式數據遷移開始前，需完成全量數據實時同步工作。同步過程需要使用數據同步軟件將數據從老系統(tǒng)同步至 4 個中間庫，因此需要在老系統(tǒng)數據庫服務器上及 4 個中間庫上分別安裝部署數據同步軟件。此次同步為異構服務器且不同數據庫之間的數據同步，源端（老系統(tǒng)）為 AIX 服務器，目標端（中間庫）服務器為 LINUX 服務器；源端數據庫版本為 oracle10g, 目標端版本為 oracle11g。

　　由于分為 4 個中間庫，首先需在源數據庫和目標數據庫創(chuàng)建 4 個同步隊列，隨后在源端數據庫與 4 個目標端數據庫創(chuàng)建同步用戶，最后在源端導出數據庫結構并在目標端進行導入。上述準備工作完成后即可開始同步數據，同步完成后進行同步數據比對工作，比對內容為源端與目標端核心數據表的記錄數與內容。針對比對后遺漏或缺失的數據表，采取兩種方式進行修復：對于數據量比較小的表，通過ORACLE DBLINK 技術進行修復；對于數據量比較大的表，采用數據同步軟件進行重新同步。

　　正式上線前一天，首次數據同步開始，通過數據同步軟件將老系統(tǒng)數據庫數據從 AIX 主機（老系統(tǒng)數據庫）同步至 4 臺 LINUX 主機（4個中間庫）。首次數據同步完成后，開始增量數據同步。在老系統(tǒng)業(yè)務停止后，實時增量數據同步結束，開始進行數據比對與修復工作，約兩小時后，數據比對修復工作完成，一致率100%，數據同步工作順利完成。

　　3.1.2、并行數據轉換與遷移

　　數據同步完成后，在 4 個中間庫同時開展數據轉換與遷移工作，根據“南方電網營銷系統(tǒng)物理數據模型”為標準，開展新老系統(tǒng)數據轉換與遷移工作，將老系統(tǒng)數據編碼通過數據庫腳本轉換為新系統(tǒng)所支持的數據編碼。為提升數據遷移腳本執(zhí)行效率，在數據遷移腳本中適當加入索引能提高數據庫的性能，建立索引之后，可以合理的使用資源；此時同樣需要由良好的 SQL 語句進行支持[3]，進行 SQL 語句優(yōu)化之后，可進一步提升數據遷移時的效率。

　　在數據同步開始前，針對不同的分庫分配了不同的業(yè)務數據，如不同的分庫同步不同供電局的老系統(tǒng)歷史數據，且每個分庫的數據量基本一致，因此可以實現四庫并行的同步數據轉換與遷移工作，與之前方案相比，數據轉換將近提升了 4 倍。

　　在正式數據遷移時，應設計南方電網營銷管理系統(tǒng)的應用級災備切換場景[4]，當數據遷移過程中發(fā)生災難且無法恢復時，致使營銷服務中斷，應快速切換回老系統(tǒng)，確保公司核心業(yè)務系統(tǒng)運行的連續(xù)性。

　　3.2、核心數據功能驗證質量提升

　　遷移完成后，對南方電網營銷管理系統(tǒng)數據庫與《南方電網營銷系統(tǒng)物理數據模型》進行完整性對比，保證數據的安全、完整、真實，如圖 3 所示。

　　4、結束語

　　本文通過分析南方電網營銷管理系統(tǒng)遷移現狀，結合業(yè)務現狀、技術現狀等角度提出了兩種數據遷移方案，進行了詳細的分析與闡述，并重點描述了方案二的設計原理與實施應用。本文所提出的歷史數據遷移改進方案已經應用于云南電網公司南方電網營銷管理系統(tǒng)的實施上線工作中，并取得了工程實際的應用經驗。

　　該方案為大規(guī)模企業(yè)級管理信息系統(tǒng)的上線實施數據遷移工作提供了高效實用的技術支持，減少了不必要的損失，節(jié)省人力資源。

　　參考文獻：

　　[1] 田黇. ERP系統(tǒng)集中部署模式下的歷史數據遷移方案研究[J]. 電力信息與通信技術, 2014, 12(8): 77-81.

　　[2] 陳然. 大規(guī)模電網運行數據實時同步技術研究[J]. 云南電力技術, 2015, (5):24-26.

　　[3] 羅偉,蔣蘇湘,周沿東,魏鵬飛. 湖南電力營銷系統(tǒng)數據庫性能優(yōu)化研究[J]. 電力信息與通信技術, 2014, 12(4): 30-34.

　　[4] 郭曉艷，王揚，孫軼凡，侯丹，章斌. 營銷系統(tǒng)應用級災備體系研究及建立[J]. 電力信息與通信技術, 2014, 12(10): 13-17.

　　[5] 趙曉鋒，周慶捷，王志利，王瑞玨，王建偉. PMS實用化分析評價體系和數據質量提升的研究[J]. 電力信息與通信技術, 2015, 13(7): 101-106.

【電網信息化系統(tǒng)中同步并行數據遷移技術的運用探討的論文】相關文章：

電力系統(tǒng)中的時鐘同步技術的探討論文04-30

數據大集中管理模式下數據同步技術探討論文05-03

特教學校機房信息管理系統(tǒng)中數據挖掘技術的運用論文05-02

嵌入式系統(tǒng)中數據庫信息管理技術的運用論文05-02