淺談數據密集型數據資源云平臺的構建論文

　　美國《福布斯》雜志稱“如今，在瀏覽新聞網站或者是參加行業會議時，想看不見或聽不到‘大數據’這個詞幾乎是不可能的”，大數據已經成為產業界、科學界和政府部門等各界的關注熱點。近幾年來， 《Nature》、《Science》等國際頂級學術期刊相繼出版專刊來推動大數據的研究，中國、美國等多國政府也展開了對大數據的研究部署工作。產業界已經率先認識到大數據所蘊含的海量價值及其戰略意義，Amazon、Google、IBM 等IT 巨頭紛紛探索應對大數據的解決方案，云計算逐漸成為他們共同的探索方向。科學界也逐步意識到大數據的影響，認為隨著大數據時代的到來，科學研究已經進入數據密集型科學研究( Data-Intensive Science Research) 階段，中國科學范式的轉變成為科學界的研究重點。本文探討了數據密集型科學研究的內涵和特征，以及科學界面臨的挑戰，并構建了數據資源云平臺以幫助科研人員應對數據密集型科學研究中的問題。

　　1 數據密集型科學研究的內涵及其特征

　　數據密集型科學研究是直接從海量數據中發現科學規律的一種研究范式，是在大數據環境下對實驗科學、理論科學和模擬科學的繼承與發展。它由三個基本活動組成: 科學數據的采集、管理和分析，其數據來源主要有大型國際實驗，跨實驗室、單一實驗室或個人觀察實驗，個人生活等。在這一新的科學研究范式中，先利用科學儀器或者模擬方法采集數據，然后通過計算機軟硬件設備進行數據的管理和分析，將處理分析后的數據、信息和知識存儲在計算機中。信息科學貫穿科學活動的始終，而科研人員對數據的審視是在整個科學活動中比較靠后的步驟才開始的。數據密集型科學研究作為科學大數據環境下科學研究的新發展，具有以下三個特征:

　　( 1) 數據驅動，而不是假設驅動。傳統階段，實驗科學、理論科學和模擬科學能夠獲得和使用的數據相對匱乏，只能采取假設驅動型研究方法，首先根據前人研究成果和自身知識進行假設，然后通過設計實驗、理論推導或者是計算機模擬等定義好的方法獲取相關數據，對假設進行檢驗。而現在科學研究已經從數據缺乏時代過渡到數據泛濫時代，數據密集型科學研究不需要模型和假設，科研人員的關注重點也從“我要怎么驗證這個假設”轉變為“我能從這些數據中發現什么關聯”，數據成為科研活動的起點和驅動力。

　　( 2) 強調可重復性。科學研究是人類認識世界、改造世界的重要手段，保證科研結果的可靠性和真實性是科學研究的前提，而可重復性是檢驗科學研究結果可靠性和真實性最有效的手段。在數據密集型科學研究中，技術的進步使數據傳播速度更快、范圍更廣，產生的影響也更大，所以為了更好地保障科學研究的可信賴性，必須更加重視科研活動的可重復性，從而盡快識別出錯誤的或者弄虛作假的科研結果，將負面影響降至最低。中國

　　( 3) 相關關系，而不是因果關系。數據密集型科學研究通過對科學數據的分析和挖掘，直接從科學數據中發現科學規律，認識事物的相關關系，其精髓在于客觀，但不能像實驗科學、理論科學和模擬科學那樣檢驗邏輯上的因果關系。然而科學研究是人類認識世界的手段，其目的不僅是發現科學規律，還要探索規律運行的本質原因，得到相關性之后還需要結合前三種科學方法解釋因果性。

　　數據密集型科學研究是對前三種科學的繼承與發展，將其作為一個新的、科學探索的第四種范式，具有重大的價值和意義，當然也面臨一些新的挑戰。

　　2 數據密集型科學研究面臨的挑戰

　　2. 1 科學數據層面的挑戰

　　科學數據面臨來自諸多方面的挑戰，但從研究的角度來說，根本挑戰在于其規模性、復雜性和特異性。

　　( 1) 規模性是科研大數據最明顯的特征，也是科研人員所面臨的首要問題，主要表現在原始數據的規模性和數據增速的規模性: ①原始數據的規模性。科學研究是持續性的活動，傳統科學已經產生海量數據積累，如澳大利亞的平方公里陣列射電望遠鏡項目自開展以來，每天都能產生好幾個千萬億字節( PB) 的數據; ②數據增速的規模性。隨著科研人員的研究方法和研究儀器越來越先進，科學研究能夠生成和獲取的數據量越來越多，數據量的增長速度已經超過了數據存儲能力的增長速度，導致數據存儲和處理能力與日益增長的數據量之間的矛盾愈加尖銳。

　　( 2) 復雜性是科研大數據的重要特征，給科學數據共享造成巨大困難，主要表現在數據類型的復雜性和數據結構的復雜化: ①數據類型的復雜性。美國國家科學委員從科研研究類型角度將科學數據分為4 個基本類別: 預測型、計算型、實驗型和記錄型，這種劃分方式模糊了具體學術活動下所收集到的數據類型的復雜性。計算機技術和科學方法的進步使科研人員能夠獲得的數據類型愈加復雜化，如核磁共振成像、基因序列、電子顯微鏡數據等形式; ②數據結構的復雜性。傳統科學數據主要以結構化的方式存儲在關系型數據庫中，但是隨著科研人員獲取數據的渠道和方式的多樣化，非結構化數據成為科學數據的主流形式。與結構化數據相比，非結構化數據的組織更加凌亂、復雜，給數據處理和共享帶來挑戰。

　　( 3) 特異性是科學數據區別于其他數據的關鍵特征，對科學數據共享和學術信息交流提出挑戰，主要表現在認識的特異性和價值的特異性: ①認識的特異性。由于科學數據與客觀世界相分離，對科學數據的認識必然帶有主觀性，數據采集者認為是數據的采集物，接受者可能不這樣認為，觀測數據或者模擬數據可能是、或者頂多是“供述的證據”; ②價值的特異性。科學數據作為一種可重復利用的非消耗性資源，其價值增值需經過科研人員的利用來實現。影響科學數據增值程度的因素有兩個，一是科學數據本身的價值，決定理論上的最大增值程度;二是數據使用者的能力，決定實際增值程度，而科學數據的交流和共享能夠實現數據的多方利用，促使科學數據價值產生指數增長，所以如何實現科學數據共享成為科學界亟需解決的問題。

　　2. 2 科學研究層面的挑戰

　　首先，科研人員缺乏將數據轉化為知識的意識和方法。中國一方面，科研人員沒有意識到科學數據的價值特異性，絕大部分科學數據會隨著科研人員的退休、項目的結束等原因被遺棄，無法被其他人員使用。另一方面，數據密集型科學研究具有無參考性，科學研究方法需要從傳統的假設驅動變為數據驅動，科研人員必須培養數據敏感性，以數據為本，轉變自己的研究方法以實現數據價值最大化。

　　其次，科研人員缺乏設備和技術支持。目前科研項目呈現金字塔型分布，第一層項目能夠得到國際財團機構或國家科學基金會的資助，獲得超級計算和存儲資源，而占大多數的第二層和第三層項目所獲得的資助相對有限，數據密集型科學研究的資源需求難以得到滿足。科研人員無法平等地獲取保證項目所需的資源支撐，延緩了知識創新進程，不利于科學的持續發展。

　　最后，數據共享方面存在阻礙。一方面，不同地域、不同學科之間缺乏統一的交流平臺，雖然科學研究的地理分布性和跨學科性不斷加劇，但仍有接近87. 5%的數據未能形成數據源以供科研人員利用。另一方面，數據共享在具體實施層面，會涉及到各方面的利益，政策、制度等因素導致原始數據、研究方法等無法實現真正共享，跨國項目在此方面的問題尤為突出，因此，科學交流體系的完善值得引起科學界和國際方面的關注。

　　3 云計算在數據密集型科學研究中應用的必要性分析

　　云計算是一種利用互聯網實現隨時隨地、按需、便捷地訪問共享資源池( 如計算設施、存儲設備、應用程序等) 的計算模式,Gartner 公布的2014 年的技術成熟度曲線，Cloud Computing 正處于泡沫化的谷底期，已經度過了最危險的期望膨脹期，人們對云計算的認識逐漸趨于理性和成熟，業界也不再熱衷于炒作云計算概念，而是將實現云計算的成熟和規模應用作為努力的方向。Gartner 的2014 年十大技術和趨勢評選中的個人云時代、規模IT 都屬于云計算的應用，云計算真正與實際應用和環境融合，實現從探索向應用轉變，成為大數據時代個人和企業進行數據管理的必然選擇。

　　在對數據管理的使用和認識上，很多科學領域都落后商業領域至少10 年，云計算在商業領域的廣泛應用對于科學領域具有借鑒意義，將云計算應用于數據密集型科學研究中具有可行性和必要性。

　　第一，幫助科研人員應對科學大數據規模性帶來的存儲挑戰。超大規模是云計算最基本的特點，其底層由數十萬臺乃至數百萬臺的服務器集群組成，如Google 云計算中心已經具有幾百萬臺服務器，云計算中心通過運維管理、資源管理等機制整合和管理這些龐大的計算機集群，具備了海量數據存儲能力，能夠有效地應對科學大數據的規模性。此外，云計算采取橫向擴張方式，即增加更多的邏輯單元資源，與傳統通過增加單個邏輯單元資源性能的縱向擴展方式相比，中國橫向擴展方式具有成本低、部署周期短、靈活性強等優勢，能夠更好地應對科學大數據增速的規模性。

　　第二，為科研人員提供面向非結構化數據的彈性計算能力，以應對科學大數據的復雜性。MapReduce 作為云計算系統中的關鍵數據處理組件，具有兩個核心理念: 一是將問題分而治之，分布式處理是面對海量數據時的首要選擇; 二是移動計算而非移動數據，避免數據傳輸過程中產生的大量通信開銷。MapReduce 的設計初衷就是面向海量非結構化數據的處理，部署在海量基礎設施之上，使云計算具有能夠應對科學大數據規模性和復雜性的強大計算能力。結合虛擬化技術在云計算中的成功應用，云計算可以根據用戶實際使用情況對資源進行動態分配，及時滿足用戶對計算資源需求的變化，幫助科研人員應對突發情況。

　　第三，實現數據的長期保存和可獲得性，為科學數據共享提供保障。科學數據按照科研活動過程來劃分可以分為原始數據、推導和組合數據、文獻，這些數據是數據密集型科學研究的核心要素，因此必須保證科學數據的完整性、安全性和可獲得性。云計算中心具有完善的保障措施，在硬件方面采用了計算節點同構可互換、網絡和能源方面的冗余設計等措施，軟件方面采用了多副本容錯、心跳檢測等技術來保證數據的可獲得性和安全性。而且科學數據由云計算提供方統一管理，打破了原有數字資源分散的局面，有利于資源的有效流通、利用和共享，實現科學數據的價值特異性。

　　第四，為科研活動建立統一平臺，使所有科研人員可以平等享有各種服務。服務是云計算的核心理念，也是云計算與傳統的并行計算、分布式計算、網格計算的一個關鍵區別。云計算是為了讓用戶能夠平等、透明地使用云計算資源，就像使用水電這樣的生活基礎設施一樣便捷。云計算通過向用戶提供統一的一體化平臺，將傳統的應用集成概念延伸為服務集成，從而將數據采集服務、數據存儲服務、數據管理服務、數據處理服務、數據參考咨詢服務等資源和服務能力集成到云計算系統中。

　　4 數據資源云平臺的構建

　　然而云計算技術并不能提供完整和通用的解決方案，為了滿足可重復性、數據共享等需求，需要運用信息資源管理領域相關技術，才能在更大程度上幫助科研人員應對科學大數據的挑戰。因此，數據資源云是以云計算為基礎，以數據密集型科學研究為主體，以信息資源管理相關技術為補充，以數據為核心，以科學活動過程為導向，以數據服務為目標的服務平臺。

　　4. 1 云基礎服務平臺

　　云計算基礎服務平臺是整個數據資源云的基礎，將物理基礎設施按照云計算平臺標準構建而成，為上層服務提供硬件支持和環境保障，科研人員可以充分利用平臺提供的軟硬件設施便捷地構建出大規模應用。其中虛擬化技術是實現科研人員在使用數據資源云時如同使用本地資源一樣的關鍵技術，它能夠對計算資源、存儲資源、網絡資源、科研設備等進行分配封裝，向用戶提供接口，以虛擬的形式提供給科研人員使用。科研人員可以將他們保存在本地磁盤的數據轉移到數據資源云中，交給專業人員進行集中管理，實現數據的長期保存，還可以通過接口訪問和使用各種大型儀器設備，平等獲取項目所需資源。

　　4. 2 科學數據處理與服務層

　　4. 2. 1 科學數據處理

　　鑒于數據密集型科學研究的特征，數據資源云并非按照傳統的思路進行構建，而是遵循數據驅動的理念，以數據為起點，經過科學數據資源科學數據處理步驟之后才是科研人員審視，因此在科學數據處理方面，數據資源云采取的流程、技術都有別于傳統的假設驅動型平臺。

　　首先，需要對實驗數據、模擬數據、科研人員信息等原始數據進行資源化。資源化的數據才能在后續的操作中產生更大的價值，通過數據集成消除數據之間的異構性，刪除重復數據，對關聯數據進行邏輯上的封裝，減少后期處理中的資源開銷。為了滿足數據密集型科學研究可重復性的需求，數據世系管理成為科學數據處理過程中必不可少的環節。數據世系一般出現在包含多數據集的應用中，用于描述數據的產生并隨著時間推移而演化的整個過程。對于項目實施者來說，數據世系配合分布式文件系統的容災備份機制，可以在出現故障時，正確、快速地恢復數據。對于數據使用者來說，可以充分了解數據的演化過程，加深對實驗結果的理解，幫助實現科研成果的再現，保證科研活動的可信賴性和可重復性。

　　其次，科學數據分析是科研活動中的關鍵環節，主要包括海量語義分析、科研人員需求分析和海量數據挖掘。語義技術可以對概念、術語等進行明確的機器編碼定義，并且能夠對它們之間的相互關系進行陳述性和條件性的定義，使跨區域、跨學科的數據能夠被科研人員、學生甚至是普通大眾所理解和使用，是促進數據共享的關鍵。在海量數據中挖掘規律是數據密集型科學研究的重要手段，數據資源云能為科研人員提供彈性計算能力，MapReduce 在海量數據和非結構化數據處理方面的能力已經得到了各界的認可。而云科學工作流在重復性和流程性工作方面的表現更加優異，可以為科研人員提供可視化建模工具，使科研人員即使不具有程序設計知識也可以根據實際需要設計云科學工作流模型，表示科學工作流的任務及任務之間的關系。所以，MapReduce 和云科學工作流的結合可以幫助科研人員應對科學數據的規模性和復雜性。中國此外，為了提高后續服務質量，需要根據科研人員的問題和所處問題環境，利用數據挖掘的方法和工具對他們的學習層次、科研經歷、研究方向等方面加以分析，挖掘他們的興趣點和知識需求點，形成隱性需求分析文檔，從而為后續的推送服務提供依據。

　　最后，科研人員對處理結果的價值進行判斷和審視。在數據密集型科學中，科研人員不再直接參與科學數據的處理和分析，該任務由數據資源云來完成，他們的任務是在整個科學活動的后期審視和篩選處理分析的結果，將符合條件或者有價值的結果加工處理為知識，發布到數據資源云。如果結果不具有實際價值或者未達到預期效果，科研人員則向之前的環節反饋，數據資源云按照科研人員的反饋信息通過重新選擇數據、調整云科學工作流模型等方式來重新進行數據處理，以獲得滿意結果。

　　4. 2. 2 數據服務

　　鑒于數據密集型科學研究具有數據驅動、可重復性等特征，僅僅向科研人員提供知識已經無法滿足其資源需求，原始數據、推導和重組數據成為數據密集型科學研究中同等重要甚至更加重要的研究資源。數據資源云將數據服務作為特色服務，在保留傳統云服務平臺向用戶提供知識服務項目的同時，又創造性地將原始數據、推導和重組數據添加到服務內容中，力求向用戶提供更為全面的數據服務，滿足科研人員在數據密集型科學研究中的需求。

　　知識層面的服務主要包括知識發布、知識推送和知識交流等環節。數據資源云能夠自動地將不同科研人員在不同時間、不同地點生產出來的科技知識進行發布，實現知識的即時公開，縮短知識發現到知識應用之間的時間。知識發布是知識服務的第一個環節，為了實現知識服務效率的最大化，結合前期的科研人員需求分析結果，將最新知識推送給相關科研人員，加速知識流動速率，提高科研人員的科學生產力。數據資源云還為不同學科的科研人員提供交流平臺，打破不同學科之間的壁壘。同時，為從事具體學科研究的科研人員與信息科研人員提供了一種科研場景，實現特定領域科研需求與信息技術之間的大量交互，有助于相應領域語義語言、工具和應用系統的改進和完善。然而，在數據密集型科學研究中，知識與科研過程中產生的推導和重組數據與原始數據相比只是冰山一角，數據是科學研究的基礎，向用戶提供數據服務，可以提高其工作效率，加速知識創新，主要包括數據共享、數據溯源和數據可視化。首先，數據的長期保存和可獲取性保證了數據共享的可行性，語義分析、數據世系等技術保證了數據共享的價值性。數據資源云是一個開放合作的平臺，科研人員可以按需搜索、理解以及利用自己需要的數據資源，實現更大規模的數據流動，實現科學數據價值增值。其次，數據資源云可以向用戶提供數據溯源服務。數據資源云不僅可以發布研究成果等知識，還可以發布產生知識整個過程的源流信息和數據，即在提供知識的同時，還可以提供該知識涉及到的支撐數據以及中間過程產生的整合信息、推導和重組數據，以服務流的形式出現，加深對數據的理解和認識。此外，數據可視化將海量數據通過平面或者立體圖形的方式呈獻給科研人員，根據前期的數據資源化和分析處理結果，對可視化圖形界面進行優化，既可以向用戶提供數據的二維、三維的可視化效果，還可以添加時間維，向用戶提供四維的數據可視化界面，即數據隨著時間的變化而變化，產生動態感，實現過程可視化。此外，數據資源云在實現知識和數據同時在線的基礎上，通過數據的生命周期管理，可將數據和知識同時聯系在一起且可以交互操作。這樣用戶在查看某個研究成果時可以直接查看其原始數據，甚至是重做其分析，同樣也可以從數據追溯到使用該數據的科研項目及其研究結果，提高科研活動的效率。

　　5 結束語

　　數據密集型科學研究是在科學大數據背景下產生的，傳統的數據管理技術無法有效地應對科學大數據，云計算技術成為滿足現代科研人員科研需求的必然選擇。本文構建的數據資源云以云計算為主要框架，并結合了信息資源管理的相關技術，中國是面向數據密集型科學研究的數據管理和服務平臺，能夠幫助科研人員解決數據密集型科學研究中的科學大數據問題，有利于促進數據共享和知識創新。但是數據資源云中仍然存在一些不足之處，比如如何高效集成不同類型的數據源、更好地保護數據安全等問題，并且本文沒有對數據共享、隱私保護等方面的政策制定問題進行探討，這些都有待在后續的研究中繼續完善。

【淺談數據密集型數據資源云平臺的構建論文】相關文章：

高職狀態數據采集與管理平臺的構建的論文05-02

跨平臺的數據交流論文08-15

基于大數據技術的班級管理平臺構建論文范文12-14

淺談利用數據倉庫技術構建環境數據中心05-02

淺談用地紅線數據庫的構建方法04-30

淺談用地紅線數據庫的構建方法04-30

面向IoT的數據傳輸和數據處理平臺論文09-29

淺談數據挖掘05-02

企業安全大數據平臺建設及實現論文05-02

如何構建云計算電子政務云平臺論文05-05