- 相關推薦
生態環境保護中大數據技術的運用探討的論文
1 引言
生態環境的保護問題，具有復雜性和時變性，涉及多部門、多地區和多領域，需要處理海量的各類數據，這為問題的解決增加了不小的難度[1].本文從分析生態環境相關數據入手，對利用大數據技術，整合各類生態環境相關的數據資源，建立生態環境大數據平臺的架構及關鍵技術展開論述。
2 生態環境相關數據的現狀分析
目前，應用于生態環境保護領域的數據資源主要包括三類：
地面監測數據：此類數據主要來源于各地的生態環境在線監測系統。由于各系統開發時期不同，技術手段各異，數據格式多樣，各系統之間很難形成信息共享。
遙感監測數據：此類數據主要來源于衛星遙感數據和航空遙感數據。
地理信息數據：此類數據的來源主要有野外采集、地圖數字化和航天遙感采集、攝影測量等。
目前，傳統的信息化技術在環境數據整合工作中仍占據主導地位，而利用大數據技術，實現上述三類數據的統一存儲、協調工作，真正建立起實用價值大，適用性廣泛的生態環境大數據平臺，還沒有相關的工作開展。
3 大數據技術概述
大數據技術是近年來興起的一種綜合性信息技術[2],對于處理超出傳統數據庫系統存儲、管理和分析處理能力的多來源的、海量的數據集群，具備天然的技術優勢。大數據技術的主流應用框架是Hadoop 生態系統。它以 HDFS 分布式文件系統和 MapReduce 分布式計算框架為核心，可以對大數據進行高效的分布式處理。
4 大數據平臺的構建
生態環境問題涉及大氣、土壤、水、生物圈、氣候等方方面面。為此，我們在推進大數據技術與生態環境保護工作相互結合的過程中，采取了以點帶面，逐步推進的策略。
在本文中，我們選取對環境影響比較突出的大氣污染問題作為研究的切入點，利用 Hadoop 生態系統中的 HDFS 技術，建立起秦皇島地區的大氣污染防治大數據平臺。未來，通過建立基于此平臺的大氣業務應用系統，我們可以對秦皇島地區的大氣污染物來源情況進行準確有效的分析。這一應用模式的探索，也將為未來更廣泛生態環境數據的綜合性分析與應用，打下良好的基礎。
平臺所采用的地面監測數據包括：工業企業污染排放情況、火電企業污染排放情況、鋼鐵冶煉企業污染排放情況、水泥企業污染排放情況等。
平臺所采用的遙感氣象數據主要是用美國國家環境預報中心（NCEP） 發布的 Final Operational Global Analysis（FNL）資料[3].我們不直接使用 FNL 的原始數據，而是采用經過 NOAA-Air ResourcesLaboratory（ARL）預處理模塊轉化后的數據。基于 FNL 資料，可以計算在某一時段內抵達秦皇島地區的后向氣流軌跡，從而有助于配合地面監測數據揭示秦皇島地區大氣污染的可能來源。
納入平臺的地理信息數據主要有兩類：（1）圖形數據：此部分數據以矢量圖形的形式存儲于 HDFS 系統中。它們的來源主要是利用搜狗地圖所提供的靜態地圖 API.（2）文本數據：此部分數據包括：a）監測污染源的位置數據；b）交通擁堵情況；c）氣流軌跡數據：此類數據由 FNL 資料計算而得。各類文本數據都將構成獨立的圖層，利用搜狗地圖提供的 API,標注于圖形數據之上。
5 關鍵技術研究
各類數據會被存入統一的大數據平臺。我們采用 Hadoop 分布式集群結構作為大數據平臺的存儲結構。我們使用 100 臺 PC 級電腦構建起分布式數據存儲集群，每個節點同時承擔計算和存儲的角色。各個數據節點中存放大氣污染相關的大數據。元數據主節點則存放各類大數據在數據節點中的副本分布位置。元數據輔助節點承擔與元數據主節點類似的任務，當元數據主節點宕機時，可以重新啟動元數據主節點。元數據主節點上保存著訪問 HDFS 文件系統的索引信息，它們主要來源于數據預處理過程中提取的元數據。對于修改元數據主節點信息的操作，事務日志中都會插入相應的記錄。而數據索引到數據存儲的映射，副本的位置及編號等信息，都存儲在元數據主節點所在的本地文件系統中的一個映射文件中。
對于大數據而言，要想實現數據的高效穩定的訪問機制，需要做好兩方面的工作：（1）對數據分塊存儲并建立適宜的物理數據副本規模；（2）采用適宜的副本存放策略和數據讀寫策略[4].我們采取了搜集數據訪問反饋信息的策略，利用統計學方法實現了副本規模的動態調整。而對于副本的存放策略，我們考慮將不同副本存放于不同機架的電腦上，以保證一個機架出現故障時不致丟失數據，并且還能在讀數據時充分利用不同機架的帶寬。數據的讀取策略則采用從距離讀請求節點最近的存儲節點上讀取數據。同時，我們將對數據加工的相關業務代碼從加工請求所在的電腦發送至數據副本所在的電腦執行，盡可能不在電腦之間進行數據副本的傳遞，以提高寫數據的效率。
6 結論
本文將大數據技術引入生態環境保護的工作之中，將秦皇島地區的地面監測數據、遙感監測數據、地理信息數據整合在一起，建立起秦皇島地區大氣污染防治大數據平臺，使相關的業務應用有了一個統一的底層數據支持。未來，我們可以基于此平臺建立大氣污染數據分析系統等業務應用系統，對秦皇島地區的大氣污染物來源情況進行準確有效的分析。
參考文獻：
[1] 張永亮 , 俞海 . 中國生態環境保護管理體制改革思路與方向 : 國際社會的觀察和建議 [J]. 中國環境管理 ,2015（01）：43-47.
[2] 肖筱華 , 周棟 . 大數據技術及標準發展研究 [J]. 信息技術與標準化 ,2014（04）：34-38.
[3] 趙恒 , 王體健 , 江飛 , 謝旻 . 利用后向軌跡模式研究 TRACE-P 期間香港大氣污染物的來源 [J]. 熱帶氣象學報 ,2009,25（02）：181-186.
[4] 宮婧 , 王文君 . 大數據存儲中的容錯關鍵技術綜述 [J]. 南京郵電大學學報 ,2014,34（04）：20-25.
【生態環境保護中大數據技術的運用探討的論文】相關文章：
無線通信技術在數據采集的運用論文05-03
基于云計算的數據挖掘技術探討論文05-02
水利工程管理中數據挖掘技術的運用論文05-02
數據挖掘技術在軟件工程的運用工程論文04-27
數據大集中管理模式下數據同步技術探討論文05-03
探討建筑工程中深基坑支護技術的運用論文05-02
林業數據收集程序GIS運用論文04-29