- 相關推薦
數(shù)據(jù)挖掘技術與用戶知識獲取
摘 要 題】實踐研究【英文摘要】This paper discusses the commonly-used technologies in data mining,and explores&n……
【 正 文】
1 數(shù)據(jù)挖掘技術概述
隨著信息技術的迅速發(fā)展,數(shù)據(jù)庫的規(guī)模不斷擴大,從而產(chǎn)生了大量的數(shù)據(jù)。為給決策者提供一個統(tǒng)一的全局視角,在許多領域建立了數(shù)據(jù)倉庫。但大量的數(shù)據(jù)往往使人們無法辨別隱藏在其中的能對決策提供支持的信息,而傳統(tǒng)的查詢、報表工具無法滿足挖掘這些信息的需求。因此,需要一種新的數(shù)據(jù)分析技術處理大量數(shù)據(jù),并從中抽取有價值的潛在知識,數(shù)據(jù)挖掘(Data Mining)技術由此應運而生。數(shù)據(jù)挖掘技術也正是伴隨著數(shù)據(jù)倉庫技術的發(fā)展而逐步完善起來的。
數(shù)據(jù)挖掘是指從數(shù)據(jù)集合中自動抽取隱藏在數(shù)據(jù)中的那些有用信息的非平凡過程,這些信息的表現(xiàn)形式為:規(guī)則、概念、規(guī)律及模式等。它可幫助決策者分析歷史數(shù)據(jù)及當前數(shù)據(jù),并從中發(fā)現(xiàn)隱藏的關系和模式,進而預測未來可能發(fā)生的行為。數(shù)據(jù)挖掘的過程也叫知識發(fā)現(xiàn)的過程,它是一門涉及面很廣的交叉性新興學科,涉及到數(shù)據(jù)庫、人工智能、數(shù)理統(tǒng)計、可視化、并行計算等領域。數(shù)據(jù)挖掘是一種新的信息處理技術,其主要特點是對數(shù)據(jù)庫中的大量數(shù)據(jù)進行抽取、轉換、分析和其他模型化處理,并從中提取輔助決策的關鍵性數(shù)據(jù)。數(shù)據(jù)挖掘是KDD(Knowledge Discovery in Database)中的重要技術,它并不是用規(guī)范的數(shù)據(jù)庫查詢語言(如SQL)進行查詢,而是對查詢的內(nèi)容進行模式的總結和內(nèi)在規(guī)律的搜索。傳統(tǒng)的查詢和報表處理只是得到事件發(fā)生的結果,并沒有深入研究發(fā)生的原因,而數(shù)據(jù)挖掘則主要了解發(fā)生的原因,并且以一定的置信度對未來進行預測,用來為決策行為提供有利的支持。
2 數(shù)據(jù)挖掘的常用技術
機器學習、數(shù)理統(tǒng)計等方法是數(shù)據(jù)挖掘進行知識學習的重要方法。數(shù)據(jù)挖掘算法的好壞將直接影響到所發(fā)現(xiàn)知識的好壞,目前對數(shù)據(jù)挖掘的研究也主要集中在算法及其應用方面。統(tǒng)計方法應用于數(shù)據(jù)挖掘主要是進行數(shù)據(jù)評估;機器學習是人工智能的另一個分支,也稱為歸納推理,它通過學習訓練數(shù)據(jù)集,發(fā)現(xiàn)模型的參數(shù),并找出數(shù)據(jù)中隱含的規(guī)則。其中關聯(lián)分析法、人工神經(jīng)元網(wǎng)絡、決策樹和遺傳算法在數(shù)據(jù)挖掘中的應用很廣泛。
1)關聯(lián)分析法。從關系數(shù)據(jù)庫中提取關聯(lián)規(guī)則是幾種主要的數(shù)據(jù)挖掘方法之一。挖掘關聯(lián)是通過搜索系統(tǒng)中的所有事物,并從中找到出現(xiàn)條件概率較高的模式。關聯(lián)實際上就是數(shù)據(jù)對象之間相關性的確定,用關聯(lián)找出所有能將一組數(shù)據(jù)項和另一組數(shù)據(jù)項相聯(lián)系的規(guī)則,這種規(guī)則的建立并不是確定的關系,而是一個具有一定置信度的可能值,即事件發(fā)生的概率。關聯(lián)分析法直觀、易理解,但對于關聯(lián)度不高或相關性復雜的情況不太有效。
2)人工神經(jīng)元網(wǎng)絡(ANN),是數(shù)據(jù)挖掘中應用最廣泛的技術。神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘方法是通過模仿人的神經(jīng)系統(tǒng)來反復訓練學習數(shù)據(jù)集,從待分析的數(shù)據(jù)集中發(fā)現(xiàn)用于預測和分類的模式。神經(jīng)元網(wǎng)絡對于復雜情況仍能得到精確的預測結果,而且可以處理類別和連續(xù)變量,但神經(jīng)元網(wǎng)絡不適合處理高維變量,其最大的缺點是不透明性,因為其無法解釋結果是如何產(chǎn)生的,及其在推理過程中所用的規(guī)則。神經(jīng)元網(wǎng)絡適合于結果比可理解性更重要的分類和預測的復雜情況,可用于聚類、分類和序列模式。
3)決策樹(DT)是一種樹型結構的預測模型,其中樹的非終端節(jié)點表示屬性
[1] [2] [3]
【數(shù)據(jù)挖掘技術與用戶知識獲取】相關文章:
數(shù)據(jù)挖掘04-29
數(shù)據(jù)挖掘論文04-29
淺談數(shù)據(jù)挖掘05-02
網(wǎng)絡營銷中數(shù)據(jù)挖掘技術的應用論文11-27
數(shù)據(jù)挖掘技術在遼河水文預報中的研究04-30
數(shù)據(jù)挖掘技術在遼河水文預報中的研究04-30
在動手中獲取知識04-30