文本挖掘是從文本數(shù)據(jù)中獲得價值信息的方法，涵蓋多個學(xué)科，也有多種用途。本文介紹了文本挖掘的主要作用、基本操作步驟以及操作工具。

一、什么是文本挖掘

文本挖掘指的是從文本數(shù)據(jù)中獲取有價值的信息和知識，它是數(shù)據(jù)挖掘中的一種方法。文本挖掘中最重要最基本的應(yīng)用是實現(xiàn)文本的分類和聚類，前者是有監(jiān)督的挖掘算法，后者是無監(jiān)督的挖掘算法。

文本挖掘是一個多學(xué)科混雜的領(lǐng)域，涵蓋了多種技術(shù)，包括數(shù)據(jù)挖掘技術(shù)、信息抽取、信息檢索，機器學(xué)習(xí)、自然語言處理、計算語言學(xué)、統(tǒng)計數(shù)據(jù)分析、線性幾何、概率理論甚至還有圖論。

二、文本挖掘有什么用

1、文本分類

文本分類是一種典型的機器學(xué)習(xí)方法，一般分為訓(xùn)練和分類兩個階段。文本分類一般采用統(tǒng)計方法或機器學(xué)習(xí)來實現(xiàn)。

2、文本聚類

文本聚類是一種典型的無監(jiān)督式機器學(xué)習(xí)方法，聚類方法的選擇取決于數(shù)據(jù)類型。

首先，文檔聚類可以發(fā)現(xiàn)與某文檔相似的一批文檔，幫助知識工作者發(fā)現(xiàn)相關(guān)知識;其次，文檔聚類可以將一類文檔聚類成若干個類，提供一種組織文檔集合的方法;再次，文檔聚類還可以生成分類器以對文檔進行分類。

文本挖掘中的聚類可用于：提供大規(guī)模文檔內(nèi)容總括;識別隱藏的文檔間的相似度;減輕瀏覽相關(guān)、相似信息的過程。

3、信息檢索

主要是利用計算機系統(tǒng)的快速計算能力，從海量文檔中尋找用戶需要的相關(guān)文檔。

4、信息抽取

信息抽取是把文本里包含的信息進行結(jié)構(gòu)化處理，變成表格一樣的組織形式。輸入信息抽取系統(tǒng)的是原始文本，輸出的是固定格式的信息。

5、自動文摘

利用計算機自動的從原始文檔中提取出文檔的主要內(nèi)容。互聯(lián)網(wǎng)上的文本信息、機構(gòu)內(nèi)部的文檔及數(shù)據(jù)庫的內(nèi)容都在成指數(shù)級的速度增長，用戶在檢索信息的時候，可以得到成千上萬篇的返回結(jié)果，其中許多是與其信息需求無關(guān)或關(guān)系不大的，如果要剔除這些文檔，則必須閱讀完全文，這要求用戶付出很多勞動，而且效果不好。

自動文摘能夠生成簡短的關(guān)于文檔內(nèi)容的指示性信息，將文檔的主要內(nèi)容呈現(xiàn)給用戶，以決定是否要閱讀文檔的原文，這樣能夠節(jié)省大量的瀏覽時間。簡單地說自動文摘就是利用計算機自動地從原始文檔中提取全面準確地反映該文檔中心內(nèi)容的簡單連貫的短文。

自動文摘具有以下特點：

(1)自動文摘應(yīng)能將原文的主題思想或中心內(nèi)容自動提取出來。

(2)文摘應(yīng)具有概況性、客觀性、可理解性和可讀性。

(3)可適用于任意領(lǐng)域。

按照生成文摘的句子來源，自動文摘方法可以分成兩類，一類是完全使用原文中的句子來生成文摘，另一類是可以自動生成句子來表達文檔的內(nèi)容。后者的功能更強大，但在實現(xiàn)的時候，自動生成句子是一個比較復(fù)雜的問題，經(jīng)常出現(xiàn)產(chǎn)生的新句子不能被理解的情況，因此目前大多用的是抽取生成法。

6、自動問答

自動問答是指對于用戶提出的問題，計算機可以自動的從相關(guān)資料中求解答案并作出相應(yīng)的回答。自動問答系統(tǒng)一般包括 3 個組成部分：問題分析、信息檢索和答案抽取。

7、機器翻譯

利用計算機將一種源語言轉(zhuǎn)變?yōu)榱硪环N源語言的過程。

8、信息過濾

指計算機系統(tǒng)可以自動的進行過濾操作，將滿足條件的信息保留，將不滿足條件的文檔過濾掉。信息過濾技術(shù)主要用于信息安全領(lǐng)域。

9、自動語音識別

自動語音識別就是將輸入計算機的自然語言轉(zhuǎn)換成文本表示的書面語。

三、文本挖掘操作步驟

1、獲取文本

現(xiàn)有文本數(shù)據(jù)導(dǎo)入，或者通過如網(wǎng)絡(luò)爬蟲等技術(shù)獲取網(wǎng)絡(luò)文本，主要是獲取網(wǎng)頁HTML的形式。我們要把網(wǎng)絡(luò)中的文本獲取文本數(shù)據(jù)庫(數(shù)據(jù)集)。編寫爬蟲程序，抓取到網(wǎng)絡(luò)中的信息。

2、文本預(yù)處理

指剔除噪聲文檔以改進挖掘精度，或者在文檔數(shù)量過多時僅選取一部分樣本以提高挖掘效率。

例如網(wǎng)頁中存在很多不必要的信息，比如說一些廣告，導(dǎo)航欄，html、js代碼，注釋等等并不需要的信息，可以刪除掉。如果是需要正文提取，可以利用標簽用途、標簽密度判定、數(shù)據(jù)挖掘思想、視覺網(wǎng)頁塊分析技術(shù)等等策略抽取出正文。

3、文本的語言學(xué)處理

(1)分詞

經(jīng)過上面的步驟，我們會得到比較干凈的素材。文本中起到關(guān)鍵作用的是一些詞，甚至主要詞就能起到?jīng)Q定文本取向。比如說一篇文章講的是政治還是經(jīng)濟，肯定是對文章中的中心詞進行分析得到的結(jié)果。 所以接下來的步驟就是分詞。

分詞就是將連續(xù)的字序列按照一定的規(guī)范重新組合成詞序列的過程。我們知道，在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能通過明顯的分界符來簡單劃界，唯獨詞沒有一個形式上的分界符，雖然英文也同樣存在短語的劃分問題，不過在詞這一層上，中文比之英文要復(fù)雜得多、困難得多。

現(xiàn)在針對中文分詞，出現(xiàn)了很多分詞的算法，有最大匹配法、最優(yōu)匹配法、機械匹配法、逆向匹配法、雙向匹配法等等。

(2)詞性標注

同時也可以使用詞性標注。通過很多分詞工具分出來的出會出現(xiàn)一個詞，外加該詞的詞性。比如說啊是語氣助詞。

(3)去除停用詞

比如說句號、是、的等詞，沒有什么實際的意義。然而這些詞在所有的文章中都大量存在，并不能反應(yīng)出文本的意思，可以處理掉。當(dāng)然針對不同的應(yīng)用還有很多其他詞性也是可以去掉的，比如形容詞等。

4、文本的數(shù)學(xué)處理-特征提取

我們希望獲取到的詞匯，既能保留文本的信息，同時又能反映它們的相對重要性。如果對所有詞語都保留，維度會特別高，矩陣將會變得特別稀疏，嚴重影響到挖掘結(jié)果。所以這就需要特征提取。

特征選取的方式有4種：

(1)用映射或變換的方法把原始特征變換為較少的新特征;

(2)從原始特征中挑選出一些最具代表性的特征;

(3)根據(jù)專家的知識挑選最有影響的特征;

(4)用數(shù)學(xué)的方法進行選取，找出最具分類信息的特征，這種方法是一種比較精確的方法，人為因素的干擾較少，尤其適合于文本自動分類挖掘系統(tǒng)的應(yīng)用。

5、分類聚類

經(jīng)過上面的步驟之后，我們就可以把文本集轉(zhuǎn)化成一個矩陣。我們能夠利用各種算法進行挖掘，比如說如果要對文本集進行分類，分類常用的方法有：簡單貝葉斯分類法，矩陣變換法、K-最近鄰參照分類算法以及支持向量機分類方法等。

聚類方法通常有：層次聚類法、平面劃分法、簡單貝葉斯聚類法、K-最近鄰聚類法、分級聚類法等。

6、數(shù)據(jù)可視化

最后一步當(dāng)然就是數(shù)據(jù)結(jié)構(gòu)的可視化展示，通過合適的可視化圖形生動形象展示，讓讀者聽眾更容易理解你所要表達的信息。

文本可視化最常用的圖形就是詞云。

四、文本挖掘工具

1、python語言jieba、gensim、sklearn、WordCloud和matplotlib包

2、R語言jieba、tm、tmcn、Rwordseg和wordcloud包

3、SAS text miner

4、SPSS Text Mining