[摘要]在確定國內(nèi)自然語言處理領(lǐng)域使用頻率最高的61個關(guān)鍵詞的基礎(chǔ)上，運(yùn)用共詞分析法，以SPSS軟件為工具，通過因子分析和聚類分析的方法，井借鑒相關(guān)研究結(jié)果，探討國內(nèi)自然語言處理研究現(xiàn)狀及研究熱點。
　　[關(guān)鍵詞]自然語言處理　共詞分析法　聚類分析　因子分析
　　[分類號]G350
　　
　　 1　引言
　　
　　最早的自然語言處理方面的研究工作是機(jī)器翻譯。1949年，美國人威弗首先提出了機(jī)器翻譯設(shè)計方案。從20世紀(jì)40年代算起，自然語言處理的研究已經(jīng)有印多年的歷史了，隨著信息網(wǎng)絡(luò)時代的到來，它已經(jīng)成為了現(xiàn)代語言學(xué)中一個頗為引人注目的學(xué)科。美國計算機(jī)科學(xué)家Bill Manaris(馬納利斯)在1999年出版的《計算機(jī)進(jìn)展》(Advances in Computers)第47卷的《從人一機(jī)交互的角度看自然語言處理》一文中，曾經(jīng)給自然語言處理提出了如下的定義：
　　“自然語言處理可以定義為研究在人與人交際中以及在人與計算機(jī)交際中的語言問題的一門學(xué)科。自然語言處理要研制表示語言能力(Linguistic Compe-tence)和語言應(yīng)用(Linguistic Performance)的模型，建立計算框架來實現(xiàn)這樣的語言模型，提出相應(yīng)的方法來不斷地完善這樣的語言模型，根據(jù)這樣的語言模型設(shè)計各種實用系統(tǒng)，并探討這些實用系統(tǒng)的評測技術(shù)”。
　　這個定義比較全面地說明了自然語言處理的性質(zhì)和學(xué)科定位，國內(nèi)外學(xué)者普遍認(rèn)同這個定義。
　　在自然語言處理研究發(fā)展的60多年間，國外該領(lǐng)域經(jīng)歷了萌芽期、發(fā)展期和繁榮期三個時期，并取得了豐富的研究成果。相比之下，國內(nèi)在該領(lǐng)域較為系統(tǒng)的研究成果則為數(shù)不多，主要是由于早期受到漢語信息處理一些預(yù)處理技術(shù)的制約(如漢字編碼、漢語分詞等)，到真正開始漢語自然語言理解研究時，已經(jīng)比國外晚了20多年。但是，經(jīng)過20多年的發(fā)展，漢語自然語言處理技術(shù)也獲得了長足的進(jìn)步，在機(jī)器翻譯、語料庫、語篇理解、概念層次網(wǎng)絡(luò)等領(lǐng)域取得了一些重要成果。
　　本文擬采用共詞分析方法，通過對國內(nèi)自然語言處理領(lǐng)域文獻(xiàn)中高頻關(guān)鍵詞共同出現(xiàn)頻率規(guī)律的分析，深入揭示其研究熱點以及研究現(xiàn)狀，為其他從事自然語言處理研究的學(xué)者提供參考。
　　
　　2　研究方法
　　 共詞分析法(Co-term Analysis)在圖書情報界的應(yīng)用非常廣泛，是文獻(xiàn)計量學(xué)的一種重要方法，也是內(nèi)容分析法的常用方法之一。最先提出共詞分析方法的是Callon等人，其后這種方法被廣泛使用。共詞方法的思想來源于文獻(xiàn)計量學(xué)的引文耦合與共被引概念，即當(dāng)兩個能夠表達(dá)某一學(xué)科領(lǐng)域研究主題或研究方向的專業(yè)術(shù)語(一般為主題詞或關(guān)鍵詞)在同一篇文獻(xiàn)中出現(xiàn)時，表明這兩個詞之間具有一定的內(nèi)在關(guān)系，并且出現(xiàn)的次數(shù)越多，表明它們的關(guān)系越密切、距離越近。利用現(xiàn)代統(tǒng)計技術(shù)如因子分析、聚類分析和多維尺度分析等多元分析方法，可以進(jìn)一步按這種“距離”將一個學(xué)科內(nèi)的重要關(guān)鍵詞加以分類，從而歸納出該學(xué)科的研究現(xiàn)狀、熱點和內(nèi)容。不僅如此。利用現(xiàn)代信息技術(shù)和統(tǒng)計軟件圖形顯示功能，還能夠?qū)⒎治鼋Y(jié)果直觀形象地顯現(xiàn)出來，進(jìn)而達(dá)到可視化的效果。
　　用共詞分析法分析國內(nèi)自然語言處理領(lǐng)域的研究熱點。需要通過四個步驟完成：①，確定國內(nèi)該研究領(lǐng)域主要關(guān)鍵詞；②建立關(guān)鍵詞共詞矩陣；③選取多元統(tǒng)計方法對所建矩陣進(jìn)行統(tǒng)計分析；④對所獲得的數(shù)據(jù)進(jìn)行分析。
　　
　　3　數(shù)據(jù)來源與關(guān)鍵詞獲取
　　
　　3.1　數(shù)據(jù)來源
　　在中國期刊網(wǎng)(CNKi)上，以“自然語言處理”為關(guān)鍵詞，檢索時間范圍為CNKI默認(rèn)的年限。選擇了四個數(shù)據(jù)庫，分別是中國學(xué)術(shù)期刊網(wǎng)絡(luò)出版總庫、中國博士學(xué)位論文全文數(shù)據(jù)庫、中國優(yōu)秀碩士學(xué)位論文全文數(shù)據(jù)庫、中國重要會議論文全文數(shù)據(jù)庫等，并以關(guān)鍵詞為檢索字段，采用精確檢索的方式檢索出2233篇文獻(xiàn)，然后從CNKI上下載這些文獻(xiàn)的題錄數(shù)據(jù)。
　　
　　3.2　關(guān)鍵詞獲取
　　筆者利用自編軟件首先把所有的題錄數(shù)據(jù)載人到數(shù)據(jù)庫中，然后從這些數(shù)據(jù)中抽取出關(guān)鍵詞。進(jìn)行關(guān)鍵詞統(tǒng)計，選取高頻關(guān)鍵詞，然后對高頻關(guān)鍵詞進(jìn)行兩兩共同出現(xiàn)次數(shù)統(tǒng)計，最終生成一個高頻關(guān)鍵詞共詞矩陣。
　　在處理的過程中筆者去掉了與自然語言處理無關(guān)的文獻(xiàn)，最終有效篇數(shù)為2231篇。本文選擇詞頻不低于12次的進(jìn)行處理，去掉了一些不相關(guān)的詞：如“漢語”、“綜述”等；同時筆者對一些同義詞進(jìn)行了合并，如把“最大熵模型”和“最大熵”合并為“最大熵”等；最終確定了表征自然語言處理研究方向的61個關(guān)鍵詞，這是本文進(jìn)行共詞分析的基礎(chǔ)(見表1)。
　　對這61個關(guān)鍵詞進(jìn)行兩兩組合，統(tǒng)計它們共同在2 231篇文章中出現(xiàn)的次數(shù)，形成61×61共詞矩陣，部分共詞矩陣如表2所示：
　　在這里筆者把對角線的值設(shè)為該關(guān)鍵詞與其他關(guān)鍵詞共同出現(xiàn)次數(shù)的最大值+1，突出該關(guān)鍵詞與自己的親密關(guān)系。
　　4　自然語言處理的共詞分析
　　在共詞分析中常用的多元統(tǒng)計方法有三種：因子分析(Factor Analysis)，聚類分析(Cluster Analysis)和多維尺度分析(MultimensionaI Scaling)。本文使用前面兩種方法來對高頻關(guān)鍵詞進(jìn)行分析，以揭示自然語言處理領(lǐng)域的研究現(xiàn)狀和熱點。
　　
　　4.1　因子分析
　　因子分析要達(dá)到的目標(biāo)就是用盡可能少的因子去描述眾多的指標(biāo)或因素之間的聯(lián)系，其基本思想是根據(jù)關(guān)鍵詞間的相關(guān)性大小把研究對象的變量進(jìn)行分組，使得同組內(nèi)的變量之間相關(guān)性較高，而不同組的變量相關(guān)性較低。每組變量代表一個基本結(jié)構(gòu)，這個基本結(jié)構(gòu)稱為公共因子。這樣較少的幾個公共因子就可以反映原資料的大部分信息。利用因子分析法�？筛鶕�(jù)因子得分值，在因子所構(gòu)成的空間中把研究對象的變量點畫出來，從而客觀地達(dá)到分類的目的。
　　以上面得到的關(guān)鍵詞共詞矩陣為基礎(chǔ)，在SPSSl8中選擇主成份方法、協(xié)方差矩陣和最大方差旋轉(zhuǎn)進(jìn)行因子分析。結(jié)果顯示有10個公共因子被提取出來，其累計方差貢獻(xiàn)率為85.343％(見表3)。也就是說。將這61個關(guān)鍵詞分成10個類別，就可以解釋國內(nèi)自然語言處理領(lǐng)域85.343％的信息。其中第1、2、6三個因子的方差貢獻(xiàn)率較高，都超過了10％，分別為28.063％、10.821％、14.391％，累計方差貢獻(xiàn)率為53.275％，這是國內(nèi)自然語言處理研究的三個重要領(lǐng)域。
　　而與因子抽取相配套的因子個數(shù)碎石圖(見圖1)則比較直觀地顯示出因子分析的前10個因子類別是比較明確的，這說明因子分析中將自然語言處理研究劃分為lO類是合理的。因子提取結(jié)果產(chǎn)生10個公共因子，根據(jù)因子載荷量系數(shù)大于0.7對命名才有幫助的原則，共提出10個公共因子，命名見表4。最后一個因子由于只有一個關(guān)鍵詞，因此就以其命名。 　　關(guān)鍵詞的載荷量反映了關(guān)鍵詞在其公共因子中的相關(guān)度。表4顯示了由載荷量大于0.5的關(guān)鍵詞組成的公共因子(載荷臨界值越高，所確定的分類結(jié)構(gòu)越簡單。根據(jù)本文的數(shù)據(jù)情況，為能較好反映關(guān)鍵詞的組成結(jié)構(gòu)，這里將載荷臨界值定為0.5)。其中有部分關(guān)鍵詞由于載荷量小于0.5而未能參與分類。它們是“文本挖掘、知識表示、句子相似度、wordnet、聚類”等。這些關(guān)鍵詞的相關(guān)度相對較低，一方面，表明有些關(guān)鍵詞盡管頻次較高，但其所代表的研究主題范圍較大，在因子的相關(guān)度分析中并無特色，例如“聚類”等；另一方面，有些關(guān)鍵詞所代表的主題較為新穎，還沒有同其他的公共因子很好地結(jié)合，如“知識表示”等。另外，關(guān)鍵詞“機(jī)器翻譯”同時出現(xiàn)在因子l和9中，體現(xiàn)了這兩個因子――“機(jī)器翻譯”和“語音識別”之間的密切相關(guān)性。
　　
　　4.2　聚類分析
　　聚類分析是從事物數(shù)量上的特征出發(fā)對事物進(jìn)行分類。是數(shù)值分類學(xué)和多元統(tǒng)計技術(shù)結(jié)合的結(jié)果，其基本思想是依照事物的數(shù)值特征，來計算各個變量或樣品間的親疏關(guān)系。而變量之間的親疏關(guān)系則有變量之間的距離來衡量，一旦變量之間的距離定義之后。則把距離近的變量歸為同一類。系統(tǒng)聚類(也稱層次聚類)是最常用的一種方法，其含義是：開始將每個變量各看成一類，將距離最近的兩個類合并；重新計算新類與其他類的距離，再將距離最近的兩類合并；再計算新類與其他類的距離……。這樣一步步地進(jìn)行下去，每一步減少―類，直至所有的變量都合并成一類為止，整個聚類過程可繪成聚類圖。
　　本文采用聚類分析中常用的系統(tǒng)聚類法(Hierar-chical Clustering Method)對共詞矩陣進(jìn)行聚類。該分析亦在SPSSl8中完成，聚類時選用離差平方和(Ward)作為聚類方法，在距離測度方法中選擇離散數(shù)據(jù)類型Count中的斐方法(Phi-square Measure)，在數(shù)據(jù)標(biāo)準(zhǔn)化中選擇z分?jǐn)?shù)。
　　聚類分析的結(jié)果見圖2，可以將自然語言處理研究領(lǐng)域分為10類，綜合考慮每一類中各關(guān)鍵詞的性質(zhì)，最終確定自然語言處理領(lǐng)域的十大研究熱點：機(jī)器翻譯、詞性標(biāo)注、句法分析、詞義消歧、語音識別、人工只智能、自動文摘、問答系統(tǒng)、信息檢索、語義網(wǎng)。下面結(jié)合相關(guān)文獻(xiàn)的具體內(nèi)容，對自然語言處理的研究熱點做進(jìn)一步研究。
　　4.2.1　機(jī)器翻譯機(jī)器翻譯是指利用計算機(jī)全自動或部分自動地將一種語言翻譯成為另一種語言的處理技術(shù)，它是自然語言處理最早的研究工作，同時也是它的一個重要分支，而且一直都是自然語言處理領(lǐng)域關(guān)注的前滑和熱點。“語料庫”、“雙語語料庫”等關(guān)鍵詞表明了機(jī)器翻譯的其中一種方法――基于語料庫的方法，因為進(jìn)入20世紀(jì)90年代后，統(tǒng)計方法在自然語言處理中異軍突起；“計算語言學(xué)”、“語言學(xué)”等是與機(jī)器翻譯密切相關(guān)的學(xué)科；“中文信息處理”、“詞義排歧”、“標(biāo)注”等則是機(jī)器翻譯的關(guān)鍵技術(shù)環(huán)節(jié)；“電子詞典”等則是機(jī)器翻譯的重要應(yīng)用。

相關(guān)熱詞搜索：自然語言 熱點 分析 國內(nèi)自然語言處理研究熱點分析 自然語言處理考研 自然語言處理招聘