[摘要]　針對DeepWeb信息資源的利用問題，指出對其進行信息抽取的意義，分析對比在信息抽取過程中處理查詢接口和抽取結(jié)構(gòu)化數(shù)據(jù)這兩個主要步驟所使用的技術(shù)，采用基于關(guān)鍵詞查詢和建立文檔對象模型的方法對專利數(shù)據(jù)庫進行抽取實驗。通過分析實驗結(jié)果，驗證抽取方法的準(zhǔn)確性，指出不足之處和解決的途徑，以期達(dá)到充分利用DeepWeb信息資源的目的。
　　[關(guān)鍵詞]　Deep Web　信息抽取　查詢接口　命名實體識別　文檔對象模型
　　[分類號]　TP31l
　　
　　1、Deep Web的特點
　　
　　隨著網(wǎng)絡(luò)信息資源的爆炸式增長，如何從中獲取用戶所需要的信息成為人們所關(guān)注的焦點問題。人們可以通過搜索引擎來獲取需要的信息，但這是建立在搜索引擎對網(wǎng)頁進行索引的基礎(chǔ)上。而有很多網(wǎng)頁是搜索引擎所無法建立索引的，這些具有隱形特性的網(wǎng)頁集合被人們稱之為Deep Web或Hid―denWeb。
　　Deep Web的概念最初由Dr.Jill Ellsworth在1994年提出，指的是常規(guī)搜索引擎不能索引到的網(wǎng)絡(luò)資源。根據(jù)2001年Michael K Bergman關(guān)于Deep Web研究的白皮書數(shù)據(jù)，相對可以被搜索引擎索引到的Surface Web而言，Deep Web的規(guī)模是其400至500倍，而根據(jù)文獻[2]中關(guān)于DeepWeb的調(diào)查報告，從2000年到2004年，它的規(guī)模增長了3～7倍，并且還在不斷增長中。由以上的研究數(shù)據(jù)可知，如果能夠?qū)⑷绱艘?guī)模龐大的網(wǎng)絡(luò)資源的信息內(nèi)容有序地抽取、整理出來，對于情報分析和研究工作是很有意義的。
　　
　　2、抽取方法概述
　　
　　Deep Web中的信息資源，根據(jù)文獻[2]中的分析，基本上是以網(wǎng)絡(luò)數(shù)據(jù)庫的結(jié)構(gòu)進行存儲。那么在訪問時，首先要經(jīng)過數(shù)據(jù)庫的訪問接口，普通搜索引擎不能索引Deep Web內(nèi)容的原因也就在于其不能同Web表單進行交互，因此也就無法取得檢索結(jié)果頁面進行索引。那么要實現(xiàn)對這種資源類型的信息抽取，除必要的抽取程序外，還需要處理數(shù)據(jù)庫查詢接口的交互問題，以下分兩部分進行介紹。
　　
　　2.1　處理查詢接口
　　Web表單，其實質(zhì)是后臺數(shù)據(jù)庫查詢接口。用戶通過查詢接口輸入相應(yīng)的信息來查詢數(shù)據(jù)庫內(nèi)容，而抽取程序通過特殊定制的表單交互程序來訪問數(shù)據(jù)庫。
　　按交互程序的特點，可以分為兩類：
　　2.1.1通過關(guān)鍵詞覆蓋的方法使查詢有選擇地覆蓋結(jié)果集。此類方法的原理可以表述為：給定查詢q，使用P(q，)表示對于查詢qi服務(wù)器所返回的結(jié)果頁面占所有可能結(jié)果頁面的比例，那么目標(biāo)就是尋找一個查詢集合(q1，q２，…，qn)使得返回結(jié)果P(q1 V q2 V…V qn)值最大化。在實際查詢中，有兩種關(guān)鍵詞選擇策略：一是隨機策略，即從候選詞典中隨機選取關(guān)鍵詞用于提交查詢表單；另一種是適應(yīng)性策略，通過分析之前查詢所返回的結(jié)果集，估測待選查詢關(guān)鍵詞的返回頁面數(shù)，并找到可能返回數(shù)最高的關(guān)鍵詞。適應(yīng)性策略是一個迭代計算的過程，步驟上比隨機策略復(fù)雜，但根據(jù)文獻[5]中的實驗結(jié)論可知其查詢覆蓋率一般要優(yōu)于隨機策略。
　　2.1.2根據(jù)對表單形式的查詢接口進行的研究所總結(jié)出的基于查詢接口模型的方法表單內(nèi)一般含有以下常見的控件元素：文本框、選擇列表框、單選按鈕、復(fù)選按鈕等。這種方法將表單內(nèi)各種控件元素進行歸納分析，解析控件元素的標(biāo)簽元素和值域類型以構(gòu)造出一個查詢接口模型。此模型的形式如二元關(guān)系組的集合：F={(E，D1)，(E2,D2)，…，(En,Dn)}，其中F代表當(dāng)前表單，E是標(biāo)簽元素，D是值域。如專利數(shù)據(jù)庫的查詢表單通常由專利類型、申請專利號、專利名稱、申請專利權(quán)人等元素構(gòu)成，有以下結(jié)構(gòu)的模型：
　　F={(專利類型，{發(fā)明專利，實用新型專利，外觀設(shè)計專利})，
　　(申請專利號，字符串)，
　　(專利名稱，字符串)，
　　(申請專利權(quán)人，字符串)，
　　(…，…))
　　這個模型描述了這個專利數(shù)據(jù)庫的查詢接口特征。用(L，V)的二元關(guān)系來表示輸入表單的信息，其中L是標(biāo)簽名，V是輸入值，所有的(L,V)關(guān)系組成集合Label Value Set(Lvs)。對于每個標(biāo)簽元素E，它的標(biāo)簽名是L=label(E)，對應(yīng)有V={v1，v2，…，vn}的值集合來滿足輸入條件。那么對于一個表單F，其所有可能的輸入集是(F,Lvs)=V1×v2×…×vn，所需要的輸入集就是使有P({E1←∥V1，En←Vn})=1-II(1－Mv)，其中Mv是值v的相關(guān)度。這里的相關(guān)指的是該輸入值與值域的相關(guān)性，其計算有不同的實現(xiàn)方法，常見的方法有計算相關(guān)性權(quán)重以及計算特征向量的夾角等。
　　
　　2.2抽取結(jié)構(gòu)化數(shù)據(jù)
　　信息抽取的信息類型主要分為：結(jié)構(gòu)化信息、半結(jié)構(gòu)化信息和自由格式文本，而要抽取的Deep Web資源對象一般以半結(jié)構(gòu)化的查詢返回網(wǎng)頁的形式存在，對它進行信息抽取實際上是將半結(jié)構(gòu)化網(wǎng)頁內(nèi)的信息以結(jié)構(gòu)化的形式抽取出來的過程。
　　根據(jù)MessageUnderstandingforComprehension(MUC)對信息抽取的分類，按信息抽取的內(nèi)容和抽取信息的聚集水平，信息抽取可以分為命名實體識別(Named Entity Recognition)、多語種實體識別任務(wù)(Multi-lingual Entity Task)、模板元素(Template Element)、參照(coreference)、模板關(guān)系(TemplateRelation)、情景模板(scenario Template)這6種類型。基于以上分類，對Deep Web的信息抽取方法可歸納為以下三類。
　　2.2.1基于命名實體識別的抽取方法 命名實體識別是信息抽取中的基礎(chǔ)類型，抽取系統(tǒng)從信息源中標(biāo)識出命名實體并按相應(yīng)的實體名進行分類。在檢索結(jié)果頁面中，存在大量可標(biāo)注信息，如文獻檢索結(jié)果頁面內(nèi)的題名、摘要、作者等和專利檢索結(jié)果頁面內(nèi)的申請?zhí)�、公開號，專利權(quán)人等。此類方法在實現(xiàn)上一般借助文本識別工具，將標(biāo)注的文本信息匹配識別出來。針對返回頁面，通常使用正則表達(dá)式匹配標(biāo)注的字符串。正則表達(dá)式又稱正規(guī)表達(dá)式，是指用來描述或者匹配一系列符合某個句法規(guī)則的字符串的單個字符串表達(dá)式。標(biāo)注命名實體也就是對要抽取的數(shù)據(jù)編寫相應(yīng)的正則表達(dá)式，然后根據(jù)這些正則表達(dá)式就可以把命名實體從返回頁面中抽取出來。這種方法的優(yōu)點在于正則表達(dá)式構(gòu)造過程比較簡單，而檢索結(jié)果頁面上的命名實體數(shù)量一般不會超過30個，因此使用這種方法能夠快速地構(gòu)造抽取程序，并且可以保證很高的準(zhǔn)確率(見表1)。但缺點就是命名實體的表示和正則表達(dá)式的緊密耦合，一旦返回頁面發(fā)生改變，就得重新進行標(biāo)注，導(dǎo)致抽取程序缺乏通用性。
　　2.2.2基于模板的抽取方法在MUC對信息抽取的分類里， 模板元素指的是從文本中抽取特定類型的實體信息，并將這些信息填寫到預(yù)先定義的屬性模板中。基于模板的抽取方法的核心就是預(yù)先構(gòu)建屬性模板的過程。在實現(xiàn)時，針對返回頁面，一般先將其解析成語法樹，再由語法樹生成抽取模板。在網(wǎng)頁信息抽取中，使用文檔對象模型(Document ObjectModel，DOM)來生成語法樹是常用的手段。DOM文檔中的邏輯結(jié)構(gòu)可以用節(jié)點樹的形式進行表述。通過對網(wǎng)頁進行解析，頁面中的元素便轉(zhuǎn)化為DOM文檔中的節(jié)點對象，生成的語法樹也稱為DOM樹，而包含所有待抽取節(jié)點的DOM樹就是抽取模板。與基于字符串匹配的抽取方法比較，基于模板的抽取方法通過模板這個抽象概念將被抽取對象與抽取程序解耦，因此具有較高的通用性，但模板依賴網(wǎng)頁結(jié)構(gòu)生成，仍然具有一定的局限性。
　　2.2.3基于情景的抽取方法這里的情景(Scenario)指的是要抽取的特定信息實體及實體之間的關(guān)系。這種方法拋開了信息載體的表面結(jié)構(gòu)，挖掘信息的內(nèi)部聯(lián)系并將這種關(guān)系提取出來。該方法綜合涉及實體的標(biāo)識、實體與不同場合的自身及不同實體間的參照、在模板基礎(chǔ)上的模板元素間關(guān)系的抽取和由實體到事件的填充并還原整個事件模型等內(nèi)容。雖然目前的英文抽取系統(tǒng)在命名實體和實體關(guān)系的識別方面已達(dá)到或接近實用的水平，但在真正使用中，由于實體到事件和還原事件模型方面涉及自然語言處理中的一些核心問題，抽取性能還有待提高。
　　除以上三種方法，還有一些其他信息抽取方法和模型，如基于語言模型的隱馬爾可夫模型和最大熵模型、基于神經(jīng)網(wǎng)絡(luò)、本體以及基于元數(shù)據(jù)標(biāo)引等抽取方法。但Deep Web的信息內(nèi)容主要由結(jié)構(gòu)化網(wǎng)頁構(gòu)成，這些抽取方法有些不適用，有些被前述三類方法所包含。
　　
　　
　　3、基于模板的專利數(shù)據(jù)抽取實驗
　　
　　對于專利數(shù)據(jù)，其絕大部分的都存儲在專利數(shù)據(jù)庫內(nèi)，那些可以通過網(wǎng)絡(luò)來訪問的專利數(shù)據(jù)庫構(gòu)成了Deep Web資源的一部分，并且很難被搜索引擎索引到。使用上述的信息抽取方法對這部分專利數(shù)據(jù)進行抽取，對于專利情報研究工作很有幫助，同時也可以驗證所總結(jié)出的信息抽取方法的有效性。
　　這里對美國專利數(shù)據(jù)庫(USPTO)和中國專利數(shù)據(jù)庫內(nèi)的部分資源進行抽取。在設(shè)計表單處理程序時，考慮到實驗的規(guī)模，沒有采用遍歷整個數(shù)據(jù)庫的形式，而是選擇一些關(guān)鍵詞在其所代表的領(lǐng)域內(nèi)進行小范圍內(nèi)的信息抽取。經(jīng)由分析數(shù)據(jù)庫的查詢表單，將關(guān)鍵詞和限定條件(專利年份、類型等)封裝到HTTP POST數(shù)據(jù)包內(nèi)，發(fā)送到服務(wù)器端，并取得返回的檢索結(jié)果頁面。在對結(jié)果頁面進行信息抽取時，在保證準(zhǔn)確率的前提下選擇適用性較高的基于模板的抽取方法，對返回頁面進行解析，生成抽取模板，具體步驟如下：
　　頁面轉(zhuǎn)換。使用Tidy等工具將HTML格式的返回頁面去除頁面噪音，并轉(zhuǎn)換為XML或者XHTML的格式以方便DOM樹的生成。
　　DOM遍歷。使用DOM工具遍歷轉(zhuǎn)換后的文檔內(nèi)容，生成對應(yīng)的DOM樹。樹的結(jié)構(gòu)如圖1所示：
　　
　　生成抽取模板。將DOM樹上不需要的節(jié)點裁剪，得到關(guān)于抽取節(jié)點的最小DOM樹，即為模板。如把圖l中TD→“申請專利號”、TD→“申請日”等多余標(biāo)簽所在的路徑去掉后得到的樹就是一顆包含頁面上所有專利信息的最小DOM樹。
　　信息抽取。在得到抽取模板后，就可以對整個檢索結(jié)果頁面集進行抽取。對每個頁面，依次進行上述前兩步處理，得到DOM樹對象，然后按最小DOM樹抽取模板取得樹上各節(jié)點的值。在程序?qū)崿F(xiàn)時，涉及樹節(jié)點的定位問題，常用的方法是采用XPath工具來解決。對于XML文檔，XSL(可擴展樣式表語言，Extensible Stylesheet Language)使用XPath來標(biāo)識XML文檔中的元素位置。對于抽取模板，用XPath表達(dá)式的形式把各節(jié)點的位置信息記錄下來，而對于檢索結(jié)果頁面生成的DOM樹，就可以使用根據(jù)模板得到的XPath表達(dá)式來把需要的節(jié)點一一找到。如把圖l中申請專利號、申請日、專利名稱、公開號和公開日這幾個節(jié)點的位置用XPath表達(dá)式來描述就是一個如下的集合：
　　
　　集合表示的是各節(jié)點及其位置的一一對應(yīng)關(guān)系，其中的數(shù)字序號表示兄弟節(jié)點的順序(圖1中同一顆子樹內(nèi)最左邊節(jié)點的位置計為1，其兄弟節(jié)點位置計數(shù)向右遞增)。那么對于已經(jīng)DOM化后的檢索結(jié)果頁面，就可以使用以上XPath表達(dá)式來定位節(jié)點并獲取值。
　　按以上方法，對兩個專利數(shù)據(jù)庫的部分專利數(shù)據(jù)進行抽取，得到實驗結(jié)果如表2所示。
　　
　　實驗數(shù)據(jù)來自對兩個數(shù)據(jù)庫內(nèi)有關(guān)納米顆粒的專利數(shù)據(jù)，都抽取100項專利，在美國專利中一共有129項相關(guān)專利，得知召回率是100／129=77.5％，而由于該專利數(shù)據(jù)庫檢索結(jié)果頁面本身的結(jié)構(gòu)上差異比較大的原因，很多頁面所包含的待抽取信息項(抽取節(jié)點數(shù))并不相同，導(dǎo)致抽取模板的適用性不高，直接影響抽取準(zhǔn)確率即抽取記錄中相關(guān)記錄占總抽取記錄數(shù)的比例；而中國專利數(shù)據(jù)的準(zhǔn)確率很高，達(dá)到了98.7％，原因在于該專利數(shù)據(jù)庫檢索結(jié)果頁面結(jié)構(gòu)統(tǒng)一，每個頁面均含有19個待抽取信息項，因此抽取模板對于擁有統(tǒng)一結(jié)構(gòu)的檢索結(jié)果頁面能夠準(zhǔn)確地把每一項專利信息抽取出來。由實驗數(shù)據(jù)可知，在頁面結(jié)構(gòu)統(tǒng)一的情況下，基于模板的抽取方法能得到較高的準(zhǔn)確率，相反，差異性較大的頁面結(jié)構(gòu)也降低了抽取準(zhǔn)確率。
　　
　　4、結(jié)語
　　
　　本文針對Deepweb資源的信息抽取，總結(jié)了信息抽取過程中處理查詢接口和抽取結(jié)構(gòu)化數(shù)據(jù)這兩個主要步驟所使用的技術(shù)，并實證基于模板的抽取方法的可行性�；�于模板的抽取方法具有較高的準(zhǔn)確率，并且模板結(jié)構(gòu)使得抽取程序具有較好的可移植性，但它在模板生成和抽取準(zhǔn)確率上過于依賴網(wǎng)頁結(jié)構(gòu)的局限性，限制了它在Deepweb眾多結(jié)構(gòu)的網(wǎng)絡(luò)資源抽取工作中的進一步應(yīng)用。隨著自然語言處理技術(shù)的進一步發(fā)展，拋棄了信息載體的結(jié)構(gòu)特征而基于信息內(nèi)部聯(lián)系的抽取技術(shù)將是下一步研究工作的重點。 　　3.2圖書館學(xué)理論傳播和普及過程中的中國化
　　西方圖書館學(xué)作為與中國圖書館實踐有一定距離的學(xué)理結(jié)構(gòu)，其輸入過程大致經(jīng)歷了以下幾個階段：①中國的現(xiàn)實需要，這是前提。從鴉片戰(zhàn)爭及洋務(wù)運動中國先賢對西方圖書館的宣傳介紹，到戊戌變法前后學(xué)習(xí)西方創(chuàng)辦新式圖書館，到清末新政時期公共圖書館觀念的傳播和公共圖書館運動的興起，直到1919年新文化運動以來對西方圖書館學(xué)理論的引進，中國近現(xiàn)代圖書館理論和實踐過程始終伴隨著如何學(xué)習(xí)西方的問題。這其中積累的經(jīng)驗和教訓(xùn)，在當(dāng)今圖書館學(xué)研究如何中國化的問題上仍有參考價值。②傳播普及。即努力突破西方圖書館理論的純粹學(xué)術(shù)層面，引起官方和大眾的廣泛關(guān)注。這首先涉及到語言轉(zhuǎn)換和理解轉(zhuǎn)換的問題，意味著學(xué)者們不僅要在學(xué)術(shù)層面上一展身手，還要在學(xué)術(shù)層面之外有所作為。③發(fā)現(xiàn)問題和證偽通則。即西方學(xué)理在面對中國圖書館實踐時，到底表現(xiàn)出了哪些錯位甚至無能。這是中國化研究過程中最為重要和核心的一環(huán)，集中體現(xiàn)了中國圖書館實踐的現(xiàn)實需要與西方學(xué)理之間的張力。
　　圖書館學(xué)知識體系現(xiàn)有了一定程度的普及，全國高校設(shè)立的圖書館學(xué)本科、碩博士教育已初具規(guī)模。如何在普遍性工作大發(fā)展的基礎(chǔ)上，對因中國社會政治經(jīng)濟發(fā)展而帶來的圖書館事業(yè)新問題作出新理解，這是目前中國化問題的重中之重。遺撼的是，學(xué)術(shù)界目前津津樂道的仍是上世紀(jì)90年代以來西方“后現(xiàn)代”話語在圖書館學(xué)中的嫁接和應(yīng)用。技術(shù)圖書館學(xué)、科學(xué)圖書館學(xué)和人文圖書館學(xué)，作為當(dāng)前中國圖書館學(xué)研究的三大話語類型無一不是在亦步亦趨于西方的學(xué)術(shù)理論。如圖書館哲學(xué)作為一個新興的研究領(lǐng)域，即起源于1986年卿家康等翻譯了美國學(xué)者謝拉的《圖書館哲學(xué)》。
　　3.3西方圖書館學(xué)科學(xué)主義經(jīng)驗研究的中國化
　　西方圖書館學(xué)理論是具體的，同時也因具有西方科學(xué)主義經(jīng)驗研究的傳統(tǒng)而具有“通則”性。然而，這些具有“通則”性的理論雖然“科學(xué)”，但不一定符合中國的國情。這樣，通則如何在中國經(jīng)驗下被證偽，就成為圖書館學(xué)研究中國化的重要課題。我們認(rèn)為，那些在西方形成的“科學(xué)”理論，在相關(guān)論域中只能作為分析中國問題的參照，無可避免地體現(xiàn)著西方理論與中國實踐之間的緊張。如，元數(shù)據(jù)作為一種微觀知識組織法，其理論所強調(diào)的對各種復(fù)雜形式的知識的格式化描述，在現(xiàn)實知識組織過程中并不為中國人（尤其是普通用戶）所接受和理解。早在《七略》時代，中國圖書分類的類名就不是“格式化”的。如“六藝略”這個一級類名其實下分“九種”文獻，人們是根據(jù)先秦以來關(guān)于“六藝”（它的組成、它和孔子的關(guān)系、它在政治教化上的功能等）文化背景來理解這一“略”的所有文獻的；又如《四庫總目?集部?詩文評》類以《文心雕龍》為核心文獻，人盡皆知的“《文心雕龍》”參與著人們對“詩文評”類名含義及其下分所有文獻的理解[8]。雖然以“科學(xué)和民主”為信念的五四新文化運動迄今已有近一個世紀(jì)的時間，但飽受傳統(tǒng)文化熏陶下的中國知識分子仍然更多地傾向于諸如“六藝略”或“詩文評”那樣的經(jīng)驗感受而不是西方科學(xué)主義演繹下的抽象理解。這可以很好地解釋，為什么西方自信心爆棚的各種知識管理方法，當(dāng)運用于中國圖書館實踐時幾無成功案例的事實。
　　
　　4結(jié)語
　　
　　圖書館學(xué)研究中國化是世界范圍內(nèi)圖書館學(xué)研究本土化的一個子課題。當(dāng)今世界的全球化浪潮，作為一種非蓄意和非預(yù)期的全球性效應(yīng)，正促進著基于民族本位立場的圖書館學(xué)中國化關(guān)懷。圖書館學(xué)研究中國化問題不僅淵源久遠(yuǎn)，而且將永遠(yuǎn)存在，這是由西方圖書館學(xué)產(chǎn)生的歷史背景和其學(xué)理結(jié)構(gòu)決定的。圖書館學(xué)研究中國化的內(nèi)容包羅甚豐，但目前中國化研究的重點應(yīng)該轉(zhuǎn)移到努力發(fā)現(xiàn)中國當(dāng)今特定時空下、特定圖書館實踐的新問題，去證偽那些一度作為中國圖書館學(xué)研究中心的西方通則。
　　
　　參考文獻：
　　[1]吳慰慈.圖書館學(xué)學(xué)科建設(shè)要本土化.圖書情報工作,1998(1):1.
　　[2]劉茲恒.再論圖書館學(xué)本土化.圖書與情報,2005(4):13-16.
　　[3]劉茲恒.試論圖書館學(xué)本土化的目的與特征.圖書館雜志,2004, (11):2-7.
　　[4]孟廣均,徐引篪.國外圖書館學(xué)情報學(xué)研究進展.北京:北京圖書館出版社,1999:64-114.
　　[5]劉國鈞.發(fā)刊詞.圖書館季刊,1926(1):1.
　　[6]鮑曼.全球化――人類的后果. 郭國良,徐建華,譯.北京：商務(wù)印書館,2001:57.
　　[7]艾斯.全球網(wǎng)絡(luò)的文化與交流:文化多元性,道德相對主義,以及一種全球倫理的希望.華明,譯.上海師范大學(xué)學(xué)報,2006(5):11-23.
　　[8]傅榮賢.《七略》中的核心文獻.大學(xué)圖書館學(xué)報,2004(4):69-72.

相關(guān)熱詞搜索：抽取 研究 信息 Ｄｅｅｐ�。祝澹庑畔⒊槿⊙芯� deepweb網(wǎng)民恐怖經(jīng)歷 deepweb暗網(wǎng)鏈接