方志類(lèi)古籍地名識(shí)別及系統(tǒng)構(gòu)建

江西地名研究

關(guān)注我們,獲取更多地名資訊

摘要：以地方志資料匯編《方志物產(chǎn)》（廣東分卷）為語(yǔ)料，設(shè)計(jì)并構(gòu)建了古籍地名識(shí)別系統(tǒng)。采用規(guī)則與統(tǒng)計(jì)相結(jié)合的命名實(shí)體識(shí)別方法，實(shí)現(xiàn)了物產(chǎn)地名的自動(dòng)識(shí)別。分析了命名實(shí)體識(shí)別技術(shù)在中國(guó)方志類(lèi)古籍整理中的應(yīng)用前景，為方志類(lèi)古籍進(jìn)行數(shù)字化整理、挖掘物產(chǎn)分布、物產(chǎn)引進(jìn)和傳播等相關(guān)研究提供了新的途徑。

關(guān)鍵詞：地名識(shí)別；方志；命名實(shí)體；古籍?dāng)?shù)字化；古籍整理。

作為信息抽取中最有實(shí)用價(jià)值的一項(xiàng)關(guān)鍵技術(shù)，命名實(shí)體識(shí)別最初是在ＭＵＣ－6（Message Understanding Conference）中作為一個(gè)子任務(wù)提出的。國(guó)外有關(guān)英文命名實(shí)體識(shí)別的研究開(kāi)始較早，并達(dá)到了較高的水平，ＭＵＣ會(huì)議測(cè)試的準(zhǔn)確率和召回率可達(dá)到97％左右。目前中文命名實(shí)體識(shí)別的研究仍處于探索階段，國(guó)內(nèi)有關(guān)中文命名實(shí)體識(shí)別的研究主要集中于人名和地名，其應(yīng)用涉及生物醫(yī)學(xué)、電子產(chǎn)品、音樂(lè)等領(lǐng)域，研究針對(duì)的語(yǔ)料也主要是現(xiàn)代文獻(xiàn)。古籍命名實(shí)體識(shí)別研究較少，僅有古典文獻(xiàn)和中醫(yī)古籍。

中國(guó)方志類(lèi)古籍起源早、持續(xù)久、類(lèi)型全、數(shù)量多。據(jù)《中國(guó)地方志聯(lián)合目錄》的統(tǒng)計(jì)，僅保存至今的宋至民國(guó)時(shí)期的方志就有8264種，11萬(wàn)余卷，占中國(guó)古籍的1／10左右。可見(jiàn)，中國(guó)方志無(wú)疑是地方文獻(xiàn)中的大宗，它既具有豐富堅(jiān)實(shí)的史料基礎(chǔ)，更具備取之不盡、足資參證的史料價(jià)值。本文以地方志資料匯編《方志物產(chǎn)》（廣東分卷）為語(yǔ)料，探討命名實(shí)體識(shí)別技術(shù)在方志類(lèi)古籍內(nèi)容挖掘中的應(yīng)用前景。通過(guò)借用規(guī)則與統(tǒng)計(jì)相結(jié)合的命名實(shí)體識(shí)別方法，從中識(shí)別出物產(chǎn)的地名，構(gòu)建物產(chǎn)地名識(shí)別系統(tǒng)，為物產(chǎn)分布、物產(chǎn)引進(jìn)和傳播等相關(guān)研究提供信息平臺(tái)。

1 物產(chǎn)地名識(shí)別方法的選擇

物產(chǎn)的地名是專(zhuān)有名詞，屬于命名實(shí)體的范疇。目前，命名實(shí)體識(shí)別的方法主要有規(guī)則方法、統(tǒng)計(jì)方法以及規(guī)則和統(tǒng)計(jì)相結(jié)合的方法。規(guī)則方法，主要通過(guò)分析命名實(shí)體的內(nèi)部和外部特征，人工構(gòu)造規(guī)則模板實(shí)現(xiàn)命名實(shí)體的識(shí)別。統(tǒng)計(jì)方法，主要是針對(duì)命名實(shí)體語(yǔ)料庫(kù)來(lái)訓(xùn)練某個(gè)字作為命名實(shí)體組成部分的概率值，并用它們來(lái)計(jì)算某個(gè)候選字段作為命名實(shí)體的概率，其中概率值大于一定閾值的字段為識(shí)別出的命名實(shí)體。規(guī)則與統(tǒng)計(jì)相結(jié)合的方法，是通過(guò)概率計(jì)算減少規(guī)則方法的復(fù)雜性與盲目性，而且可以降低統(tǒng)計(jì)方法對(duì)語(yǔ)料庫(kù)規(guī)模的要求。

方志類(lèi)古籍中涉及的地名很多，但沒(méi)有明確規(guī)范的地名定義。有些地名涵蓋的地域范圍寬泛，如“南夷”、“西域”有些地名則比較具體；地名的長(zhǎng)度沒(méi)有嚴(yán)格限制，短的如“廣”、“粵”，長(zhǎng)的如“南海龍之都會(huì)新安龍穴洲”；古籍中涉及的外國(guó)地名，大都是舊稱(chēng)，但對(duì)外國(guó)地名的翻譯缺乏統(tǒng)一規(guī)范，如“頗稜國(guó)”與“頗陵國(guó)”、“交阯”與“交趾”；時(shí)常多個(gè)地名一起出現(xiàn)，但有地名出現(xiàn)的地方，其文字表述的含義又不盡相同，既有說(shuō)明某一物產(chǎn)原產(chǎn)地的，如“甕菜本生東夷古倫國(guó)”，又有說(shuō)明物產(chǎn)現(xiàn)有分布地的，如“龍豬出南雄龍王巖在城東百里”；既有說(shuō)明物產(chǎn)引進(jìn)傳播情況的，如“番薯種自外洋呂宋移來(lái)由閩而廣”，也有說(shuō)明該地區(qū)沒(méi)有某一物產(chǎn)的，如“日月蠔今惠來(lái)等處有之揭無(wú)此物”。這些復(fù)雜的地名表述情況，加之古籍的書(shū)寫(xiě)又不分句讀，大都沒(méi)有標(biāo)點(diǎn)符號(hào)，這就加大了地名識(shí)別的難度。已有的地名識(shí)別相關(guān)研究大都在進(jìn)行地名識(shí)別之前先做分詞處理，這就勢(shì)必造成一些問(wèn)題。如忽略了地名用字的特殊性，把地名用字等同于一般字做同樣的簡(jiǎn)單分詞處理，造成分詞結(jié)果的錯(cuò)漏；當(dāng)?shù)孛泻谐Ｓ迷~或地名與地名前后字組成常用詞時(shí)，常用的分詞方法還會(huì)降低地名識(shí)別的正確率。

分析方志類(lèi)古籍發(fā)現(xiàn)，古籍中地名的結(jié)尾常有地名特征詞出現(xiàn)，如“國(guó)”、“府”、“州”、“縣”、“郡”等地名還常與一些介詞、動(dòng)詞、方位詞之類(lèi)的指示詞一起出現(xiàn)，如“丹竹出仁化”、“蕉布產(chǎn)潮州肇慶”、“安石榴種自涂林安石國(guó)得來(lái)”等，這些特征詞和指示詞即為命名實(shí)體識(shí)別方法中所謂的“規(guī)則”。我們可以提取這些規(guī)則，采用規(guī)則與統(tǒng)計(jì)相結(jié)合的命名實(shí)體識(shí)別方法來(lái)進(jìn)行方志類(lèi)古籍地名的智能化識(shí)別研究。

2 物產(chǎn)地名識(shí)別系統(tǒng)的設(shè)計(jì)

2．1 文檔處理及物產(chǎn)粗分詞

方志類(lèi)古籍地名識(shí)別的基礎(chǔ)工作是建立古籍的數(shù)字文檔及數(shù)據(jù)庫(kù)。本文所研究的語(yǔ)料中，物產(chǎn)的行文敘述格式多種多樣，缺乏統(tǒng)一規(guī)范。借鑒前人的研究成果，對(duì)文本內(nèi)容格式做規(guī)范處理，格式如下：

手抄本名稱(chēng)

屬省序號(hào)

志書(shū)名稱(chēng)

成書(shū)年代

起始頁(yè)碼

序言

物產(chǎn)屬名1

物產(chǎn)名1說(shuō)明文字（可有可無(wú)）

物產(chǎn)名2說(shuō)明文字（可有可無(wú)）

物產(chǎn)屬名2

物產(chǎn)名1說(shuō)明文字（可有可無(wú)）

物產(chǎn)名2說(shuō)明文字（可有可無(wú)）

綜論

按上述格式對(duì)文檔進(jìn)行規(guī)范處理后，每一種物產(chǎn)都分行列出，物產(chǎn)名和該物產(chǎn)的解釋說(shuō)明文字之間有一空格。這一過(guò)程實(shí)現(xiàn)了物產(chǎn)的粗分詞，通過(guò)計(jì)算機(jī)切分和人工析取粗略地分出了物產(chǎn)名詞。與此同時(shí)，也為數(shù)據(jù)庫(kù)的設(shè)計(jì)提供了依據(jù)，為文檔的批量入庫(kù)做好了準(zhǔn)備。

2．2 物產(chǎn)地名識(shí)別

借用規(guī)則為主、統(tǒng)計(jì)為輔的命名實(shí)體識(shí)別方法，選擇方志類(lèi)古籍為語(yǔ)料，具體識(shí)別步驟如下：

2．2．1　構(gòu)建地名標(biāo)引詞典

方志中的地名大都是古代地名，參閱《古今地名對(duì)照表》、《古代地名通俗稱(chēng)謂大全》以及明、清和民國(guó)時(shí)期廣東省行政區(qū)劃等相關(guān)資料，收集、整理、統(tǒng)計(jì)古代地名，構(gòu)建地名標(biāo)引詞典。

2．2．2 構(gòu)建地名識(shí)別規(guī)則庫(kù)

（1）選取清朝康熙23年至民國(guó)32年間的《大埔縣志》、《埔陽(yáng)縣志》、《惠來(lái)縣志》、《饒平縣志》、《揭陽(yáng)縣志》等富含多種地名表述方式的志書(shū)作為訓(xùn)練語(yǔ)料，抽取并統(tǒng)計(jì)地名的上下文信息，生成地名識(shí)別規(guī)則庫(kù)（見(jiàn)表1）。

表1中，“－”代表要識(shí)別的地名，根據(jù)地名在規(guī)則詞中的位置（前、后、中間），把規(guī)則分為三種類(lèi)型：左開(kāi)右閉型、左閉右開(kāi)型、兩端封閉型。對(duì)于左開(kāi)右閉和左閉右開(kāi)這兩種類(lèi)型的規(guī)則，除規(guī)則外另截取5個(gè)漢字。對(duì)于兩端封閉型，若中間詞串長(zhǎng)度不超過(guò)5個(gè)字符，則全部截取。

（2）選取其余部分廣東方志作為測(cè)試語(yǔ)料，用規(guī)則庫(kù)中的規(guī)則信息匹配測(cè)試語(yǔ)料中的物產(chǎn)解釋?zhuān)ㄟ^(guò)對(duì)匹配結(jié)果的統(tǒng)計(jì)分析，計(jì)算規(guī)則的頻度，以此來(lái)判斷規(guī)則的可信程度。

不同的規(guī)則在識(shí)別地名時(shí)，其正確率是不同的。為了表示規(guī)則的可信程度，引入規(guī)則頻度這一概念。規(guī)則頻度的定義如下：

其中表示規(guī)則Ｒ識(shí)別地名正確的個(gè)數(shù)；表示規(guī)則Ｒ識(shí)別地名總數(shù)。

（3）根據(jù)匹配結(jié)果和規(guī)則頻度的反饋信息，通過(guò)增加獎(jiǎng)懲規(guī)則，對(duì)規(guī)則庫(kù)進(jìn)行修正和完善。增加的規(guī)則如：

獎(jiǎng)勵(lì)規(guī)則：

①若候選地名中出現(xiàn)“國(guó)”、“府”、“州”、“縣”、“郡”等地名特征詞，（見(jiàn)表2）。

懲罰規(guī)則：

②若候選地名長(zhǎng)度大于5個(gè)漢字長(zhǎng)。

③若候選地名右側(cè)2個(gè)漢字內(nèi)出現(xiàn)“記”、“志”、“叢話(huà)”等表示書(shū)名的字詞。

④若候選地名左側(cè)1個(gè)漢字是“按”、“見(jiàn)”、“案”等表示引用文獻(xiàn)的字詞。

⑤若候選地名中出現(xiàn)“一”、“二”······“十”等數(shù)詞。

⑥若候選地名中出現(xiàn)“上”、“中”、“底”、“邊”等方位詞。

⑦若規(guī)則字和前后漢字組成固定詞語(yǔ)，如“蔓生”、“野生”、“飛出”、“出入”、“土產(chǎn)”、“水產(chǎn)”等。

2．2．3 物產(chǎn)地名識(shí)別

（1）運(yùn)用規(guī)則庫(kù)匹配物產(chǎn)解釋?zhuān)a(chǎn)生候選地名；

（2）通過(guò)獎(jiǎng)懲規(guī)則對(duì)不同類(lèi)型的規(guī)則產(chǎn)生的候選地名做相應(yīng)的過(guò)濾處理；

（3）用地名標(biāo)引詞典掃描經(jīng)過(guò)處理的候選地名，進(jìn)一步修正通過(guò)規(guī)則識(shí)別的地名。具體識(shí)別算法如下：

①讀入一條物產(chǎn)解釋?zhuān)?/p>

②判斷物產(chǎn)解釋是否為空；

③是 執(zhí)行空地名信息插入，轉(zhuǎn)①；

④否 遍歷規(guī)則信息；

⑤根據(jù)規(guī)則類(lèi)型，獲取地名信息；

⑥判斷地名信息是否為空；

⑦是 地名置空，轉(zhuǎn)④；

⑧否 遍歷懲罰規(guī)則；

⑨根據(jù)當(dāng)前匹配規(guī)則的類(lèi)型，執(zhí)行相應(yīng)的懲罰規(guī)則過(guò)濾處理；

⑩判斷懲罰規(guī)則遍歷是否結(jié)束；

?否 轉(zhuǎn)⑧；

?是 判斷地名信息是否為空；

?地名置空，轉(zhuǎn)④；

?否 遍歷獎(jiǎng)勵(lì)規(guī)則，過(guò)濾地名信息；

?用地名表掃描經(jīng)過(guò)處理的候選地名，修正識(shí)別地名；

?地名信息插入；

?判斷規(guī)則信息遍歷是否結(jié)束；

?否 轉(zhuǎn)④；

?是 判斷物產(chǎn)解釋遍歷是否結(jié)束；

?否 轉(zhuǎn)①；

?是 結(jié)束退出。

方志物產(chǎn)地名識(shí)別流程見(jiàn)圖1。

3 物產(chǎn)地名識(shí)別系統(tǒng)的實(shí)現(xiàn)

3．1 系統(tǒng)開(kāi)發(fā)軟件的選擇

系統(tǒng)開(kāi)發(fā)運(yùn)行的環(huán)境是Microsoft·NETFramework 。項(xiàng)目的類(lèi)型為ASP?NET,ASP?NET是由ASP（Active Server Pages）發(fā)展而來(lái)，它是完全基于對(duì)象的，每個(gè)對(duì)象都有自己的屬性、方法和事件，開(kāi)發(fā)人員只要選用相應(yīng)的控件并調(diào)整其屬性，就可以建立業(yè)務(wù)解決方案，這種結(jié)構(gòu)為Ｗｅｂ應(yīng)用的開(kāi)發(fā)提供了一種面向?qū)ο蟮姆椒ǎ沟茫祝澹鈶?yīng)用的開(kāi)發(fā)更為簡(jiǎn)易、方便和靈活。系統(tǒng)開(kāi)發(fā)的語(yǔ)言選用Ｃ＃，開(kāi)發(fā)的工具選用ＶVisual Studio 2008。后臺(tái)數(shù)據(jù)庫(kù)選用ＭｉｃｒｏｓｏｆｔＳＱＬ Ｓｅｒｖｅｒ2005，ＳＱＬ Ｓｅｒｖｅｒ2005是微軟基于客戶(hù)端／服務(wù)器模式的數(shù)據(jù)庫(kù)系統(tǒng)，適用于大型數(shù)據(jù)庫(kù)管理和電子商務(wù)，能確保數(shù)據(jù)的完整性和安全性，可為方志內(nèi)容挖掘和知識(shí)發(fā)現(xiàn)提供支持，且ＳＱＬ Ｓｅｒｖｅｒ2005支持Ｕｎｉｃｏｄｅ，適合古籍特殊數(shù)據(jù)存儲(chǔ)，因而選作后臺(tái)數(shù)據(jù)庫(kù)。數(shù)據(jù)訪問(wèn)采用ＡＤＯ·ＮＥＴ技術(shù)，ＡＤＯ·ＮＥＴ是由ＡＤＯ（ActiveＸ Data Objects ActiveＸ?cái)?shù)據(jù)對(duì)象）發(fā)展而來(lái)，它是一種無(wú)連接、基于消息的數(shù)據(jù)訪問(wèn)模型。數(shù)據(jù)源上的數(shù)據(jù)可作為ＸＭＬ文檔進(jìn)行傳輸和存儲(chǔ)，這樣，只要應(yīng)用能夠解析ＸＭＬ，就能夠?qū)崿F(xiàn)數(shù)據(jù)訪問(wèn)。基于Ｂ／Ｓ模式的設(shè)計(jì)思想，便于系統(tǒng)擴(kuò)充應(yīng)用和更新維護(hù)，用Ｉｎｔｅｒｎｅｔ訪問(wèn)Ｗｅｂ頁(yè)面，實(shí)現(xiàn)文件管理、規(guī)則庫(kù)管理、地名識(shí)別、信息統(tǒng)計(jì)等功能。

3．2　系統(tǒng)實(shí)現(xiàn)

系統(tǒng)主要包括文件管理、信息抓取入庫(kù)、規(guī)則和獎(jiǎng)懲規(guī)則管理、地名識(shí)別、信息查詢(xún)與統(tǒng)計(jì)等功能。

文件管理：瀏覽、上傳需要進(jìn)行地名識(shí)別的文件，支持多文件上傳。已上傳的文件可以通過(guò)文件名查詢(xún)，文件的詳細(xì)內(nèi)容可以點(diǎn)擊查看，也可以隨時(shí)刪除文件。

信息抓取入庫(kù)：將已上傳的文件按照標(biāo)注的代碼轉(zhuǎn)入數(shù)據(jù)庫(kù)，同時(shí)完成物產(chǎn)粗分詞的過(guò)程界面，如圖2。

規(guī)則和獎(jiǎng)懲規(guī)則管理：查詢(xún)、添加、編輯和刪除地名識(shí)別規(guī)則及獎(jiǎng)懲規(guī)則。編輯獎(jiǎng)懲規(guī)則時(shí)，選定一條規(guī)則，從判斷方向、字符長(zhǎng)度、規(guī)則狀態(tài)、過(guò)濾信息等選項(xiàng)進(jìn)行編輯。

地名識(shí)別：對(duì)已抓取入庫(kù)的文件進(jìn)行物產(chǎn)地名的識(shí)別，識(shí)別結(jié)果分“已編輯”和“未編輯”兩類(lèi)分別顯示。“已編輯”是抓取到地名信息的結(jié)果，可逐頁(yè)瀏覽每個(gè)物產(chǎn)的物產(chǎn)名、地名、規(guī)則等信息，系統(tǒng)實(shí)現(xiàn)了同一物產(chǎn)相關(guān)信息的集中顯示；“未編輯”是未能抓取到地名信息的結(jié)果。識(shí)別結(jié)果的顯示界面中，用戶(hù)均可點(diǎn)擊查看物產(chǎn)的詳細(xì)信息，必要時(shí)可根據(jù)物產(chǎn)的解釋人工添加、修改地名和規(guī)則信息界面如圖3。

信息查詢(xún)與統(tǒng)計(jì)：顯示全部的地名識(shí)別結(jié)果，提供物產(chǎn)名、物產(chǎn)屬名、物產(chǎn)地名、規(guī)則信息、志書(shū)名稱(chēng)、成書(shū)年代等檢索入口和排序依據(jù)，可分類(lèi)統(tǒng)計(jì)信息，并具有去重及篩選的功能。

3．3　系統(tǒng)測(cè)評(píng)

3．3．1測(cè)評(píng)指標(biāo)

為衡量系統(tǒng)的識(shí)別效果，采用三個(gè)評(píng)估指標(biāo)對(duì)系統(tǒng)進(jìn)行測(cè)評(píng)，分別是準(zhǔn)確率Ｐ、召回率Ｒ和綜合指標(biāo)Ｆ。它們的定義如下：

其中α是準(zhǔn)確率Ｐ和召回率Ｒ之間的權(quán)衡因子，這里我們認(rèn)為Ｐ和Ｒ同等重要，因此α取1，此時(shí)綜合指標(biāo)稱(chēng)為Ｆ－1值。

3．3．2測(cè)評(píng)方法

隨機(jī)抽取10個(gè)文件作為測(cè)試集，請(qǐng)相關(guān)專(zhuān)家仔細(xì)研讀后人工識(shí)別出正確的物產(chǎn)地名，同時(shí)標(biāo)出地名對(duì)應(yīng)的規(guī)則信息。由于一條物產(chǎn)解釋中有可能涉及多個(gè)規(guī)則和地名，例如：

芒果 種傳外國(guó)實(shí)大如鵝子狀生則酸熟則甜惟新會(huì)香山有之

此物產(chǎn)解釋中包含的地名信息：芒果　種傳外國(guó)　惟新會(huì)香山有之

為方便測(cè)試，將這一條解釋中的地名信息作為兩對(duì)識(shí)別結(jié)果來(lái)加以記錄：

芒果　種傳外國(guó)

芒果　惟新會(huì)香山有之

這樣，專(zhuān)家人工識(shí)別出的正確的物產(chǎn)地名643對(duì)，計(jì)算機(jī)識(shí)別出的物產(chǎn)地名841對(duì)。測(cè)試時(shí)把計(jì)算機(jī)識(shí)別出的物產(chǎn)地名和人工識(shí)別出的正確的物產(chǎn)地名逐一對(duì)比，找出相同的對(duì)數(shù)，結(jié)果見(jiàn)表3。

3．3．3測(cè)評(píng)結(jié)果及錯(cuò)誤原因分析

計(jì)算得出，準(zhǔn)確率為63.38％，召回率為82.89％，綜合指標(biāo)為71.83％。通過(guò)對(duì)識(shí)別結(jié)果的分析，筆者認(rèn)為導(dǎo)致系統(tǒng)誤識(shí)別和漏識(shí)別的原因主要有三點(diǎn)：一是規(guī)則庫(kù)的覆蓋面有限，識(shí)別規(guī)則不能涵蓋所有的地名信息，導(dǎo)致漏識(shí)；懲罰規(guī)則也不可能窮舉所有可能導(dǎo)致地名誤識(shí)別的情況，導(dǎo)致誤識(shí)。二是規(guī)則匹配對(duì)規(guī)則之間存在沖突，導(dǎo)致重復(fù)識(shí)別。三是原始方志資料數(shù)字化處理過(guò)程中存在生字、錯(cuò)字，當(dāng)利用地名初始標(biāo)引詞典對(duì)候選地名做最后的修正時(shí)，計(jì)算機(jī)無(wú)法識(shí)別、修正錯(cuò)誤的地名信息，降低了識(shí)別結(jié)果的召回率和準(zhǔn)確率。

4 結(jié)語(yǔ)

本文嘗試將命名實(shí)體識(shí)別技術(shù)應(yīng)用到方志類(lèi)古籍的內(nèi)容挖掘中，一方面，為方志類(lèi)古籍的整理和開(kāi)發(fā)利用提供了一種新方法、新技術(shù)；另一方面，也為命名實(shí)體識(shí)別技術(shù)的應(yīng)用研究開(kāi)辟了新領(lǐng)域。從實(shí)證研究的效果看是可行的，要達(dá)到實(shí)際應(yīng)用的程度，有待通過(guò)提高電子文本質(zhì)量、增加規(guī)則和優(yōu)化算法等途徑進(jìn)一步提高地名識(shí)別的準(zhǔn)確率和召回率。

作者：朱鎖玲，包平

來(lái)源：《中國(guó)圖書(shū)館學(xué)報(bào)》2011年第3期

選稿：耿 曈

編輯：王玉鳳

校對(duì)：宋柄燃

審訂：歐陽(yáng)莉艷

責(zé)編：耿 曈

（由于版面有限,文章注釋內(nèi)容請(qǐng)參照原文）

微信掃碼加入

中國(guó)地名研究交流群

QQ掃碼加入

江西地名研究交流群

歡迎來(lái)稿！歡迎交流！

轉(zhuǎn)載請(qǐng)注明來(lái)源：“江西地名研究”微信公眾號(hào)