基于词汇化模型的汉语句法分析

第２９卷第９期　２００７年９月　电子与信息学报　、　１．２９ＮＯ．９　Ｊｏｕｒｎａｌ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃｓ＆Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ　Ｓｅｐｔ．２００７　基于词汇化模型的汉语句法分析　曹海龙　赵铁军　李生　（哈尔滨工业大学语言语音教育部一微软重点实验室哈尔滨１５０００１）　摘要：该文以处理大规模真实文本为目标，把句法分析分解为分词／词性标注、短语识别两个部分。首先提出了　一个一体化的分词／词性标注方法，该方法在隐马尔科夫模型（ＨＭＭ）的基础上引入词汇信息，既保留了ＨＭＭ简单　快速的特点，又有效提高了标注精度；然后应用中心驱动模型进行短语识别，这是一个词汇化的英文句法分析模型，　该文将其同分词／词性标注模型结合进行汉语句法分析。在公共的测试集上对句法分析器的性能进行了评价，精确　率和召回率分别为７７　５７％和７４．９６％，这一结果要明显好于目前唯一可比的工作。　关键词：句法分析；隐马尔科夫模型；中心驱动模型；结构模式识别　中图分类号：ＴＰ３９１，Ｈ１４６．３　文献标识码：Ａ　文章编号：１００９—５８９６（２００７）０９—２０８２—０４　Ｐａｒｓｉｎｇ　Ｃｈｉｎｅｓｅ　Ｂａｓｅｄ　Ｏｉｌ　Ｌｅｘｉｃａｌｉｚｅｄ　Ｍｏｄｅｌ　Ｃａｏ　Ｈａｉ—－ｌｏｎｇ　Ｚｈａｏ　Ｔｉｅ—－ｊｕｎ　Ｌｉ　Ｓｈｅｎｇ　（ＭＯＥ－ＭＳ　Ｋｅｙ　Ｌａｂ．ｏｆ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　ａｎｄ　Ｓｐｅｅｃｈ，Ｈａｒｂｉｎ　Ｉｎｓｔｉｔｕｔｅ　ｆｏ　Ｔｅｃｈｎｏｌｏｇｙ，　Ｈａｒｂｉｎ　１５０００１，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｐｒｏｃｅｓｓ　ｌａｒｇｅ－ｓｃａｌｅ　ｒｅａｌ　ｔｅｘｔ．ａ　ｍｅｔｈｏｄ　ｏｆ　ｂｕｉｌｄｉｎｇ　Ｃｈｉｎｅｓｅ　ｐａｒｓｅｒ　ｂａｓｅｄ　ｏｎ　ｌｅｘｉｃａｌｉｚｅｄ　ｍｏｄｅｌ　ｉｓ　ｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔ．ａ　ｕｎｉｆｉｅｄ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｐａｒｔ　ｏｆ　ｓｐｅｅｃｈ　ｔａｇｇｉｎｇ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｂａｓｅｄ　ｏｎ　ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅ１．Ｔｈｅ　ｍｅｔｈｏｄ　ｎｏｔ　ｏｎｌｙ　ｃｏｎｓｅｒｖｅｒｓ　ｔｈｅ　ｍｅｒｉｔｓ　ｏｆ　ＨＭＭ　ｗｈｉｃｈ　ｉｓ　ｓｉｍｐｌｅ　ａｎｄ　ｅｆｉｆｃｉｅｎｔ　ｂｕｔ　ａｌｓｏ　ｉｍｐｒｏｖｅｓ　ｔｈｅ　ｔａｇｇｉｎｇ　ａｃｃｕｒａｃｙ．Ｔｈｅｎ　ｔｈｅ　ｈｅａｄ—ｄｒｉｖｅｎ　ｍｏｄｅｌ　ｉｓ　ｕｓｅｄ　ｔｏ　ｒｅｃｏｇｎｉｚｅ　ｐｈｒａｓｅｓ．Ｈｅａｄ—ｄｒｉｖｅｎ　ｍｏｄｅｌ　ｉｓ　ａ　ｗｅｌｌ—ｋｎｏｗｎ　Ｅｎｇｌｉｓｈ　ｐａｒｓｉｎｇ　ｍｏｄｅｌ；ｗｅ　ｃｏｍｂｉｎｅ　ｉｔ　ｗｉｔｈ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ＰＯＳ　ｔａｇｇｉｎｇ　ｍｏｄｅｌ　ａｎｄ　ｔｈｕｓ　ｂｕｉｌｄ　ａ　Ｃｈｉｎｅｓｅ　ｐａｒｓｅｒ　ｔｈａｔ　ｃａｎ　ｏｐｅｒａｔｅ　ａｔ　ｔｈｅ　ｃｈａｒａｃｔｅｒ　ｌｅｖｅ１．Ｔｈｅ　ｐａｒｓｅｒ　ｉｓ　ｅｖａｌｕａｔｅｄ　ｏｎ　ｔｈｅ　ｓｔａｎｄａｒｄ　ｔｅｓｔ　ｓｅｔ．Ｉｔ　ａｃｈｉｅｖｅｓ　７７．５７％　ｐｒｅｃｉｓｉｏｎ　ａｎｄ　７４．９６％ｒｅｃａｌｌ　ａｎｄ　ｏｕｔｐｅｒｆｏｒｍｓ　ｔｈｅ　ｏｎｌｙ　ｐｒｅｖｉｏｕｓ　ｃｏｍｐａｒａｂｌｅ　ｗｏｒｋ　ｓｉｇｎｉｉｆｃａｎｔｌｙ．　Ｋｅｙ　ｗｏｒｄｓ：Ｓｙｎｔａｃｔｉｃ　ｐａｒｓｉｎｇ；Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌ；Ｈｅａｄ—ｄｒｉｖｅｎ　ｍｏｄｅｌ；Ｓｙｎｔａｃｔｉｃ　ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ　１　引言　模型　进行短语识别，这是一个词汇化的英文句法分析模型，　句法分析，就是指根据给定的语法，自动地识别出句子　本文首次将其同分词／词性标注模型结合进行汉语句法分　所包含的句法单位和这些句法单位之间的关系。“基于内容　析。在公共的测试集上对句法分析器的性能进行了评价，精　的文本处理”是计算语言学的研究重点，句法分析是保证各　确率和召回率分别为７７．５７％和７４　９６％，这一结果要明显好　种应用系统能够在内容层面处理自然语言的核心技术。宾州　于目前唯一可比的工作——基于极大熵的方法＿３Ｊ０　中文树库（Ｃｈｉｎｅｓｅ　Ｔｒｅｅｂａｎｋ，ＣＴＢ）［　Ｊ的发布为汉语句法分　本文余下的部分组织如下：第２节提出了词汇化的分词　析研究提供了一个公共的训练、测试平台，促使汉语句法分　／词性标注方法；第３节介绍了中心驱动模型的基本原理及　析成为当前国际上的一个研究热点。目前已经有多个原本为　改进措施。第４节给出实验结果；第５节回顾了相关的工作　英语设计的句法分析模型被移植到ＣＴＢ上来，并且取得了　并进行了对比和讨论；最后对全文进行总结。　一定的成果。但是还存在的问题是：已有的多数工作都忽略　２　词汇化的分词／词性标注模型　了中文的特点，假设句法分析器的输入是带有正确分词标记　２．１基于隐马尔科夫模型的分词／词性标注模型　的句子；这显然会降低句法分析器的实际应用价值。　句法分析器的输入是由若干个连续的字符组成的句子。　本文以处理大规模真实文本为目标，把句法分析分解为　形式化地，可以把句子作为一个字符序列：Ｃ＝（ｃＩ，…，Ｃ　），　分词／词性标注、短语识别两个子任务。为此，本文提出一　其中ｃ　表示句子中第ｉ个字符。　个一体化的分词／词性标注方法，该方法在隐马尔科夫模型　ｆＨＭＭ）的基础上引入词汇信息，既保留了ＨＭＭ简单快速　在识别短语前，首先对句子进行分词和词性标注。例如，　的特点，又有效提高了标注精度；然后应用著名的中心驱动　给定句子“宁波保税区建设成就显著”，合理的分词和词性　标注结果应该是“宁波／ＮＲ保税区／ＮＮ建设／ＮＮ成就　２００６一Ｏｌ一２３收到，２００６—０７—２０改回　／ＮＮ显著／ＶＡ”。　国家自然科学基金（６０３７３１０１）和国家８６３计划（２００４ＡＡ１１７０１０－０８）资　由于歧义的原因，给定一个句子　会有多个不同的候　助课题　维普资讯 http://www.cqvip.com 第９期　曹海龙等：基于词汇化模型的汉语句法分析　２０８３　选分词和词性标注方式。为了使机器能够在众多的候选中做　出正确的选择，统计方法认为最好的结果应该是条件概率最　大的分词和词性标注结果：　ｔ，其中　，　，　为权重系数，　ｋ　（ｘｌｙ）Ｎ用极大似然估计方　（ｚ　ｆ　）：—ｃｏｕ—ｎｔ（　ｘ　，ｙ）　Ｌ法求得的概率，即：　（９）　ＰＯＳｂ。ｓｔ＝ａｒｇｍａｘＰ（　ＰＯＳ　ｌ　）　ＰＯＳ　（１）　ＣＯｕＩｌ　Ｌ　其中Ｗ＝（Ｗ１，…，Ｗｍ）表示候选词序列，ＰＯＳ＝（ｔｌ，…，ｔ　）表　示同　对应的词性序列。根据贝叶斯公式并略掉常数项，　可以把式ｆｌ１变换为　３　基于中心驱动模型的汉语句法分析　３．１中心驱动模型的基本原理　经过自动分词和词性标注，句子　转换为由词和词性组　ｔ．ＰＯＳｂｅ。ｔ＝ａｒｇ　ｍａｘ　Ｐ（　，ＰＯＳ　ｌ　Ｃ）　Ｗ，ＰＯＳ　Ｐ（　，ＰＯＳ，　Ｃ）　盯ｍ—Ｗ　Ｐ，　Ｏ　Ｓｒｌ　Ｊ　＝ａｒｇｍａｘＰ（Ｗ，ＰＯＳ，Ｃ）　（２）　．ＰＯＳ　进一步地，由于　被　所包含，因此可以把式（２）变换　为　ｔ　Ｐ０ｓｂｅｓｔ：ａｒｇｍａｘＰ（　，ＰＯＳ，Ｃ）　ＰＯＳ　：ａｒｇｍａｘＰ（Ｗ，ＰＯＳ）　（３）　ＰＯＳ　这样，分词和词性标注问题的关键是如何计算概率　Ｐ（　ＰＯＳ），隐马尔科夫模型（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ，ＨＭＭ）　把式ｆ３１分解为　Ｐ（　，ＰＯＳ）＝Ｐ（ＰＯＳ）Ｐ（Ｗ　ｌ　ＰＯＳ）　＝Ｐ（ｔｌ，　，・一，ｔ．）Ｐ（Ｗｌ，　，…，Ｗｎ　ｌ岛，　，・一，　）　≈Ｐ（ｔ１）Ｉ－［Ｐ（ｔｉ　）兀Ｐ（ｗｉ　　ｌ）　（４）　ｉ＝２　ｉ＝１　式（４）中做了如下的假设：当前词性的产生仅仅与前一　个词性是有关的，每个词的产生仅仅与该词的词性有关。　２．２词汇化的分词／词。陛标注模型　从上文可以看到ＨＭＭ做了很强的假设，这显然不　符合自然语言的特点。事实上一个词的词性同上下文中的词　和词性都是有紧密联系的，因此本文采用如下词汇化方法：　Ｐ（　，ＰＯＳ）＝Ｐ（ｔｌ，　，…，　，Ｗ１，Ｗ２，…，Ｗ　）　＝Ｐ（ｔｌ，Ｗ　）兀Ｐ（　，Ｗｉ　ｌ岛，　，…，　一１，Ｗｉ一１）　ｉ＝２　≈Ｐ（ｔｌ，Ｗ　）兀Ｐ（ｔｉ，Ｗｉ　ｌ　ｔｉ－ｌ￣Ｗｉ一１）　（５）　＝２　这样，就突破了ＨＭＭ所作的假设，充分考虑了上下文　中的词汇信息对词性选择的影响，加强了模型的消歧能力。　词汇信息的引入必然加重数据稀疏问题，即产生大量的零概　率，因此需要采用适当的平滑方法。对式ｆ５１变形：　Ｐ（　，Ｗｉ　ｌ　ｔｉ＿ｌ，Ｗｉ一１）＝Ｐｌ（ｔ￣ｌ　ｔ¨，Ｗｉ一１）　（　；ｌ　１，Ｗｉ　ｔｉ）（６）　这样，可以对式（６）右侧的两项分别进行如下的线性插值平　滑：　日（　ｌ　ｔｉ＿ｌ，Ｗｚ＿】）＝　１　Ｌ１（　ｌ　ｔ￣－ｌ，Ｗｉ一１）　＋（１一Ａ１）ｐＭＬ１（　ｌ　ｔｉ一　）　（７）　（　ｌ　ｔｉ一１，Ｗ　，ｔｉ）　＝　（　ｌ　一　，Ｗｉ一　，　）＋（１一　）　’　・［　（　（　ｌ　ｔｉ＿ｌ，ｔｉ）＋（１一　：）　（　ｌ　）］　（８）　成的序列＆　Ｓ＝（＜Ｗ１，ｔｌ＞，…，＜Ｗ　，　＞）　由于句法歧义的原因，给定　，会有多个不同的候选分　析树。根据贝叶斯公式并略掉常数项：　ｒｂｅｓｔ　ａｒｇ　Ｔ　ａｒｇ　ａｘ　＝ａｒｇｍａｘＰ（Ｔ，Ｓ）　（１０）　其中　表示候选分析树。根据概率上下文无关文法　（ＰＣＦＧ），可以把（　，　的产生分解为这样一个自项向下的过　程：从起始符号产生句法树的根节点；根节点产生它的所有　子节点；子节点中的非叶子节点继续产生它的所有子节点，　不断进行这个过程，直到把所有的叶子节点都生成出来。把　上面每一个产生过程中语法规则的概率连乘起来就是Ｐｆ　。比如，句子＜宁波／ＮＲ，保税区／ＮＮ，建设／ＮＮ，成就　／ＮＮ，显著／ＶＡ＞的一棵候选句法树如图１所示，在ＰＣＦＧ　模型下，该句法树的概率为：　Ｐ（　，Ｓ）＝Ｐ（ＴＯＰ—　ＩＰ）・Ｐ（ＩＰ—　ＮＰ＋ＮＰ＋ＶＰ）　・Ｐ（ＮＰ—　ＮＲ＋ＮＮ１．Ｐ（ＮＰ—　ＮＮ＋ＮＮ１　・Ｐ（ＶＰ—ＶＡ）・Ｐ（ＮＲ一宁波）・Ｐ（ＮＮ一保税区）　・Ｐ（ＮＮ一建设）・Ｐ（ＮＮ一成就）・Ｐ（ＶＡ一显著）（１１）　其中ＴＯＰ表示句法树的起始符号，每条语法规则的概率可　以通过极大似然估计方法从训练集中计算出来。　ＩＰ　———ｒ、＼　／　＼／＼　　ｌＮＲ　ＮＮ　ＮＮ　ＮＮ　ＶＡ　『　ｌ　ｌ　ｌ　ｌ　宁波保税区建设　成就　显著　图１一棵候选句法树　我们注意到，在句子　给定的情况下，式（１０）的第２行　中的概率均为常数，这相当于忽略了词汇信息对每棵候选句　法树的概率的影响。为了发挥词汇信息的作用，中心驱动模　型为语法规则中的每一个非终结符ｎｏｎｅ　ｔｅｒｍｉｎａ１）都引入核　心词／词性信息，例如，在中心驱动模型下，图１所示的句　法树将转换为图２所示的形式，其概率仍然为每条语法规则　的概率的乘积：　ＩＰ（ＶＡ，显著１　ＮＰ（ＮＮ，保税暖）————，『—＼　ＮＰ（ＮＮ，成就）　　ＶＰ（ＶＡ，显著）　ＮＲ（ＮＲ　　，宁波）　ＮＮ（ＮＮ保，保税区）　／　＼　　＼　ＩＩ　　ＮＮ（ＮＮ，建设）ＮＮ（ＮＮ，成就）ＶＡ（、．Ａ，显著）　图２引入词汇信息的句法树　维普资讯 http://www.cqvip.com ２０８４　电子与信息学报　第２９卷　Ｐ（Ｔ，　）：Ｐ（ＴＯＰ—ＩＰ（ＶＡ，显著））・Ｐ（ＩＰ（ＶＡ，显著）一　ＮＰ（ＮＮ，保税区）＋ＮＰ（ＮＮ，成就）＋ＶＰ（ＶＡ，显著））　・采用的方法和式（１３）略有不同，即　。或Ｒ　的产生不再依赖于　中心成份日，而是依赖于其前一个成份　Ｈ或Ｒ¨，具体公　式为　ｍ＋１　Ｐ（ＮＰ（ＮＮ，保税区）一ＮＲ（ＮＲ，宁波）　＋ＮＮ（ＮＮ，保税区））・Ｐ（ＮＰ（ＮＮ，成就）　一ＮＮ（ＮＮ，建设）＋ＮＮ（ＮＮ，成就））　Ｐｈ（Ｕ　　ｌＰ（ｈｔ）ｈｗ））・ｎ　５（Ｌ，０ｔ。，１ｗ　）ｌＰ】厶一ｌ０ｔ¨，１ｗ¨））　ｉ＝１　ｎ＋１　・・Ｐ（ＶＰ（ＶＡ，显著）一ＶＡ（ＶＡ，显著））　（１２）　ｎ　Ｐｒ（Ｐｄｒｔ　，ｒｗ　）ｌＰ】　—ｌ（ｒｔｌ＿１）ｒｗ¨））（１５）　由于引入词汇信息，不可避免将出现严重的稀疏问题。　为了缓解这个问题，中心驱动模型把每一条语法规则的右手　４实验与分析　侧分解为３大部分，分别为：一个中心成份：若干个在中心　左边的修饰成份：若干个在中心右边的修饰成份。形式化地，　一条语法规则可以写成如下形式：　Ｐ（ｈｔ，ｈｗ）－）－Ｌ　（１ｔ　，１ｗ　）…（Ｉｔｌ，１ｗ１）月　ｈｔ，ｈｗ）　・Ｒ１（ｒｔｌ，ｒｗ１）…Ｒ　（ｒｔ　，ｒｗ　）　（１３）　其中Ｐ为非终结符，日表示中心成份，Ｌ表示左边修饰成份，　Ｒ，表示右边修饰成份。ｈｗ，１ｗ，ｒｗ均是成份的核心词，ｈｔ，　Ｉｔ，ｒｔ分别是它们的词性。进一步假设，首先由Ｐ产生核心　成份且然后以日为中心分别地产生左右两边的所有修　饰成份。这样，形如式（１２）的语法规则的概率为　ｍ＋１　Ｐｈ（Ｈ　ｌ　Ｐ（ｈｔ，ｈｗ））・ｌＩ￣（Ｌｉ（１ｔ　，１ｗ　）ｌ　Ｐ（ｈｔ，ｈｗ），Ｈ）　ｚ＝１　ｎ＋１　・ｎＰｒ（Ｒ￣（ｒｔ。）ｒｗ　）ｌ　Ｐ（ｈｔ，ｈｗ），Ｈ）　（１４）　ｉ＝１　其中　＋ｌ和Ｒ　＋１分别为左右两边的停止符号。中心驱动模　型还要考虑距离、标点信息，具体步骤请参看文献［２】。　３．２基本名词短语的识别　在各种类型的短语中，名词短语（Ｎｏｕｎ　Ｐｈｒａｓｅ，ＮＰ）所　占的比例是最高的，其语法规则也最为多样化。为了降低问　题的复杂性，可以把其中的基本名词短语分离出来单独处　理。基本名词短语的定义：如果～个名词短语ＮＰ的所有子　节点都不是名词短语，那么这个短语称为基本名词短语　ｆＢａｓｅ　Ｎｏｕｎ　Ｐｈｒａｓｅ，ＢＮＰ）。ＢＮＰ也可称为非递归名词短语。　在训练中心驱动模型之前，本文对训练集中的句法树进行如　下两步处理：　ｆ１）根据ＢＮＰ的定义，把所有满足定义的名词短语的标　记由ＮＰ改为ＢＮＰ，如图３（ａ）所示。　ｆ２）在每个ＢＮＰ和其父节点之间插入一个一般的名词短　语ＮＰ，如图３ｆｂ）所示。　ｌｒ　儿　——］～＼　——１＼　ＮＰ　ＮＰ　ＶＰ　ＢＮＰ　ＢＮＰ　ＶＰ　｛　　『Ｉ　／＾＼／＾＼　Ｉ　ＢＮＰ　ＢＮＰ　、　ＮＲ　Ｎ　Ｎ　ＮＮ　、ｌ＇Ａ　／＾＼／＾＼　ｆ　｛　Ｉ　Ｉ　Ｉ　Ｉ　ＮＲ　ＮＮ　ＮＮ　ＮＮ　显著　宁波保税　建设　成就显著　Ｉ　ｌ　ｌ　　ｌ宁波保税区建设成就　（ｂ）　图３句法树的预处理　在评价分析结果时，仍然以树库的原有形式为准。如果　自动分析出的句法树中含有ＢＮＰ，那么在对其进行评价之前　要这样处理：删除ＢＮＰ的父节点ＮＰ，并把ＢＮＰ改为ＮＰ。　由于ＢＮＰ的特性，在计算ＢＮＰ产生其子节点的概率时，　４．１实验数据　本文的实验是在第一版宾州中文树库（ＣＴＢ）Ｊ：进行的。　ＣＴＢ是由语言数据联盟ｆＬＤＣ１公开发布的一个语料库，为汉　语句法分析研究提供了一个公共的训练、测试平台。ＣＴＢ　由３２５篇文章组成，总共包含４１８５个句子，根据以往研究的　惯例【　】，我们把前２７０篇文章作为训练集，后２５篇文章作　为调试集，其余的３０篇文章作为测试集。本文的所有实验　中，模型的参数都是从训练集中采用极大似然法估计出来的。　４．２实验结果与分析　本文首先利用词汇化模型对测试集中的句子进行分词　和词性标注。由于目前还没有在ＣＴＢ上进行词性标注实验　的相关报导，我们就以最为常用的ＨＭＭ作为对比的基准。　表１给出了实验结果，其中Ｆ一测度为精确率和召回率的调和　平均值。我们看到词汇化模型的词性标注效果要好于ＨＭＭ。　值得一提的是，同极大熵等方法相比，词汇化模型的一个优　点是训练和解码过程要简单得多。但是，同在著名的《人民　日报》语料库上的相关实验相比，本文在ＣＴＢ上的标注精　度明显偏低。主要原因是ＣＴＢ规模偏小，训练集部分只有　３４８４个句子。如何把基于《人民日报》语料库的词性标注器　移植到ＣＴＢ的标注体系上是今后值得研究的问题。　表１词性标注结果　．　下一步我们利用中心驱动模型进行短语识别。为了深入　理解模型的机理和特性，本文设计了如下２个实验：　实验１应用基本的中心驱动模型，如３．１小节所述；　实验２在实验１的基础上，对基本名词短语进行特殊　处理；　两个实验的设置是完全～样的：中心驱动模型的输入是　通过词性化模型进行了分词和词性标注的句子；训练时，采　用文献ｆ９１提供的决策表来确定每个短语的中心词；测试时，　解码算法为ＣＹＫ算法。ＣＹＫ算法利用从训练集中抽取的语　法自动地为每个待分析的句子生成可能的候选句法树。我们　利用中心驱动模型来计算每个候选句法树的概率，从中选取　概率最大的一棵句法树作为输出。表２给出了具体实验结果。　在训练数据非常有限的条件下，表２所示的实验结果还是比　较令人满意的。Ｆ＿’钡０度能够达到７６．２５％，这一结果要明显好　于目前唯一可比的工作——基于极大熵的方法　Ｊ。　维普资讯 http://www.cqvip.com 第９期　曹海龙等：基于词汇化模型的汉语句法分析　表２句法分析实验结果　精确率　召回率　Ｆ一测度　实验ｒ　７６．Ｏ６％　７３．６２％　７４．８２％　实验２　７７．５７％　７４．９６％　７６．２５％　我们注意到，对ＢＮＰ进行特殊处理这个步骤发挥了很　大的作用。这个处理分为两步，分别如图３（ａ）、图３（ｂ）所示，　其作用如下：ｆ１１从内部结构看，ＢＮＰ和其他的名词短语显　然是不同的，像图３（ａ）那样把ＢＮＰ标记出来，可以用特殊　的方式计算它的内概率（Ｉｎｓｉｄｅ—ｐｒｏｂａｂｉｌｉｔｙ）。（２）从外部看，　ＢＮＰ和其他的名词短语的句法功能是一样的，通过图３（ｂ）　那样在ＢＮＰ之上加入一个一般的名词短语ＮＰ，就可以用同　样的方式计算它的外概率（Ｏｕｔｓｉｄｅ－ｐｒｏｂａｂｉｌｉｔｙ１，从而有效降　低模型的熵值。ＢＮＰ最初是在英文句法树上定义的，大多数　已有的工作在把模型移植到ＣＴＢ的过程中都忽略了这个非　常重要的问题。　５　相关工作的回顾与讨论　本节简要回顾一下在ＣＴＢ上进行句法分析实验的相关　工作。在已有的工作中，文献ｆ３１是同本文唯一可比的工作，　因为都没有假设待分析的句子要预先带有正确的分词标记。　文献ｆ３１利用转换学习的方法来进行分词／词性标注、用极大　熵模型识别短语，取得的实验结果是：Ｆ．ｉ贝０度为７５．０９％。　文献ｆ４】第一个报告了利用ＣＴＢ进行汉语句法分析的工　作，作者采用了两个模型：ＢＢＮ模型和ＴＩＧ模型，这两个　模型和本文采用的中心驱动模型都比较相似，但是作者没有　对基本名词短语做任何特殊的处理。文献【５】同样使用了ＴＩＧ　模型，而且另外利用了ＥＭ算法来确定中心成份。文献ｆ６１　应用Ｆａｃｔｏｒｅｄ模型进行了实验，并通过错误分析对句法分析　器作了一定的改进。文献【７】把面向数据的句法分析（ＤＯＰ）方　法移植到ＣＴＢ上，并再次验证了分析的准确性会随着片断　单元的增大而提高。文献ｆ８１在结合中心驱动模型和Ｆａｃｔｏｒｅｄ　模型的基础上，提出了一个基于语义的模型；这是目前唯一　对基本名词短语作了特殊处理的工作，其方法和图３（ａ）所示　的方式类似。上述这些模型的实验结果如表３所示。　表３相关工作的实验结果ｆ测试集中长度小于等于４０个词的句子）　模型　精确率　召回率　Ｆ一测度　ＢＢＮ　ｍｏｄｅｌ　７４．８％　６９．Ｏ％　７１．７８％　ＴＩＧ　ｍｏｄｅｌ　７７．８％　７６．８％　７７．３Ｏ％　ＴＩＧ＋ＥＭ　８１．Ｏ６％　７８．７９％　７９．９１％　Ｆａｃｔｏｒｅｄ　ｍｏｄｅｌ　７８．４％　７９．２％　７８．８Ｏ％　ＤＯＰ　ｍｅｔｈｏｄ　７２．９３％　６９．７３％　７１．２９％　Ｓｅｍａｎｔｉｃ　ｂａｓｅｄ　ｍｅｔｈｏｄ　８Ｏ．１％　７８．７％　７９．４Ｏ％　在表３中，所有实验都是在分词完全正确的句子上进行　的，文献［１０】认为如此做出的句法分析结果不具有实际意义，　因此提出了一个以极大熵模型为基础，集分词、词性标注和　句法分析于一体的方法，实验结果为：Ｆ一测度为８１．４％。由　于本文以及文献［３－８１的实验都是在具有４１８５个句子的第一版　ＣＴＢ上进行的，而文献ｆ１０】是在第二版ＣＴＢ上进行的（语料规　模增加了一倍），因此其结果同其他任何工作都不具有可比　性。　６　结束语　汉语句法分析是国内外学者正在努力攻克的一个难题。　本文以处理大规模真实文本为目标，把句法分析分解为分词／　词性标注、短语识别两个部分。首先提出了一个一体化的分　词／词性标注方法，该方法在ＨＭＭ的基础上引入词汇信息，　既保留了ＨＭＭ简单快速的特点，又有效提高了标注精度；　然后应用中心驱动模型进行短语识别，这是一个词汇化的英　文句法分析模型，本文首次将其同分词／词性标注模型结合进　行汉语句法分析。在公共的测试集上对句法分析器的性能进　行了评价，实验结果要明显好于目前唯一可比的工作。　参考文献　［１］Ｘｕｅ　Ｎｉａｎｗｅｎ，Ｘｉａ　Ｆｅｉ，ａｎｄ　Ｃｈｉｏｕ　Ｆｕｄｏｎｇ，ｅｔ　ａ１．、Ｔｈｅ　Ｐｅｎｎ　Ｃｈｉｎｅｓｅ　ｔｒｅｅｂａｎｋ：Ｐｈｒａｓｅ　ｓｔｒｕｃｔｕｒｅ　ａｎｎｏｔａｔｉｏｎ　ｏｆ　ａ　ｌａｒｇｅ　ｃｏｒｐｕｓ．Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｅｎｇｉｎｅｅｒｉｎｇ．２００ａ（４）：１—３Ｏ．　［２］　Ｃｏｌｌｉｎｓ　Ｍｉｃｈａｅｌ、Ｈｅａｄ－ｄｒｉｖｅｎ　ｓｔａｔｉｓｔｉｃａｌ　ｍｏｄｅｌｓ　ｆｏｒ　ｎａｔｕｒａｌ　ｌａｎｇｕａｇｅ　ｐａｒｓｉｎｇ．［Ｐｈ．Ｄ．ｔｈｅｓｉｓ］，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｐｅｎｎｓｙｌｖａｎｉａ，　１９９９．　［３］　Ｆｕｎｇ　Ｐａｓｃｌａｅ，Ｎｇａｉ　Ｇｒａｃｅ，ａｎｄ　Ｙａｎｇ　Ｙｏｎｇｓｈｅｎｇ，ｅｔ　ａ１．．Ａ　ｍａｘｉｍｕｍ－ｅｎｔｒｏｐｙ　ｃｈｉｎｅｓｅ　ｐａｒｓｅｒ　ａｕｇｍｅｎｔｅｄ　ｂｙ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ—ｂａｓｅｄ．１ｅａｒｎｉｎｇ．ＡＣＭ　Ｔｒａｎｓ．ｏｎ　Ａｓｉａｎ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，２００４，３（２）：１５９—１６８．　［４］　Ｂｉｋｅｌ　Ｄａｎｉｅｌ　ａｎｄ　Ｃｈｉｎａｇ　Ｄａｖｉｄ．Ｔｗｏ　ｓｔａｔｉｓｔｉｃａｌ　ｐａｒｓｉｎｇ　ｍｏｄｅｌｓ　ａｐｐｌｉｅｄ　ｔｏ　Ｃｈｉｎｅｓｅ　ｔｒｅｅｂａｎｋ．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　２ｎｄ　Ｃｈｉｎｅｓｅ　ｌｎａｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ｗｏｒｋｓｈｏｐ，Ｈｏｎｇ　Ｋｏｎｇ，２０００：卜６．　［５］　Ｃｈｉａｎｇ　Ｄａｖｉｄ　ａｎｄ　Ｂｉｋｅｌ　Ｄａｎｉｅ１．Ｒｅｃｏｖｅｒｉｎｇ　ｌａｔｅｎｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｉｎ　ｔｒｅｅｂａｎｋｓ．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　１９ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，　Ｔａｉｐｅｉ，２００２：１８３—１８９．　［６］Ｌｅｖｙ　Ｒｏｇｅｒ　ａｎｄ　Ｍａｎｎｉｎｇ　Ｃｈｒｉｓｔｏｐｈｅｒ．Ｉｓ　ｉｔ　ｈａｒｄｅｒ　ｔｏ　ｐａｒｓｅ　Ｃｈｉｎｅｓｅ，ｏｒ　ｔｈｅ　Ｃｈｉｎｅｓｅ　ｔｒｅｅｂａｎｋ？Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ａｎｎｕａｌ　Ｍｅｅｔｉｎｇ　ｏｆ　ｔｈｅ　Ａｓｓｏｃｉａｔｉｏｎ　ｆｏｒ　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｉｎｇｕｉｓｔｉｃｓ，　Ｓａｐｐｏｒｏ，２００３：４３９—４４６．　［７］Ｈｅｒａｎｅ　Ｍａｒｙ　ａｎｄ　Ｗａｙ　Ａｎｄｙ．Ｄａｔａ－ｏｒｉｅｎｔｅｄ　ｐａｒｓｉｎｇ　ａｎｄ　ｔｈｅ　Ｐｅｎｎ　Ｃｈｉｎｅｓｅ　ｔｒｅｅｂａｎｋ．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｆｉｒｓｔ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　Ｎａｔｕｒａｌ　ｌｎａｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ，　Ｈａｉｎａｎ　Ｉｓｌａｎｄ，２００４：４０６—４１３．　［８］Ｘｉｏｎｇ　Ｄｅｙｉ，Ｌｉ　Ｓｈｕａｎｇｌｏｎｇ，ａｎｄ　Ｌｉｕ　Ｑｕｎ　ｅｔ　ａ１．．Ｐａｒｓｉｎｇ　ｔｈｅ　Ｐｅｎｎ　Ｃｈｉｎｅｓｅ　ｔｒｅｅｂａｎｋ　ｗｉｔｈ　ｓｅｍａｎｔｉｃ　ｋｎｏｗｌｄｅｇｅ．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｓｅｃｏｎｄ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｉｎｔ　Ｃｏｎｆｅｒｅｎｃｅ　Ｎａｔｕｒａｌ　ｌｎａｇｕａｇｅ　ｐｒｏｃｅｓｓｉｎｇ，Ｊｅｊｕ　Ｉｓｌａｎｄ，２００５：７Ｏ一８１．　［９］Ｘｉａ　Ｆｅｉ．Ａｕｔｏｍａｔｉｃ　ｇｒａｍｍａｒ　ｇｅｎｅｒａｔｉｏｎ　ｆｒｏｍ　ｔｗｏ　ｄｉｆｆｅｒｅｎｔ　ｐｅｒｓｐｅｃｔｉｖｅｓ．［Ｐｈ．Ｄ．ｔｈｅｓｉｓ］，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｐｅｎｎｓｙｌｖａｎｉａ，１９９９．　［１０］Ｌｕｏ　Ｘｉａｏｑｉｎａｇ．Ａ　ｍａｘｉｍｕｍ　ｅｎｔｒｏｐｙ　Ｃｈｉｎｅｓｅ　ｃｈａｒａｃｔｅｒ—ｂａｓｅｄ　ｐａｒｓｅｒ．Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｅｍｐｉｒｉｃａｌ　ｍｅｔｈｏｄｓ　ｉｎ　Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，Ｂａｒｃｅｌｏｎａ，２００３：１９２—１９９．　曹海龙：　男，１９７６年生，博士生，研究方向为自然语言处理及机　器学习．　赵铁军：　男，１９６２年生，博士生导师，研究方向为自然语言处理　及人工智能．　李生：　男，１９４３年生，博士生导师，研究方向为自然语言处理　及机器翻译．