论语言科学与语言技术

论语言科学与语言技术第2页

来处理自然语言，首先要完成适合于计算机使用的自然语言系统的描写。这一面向“人—机对话”的机用语言系统，与以往面向“人—人对话”的日常语法系统不同。因此机用语言系统的描写应当纳入计算语言学的研究范围，即完成了“机用语言系统”以后，才能“建立形式化的计算模型”使计算机获得自然语言能力。综上所论，计算语言学可以定义为——利用计算机作为工具研究语言、研究机用自然语言系统、研究语言系统或语言能力的计算性，同时建构基于计算机应用、数学模型、认知科学等相关学科基础之上的语言理论的新学科。姑且图示如下：

工具性：利用计算机研究语言
计算语言学描写性：研究机用自然语言系统
技术性：研究语言系统的计算性
理论性：建构新的语言学理论

虽然计算语言学的关键任务是研究人机之间的语言交际问题，即“如何教计算机学会说话”。但是从本质上来说，研究语言系统或语言能力的可计算性和利用计算机工具来研究语言是相通的，只是前者探索的是适合于人－机对话的语言能力，而后者讨论的是适合于人－人对话的语言规则。
依据目前的语言研究成果和信息处理技术路线，计算语言学包括应用基础研究、应用研究和理论研究三个方面。（陈小荷）应用基础研究指语言处理的基本技术研究。现阶段的主要进展是：1．自动分词技术：这是计算机理解自然语言的第一步。目前汉语书面语自动分词的正确率达到95%以上。2．词语特征标注技术：现阶段的词语特征包括词性和义项，这是句法结构理解的基础。两种标注可采用相似的计算模型但后者要复杂得多，目前尚无大规模的实验结果报道。3．语句分析技术：句法结构和语义结构是自然语言理解的关键技术，目前分析真实文本句子的正确率仅在40%左右。4．语料库建设技术：语料库是为特定目的而收集的言语作品集，包括语料处理和检索。研究语句分析需要存放句法分析树的“树库”，但目前的汉语语料库加工程度较低，所建立的树库很少且规模不大。5．语言知识库建设技术：语言知识包括词汇知识、语法知识和语义知识等，事实性和规则性知识分别放在机读词典和规则库中。语句分析技术之所以不能取得突破，主要原因就是目前尚无适合于中文信息处理的大规模语言知识库。
应用研究指自然语言处理的应用工具的研制。现阶段的热点主要有：1．机器翻译工具：半个多世纪过去了，机器翻译的质量仍然令人失望。现在通行的是有限范围翻译和机器辅助翻译。2．自动文摘工具：微软公司的词处理器word有用于英语的文摘功能，哈工大研制的hit-863i型中文自动文摘系统可按用户设定的比例压缩原文。3．自动校对工具：现在存在的主要问题是误报率过高，并且深层错误难以发现。4．信息检索工具：有主题词检索、全文检索两种。前者需要预先有一个主题词表；后者任意字符串都可成为检索对象。另外从语料库中自动获取各种知识的“信息抽取”在线工具的研究刚刚兴起。5．言语识别和言语合成工具：言语识别（或语音识别）可分为词语识别（计算机口语命令）、有限词汇识别（电话订票）和无限词汇识别（将成段说话转为文字）。言语合成（或语音合成）指用计算机将书面语转换为口语即“文语转换”，存在的问题主要是断词不当且语调刻板，仿真度亟待提高。
然而，如果以为应用性特征明显的计算语言学仅仅是技术，则未免失之于偏颇。计算语言学有着相应的理论研究，大致包括人工智能理论（含计算模型理论。目前的人工智能研究，主要还是集中在人工体能、人工技能。在语言能力移植电脑过程未取得实质性进展以前，还谈不上真正的人工智能）和语言学理论两个方面。例如计算机如何或是否可以模拟人脑和语言能力，如何寻找合适的语言计算模型等，就是计算语言学家特别关心的理论问题。除此之外，还有对自然语言本质属性的重新认定、面向信息处理的机用语法学理论、语言系统与数学模型的关系、语言结构和数理逻辑的关系、语言符号的数字化可能性及其局限性、语言的异质性和受限性或语域理论、元语言理论和研究方法等一系列问题。总体而言，一方面，由于牵涉的学科太多，计算语言学的理论研究还相当薄弱，另一方面，与科技发展息息相关的计算语言学不容过多地沉醉于理论探索。计算语言学的强大发展动力植根于鲜明的应用性，必须通过实践推动理论探索。

三、语言系统的计算机模式化要求

从语言学家的立场出发，语言系统的计算机模式化要求，就是要了解计算机需要怎样的语言描写成果，传统语言学（此处指非面向语言信息处理的语言学）的研究是经验描写解释型，而计算语言学的研究是实验操作技术型，自然语言系统要能进行操作技术化处理，首先必须实现语言的计算机模式化。冯志伟（1999，p.215）认为自然语言处理一般应经过三个过程：1.形式化，将所研究的自然语言问题以一定的数学形式表示出来；2.算法化，把自然语言的数学形式转换为算法形式；3.程序化，根据自然语言的算法形式编写计算机程序。侯敏(1999，p.30)认为语言系统的形式化或计算机模式化必须满足三个要求：1.高度抽象化，即从语言现象中抽象出一般规则；2.元语言的形式化，即采取形式逻辑、数学公式、程序语言等形式语言作为元语言；3.运用过程的严密化，即运用过程必须具有数学与逻辑的严密性。
袁毓林(1993)认为形式语言至少具有三个特点：基本单元的明确性、基本运算和基本关系的明确性、运算优先级别的明确性，但是自然语言在这三方面皆不明确。具体而言，1.语法范畴的边界不明，例如语素、词和词组之间、词类之间的界限不明；2.结构关系难以定义，通常所说的结构关系，如主谓、动宾等往往很难明确界定；3.层次关系不外显，人们通常根据语感和语境等来识别结构层次。侯敏(1999，p.36—40)不赞同这种分析，针锋相对地提出：1.可以根据实际需要或应用目的来确立词项或划分词类；2.结构关系分析需要深入到语义平面；3.形式语法已经给出了体现层次的结构树，在分析歧义结构中可加入语义限制，至于有些连人都解决不了的层次歧义结构也不必要求计算机解决。侯敏的观点是“理论追求的是完美，工程追求的是适用”，避开理论困难而采取工程方法，可以建立一个语言分析的近似模型。
所谓“语法范畴的边界不明”，主要是因为这些“范畴”的设置从某种程度上肢解了语言事实；所谓“结构关系难以定义”，主要是因为这些“结构”难以反映语言的本质结构；而所谓“层次关系不外显”，恰恰是语言结构的特点之一。这些探索和争论，实际上反映了三个根本性的问题：1.汉语结构语法学中长期存在的一些困扰，不仅是套用西方语法学框架框范汉语事实所产生的龃龉，而且也是语形语法学自身无法克服的固有问题。几千年来的西方语形语法学研究之所以能够存在，就是因为人脑在发育过程中逐步自建构了与认知能力协同发展的语义结构网络，为语形语法规则提供了语义选择清单与路径。虽然这些语形语法规则在人际交流中可以使用，但是在语言能力的计算机移植中却顿时陷入困境，因为计算机不存在语义网络结构的自建构功能，缺少语义激活路径。根据语形语法规则，计算机造出来的符合自然语句标准的概率极低，多为与对象世界不存在一致性的随机词语串。2.计算语言学所要求的自然语言的形式化，是基于计算机运算模式的语言研究成果。移植进计算机的“定域受限语言系统”和自然语言系统并不完全相等，严格说来，只是一种接近自然语言的计算机模式化符号系统。3.计算语言学的理论和方法，必须建立在语言的本质共性语义性和和计算机数字化运算模式的基础之上。如果对人类语言的认知语义性没有足够的认识，依然安居于语形语法窠臼而迟迟未能建构语义结构网络，语言信息处理的目标则不可能实现。
中国信息科学界有一种看法，计算机对于形态结构的印欧语言处理具有良好的支撑能力，而对中文信息处理则不然（陈力为）。之所以计算机对印欧语文信息处理具有良好的支撑能力，是因为印欧语文结构类型便于建立计算机处理模型。从历史上来看，谷登堡印刷术和打字机键盘都是基于字母的简约性而发明的。一方面，字母系统的符号简约性便于进行数据化处理，汉字符号的繁复性难以进行数据化处理；另一方面，印欧语的形态变化为形式化提供了识别标志，而汉语的孤立结构却没有明显的标志。依据现在的计算机处理模型，汉字的繁复性和汉语的非形态性必然导致中文信息处理中存在一些特殊问题：1.中文信息处理的第一个“瓶颈”。汉语的常用汉字数量繁多，汉字需要解决键盘输入、内部代码、汉字识别和显示、程序语言的数据类型、数据库的排序和检索等一系列问题。2.中文信息处理的第二个“瓶颈”。印欧书面语采取词分写形式，而汉语书面语采取单字连写形式。由于采用西方词法学框架，因此必须研制自动分词技术。假定考虑以“字”和“字义块”等作为汉语的结构单位，自动分词技术将相应改为“字义块”切分技术。3.印欧语的同音词较少，而汉语的同音字较多，同义词和量词也十分丰富，这些都给中文信息处理带来必须解决的难题。4.印欧语可以借助实词的形态变化即在词法层面上进行处理，汉语只有在句法和语义层面上进行处理，需要把语序和虚字的语法信息归纳出来再让计算机掌握。5.印欧语的句子结构是以动词性词语为核心的“主—谓”结构，而汉语的句子结构是以体词性词语为核心的“话题—说明”结构。印欧语的句子结构划一而句界分明，汉语的句子结构多样、成分缺省并且前后句义缠绵。
如果说语言系统是一座“冰山”，那么以上这些语言信息处理中遇到的难题还都是语言系统浮在海水上面的那一小部分，真正的障碍是隐没在海水下面的那一大部分。无论哪一种结构类型的自然语言系统的计算机模拟，包括形态语言，迟早会无可避免地碰撞上坚硬实在而又难以捉摸的“语义结构”。语言研究需要敢于在冰海下持续探索“语义结构”的潜水员。从自然语言系统来说，要让计算机理解语言通常认为必须使电脑能够解决三个问题：1．消除自然语言的一词多义；2．揭示自然语言的潜在意义；3．掌握自然语言的联想推理。这些问题都离不开语义分析，而语义分析技术尚处于探索阶段。（侯敏1999，p.247）对于第一个问题，一词多义可给出不同义项的清单。对于