论语言科学与语言技术

宣传动员范文 发布时间:2010/10/30

论语言科学与语言技术

(南京师范大学)
提要:本文阐释了依据当代科技进步和人类社会发展所提出的语言科技新思维。“语言科学”主要指基础性的描写语言学和理论语言学;“语言技术”主要指应用性的计算语言学。语言技术可划分为文本处理技术和系统模拟技术。虽然计算语言学的关键任务是“教计算机学说话”,但研究语言的可计算性和利用计算机工具研究语言这两者本质上是相通的,只是前者探索的是适合于“人-机对话”的语言能力,而后者讨论的是适合于“人-人对话”的语言规则。语言学家只有了解了语言系统的计算机模式化要求,才有可能将研究目标对准语言工程。人类语言的本质共性是语义性。依据语义语法学理论,建构计算机所需要的元语言系统(语言基因图谱分析工程)和语义结构网络(语言能力移植工程),才能穿过智能机研制中的瓶颈。当代信息科技的发展趋势表明,语言研究对象的语义性和语言研究过程及其成果的技术化将成为21世纪的语言学精神。
关键词:语言科技语言系统模拟语言基因分析语言能力移植语义语法学
一、“语言科技”新思维的提出
虽然计算机设计的初衷是缘于数值计算,但是英国数学家图灵(a.m.turing)在《机器能思维吗?》(1950)一文中已经预见到计算机和自然语言将结下不解之缘,并且提出检验计算机智能的最好方法就是对语言信息的处理能力。1977年,费根鲍姆(feigenbaum)提出知识工程,计算机信息处理出现了从“数据世界”向“知识世界”的转移趋势。知识世界的载体是语言符号系统,语言信息处理的需求促使语言研究过程和语言研究成果的技术化趋势日益明显,当代语言学已凸显出“语言科学”与“语言技术”的二分互补格局,由此我在《南京师范大学语言科技系建设发展规划》(2月)中提出“语言科技”的新思维。“语言科学”主要指基础性的描写语言学和理论语言学。“语言技术”主要指面向信息处理的应用语言学或计算语言学,其研究任务可划分为“文本处理技术”和“语言模拟技术”。简而言之,语言文本处理技术是通过编辑和编程,将印刷文本转化为可供计算机使用的电子文本的技术。语言系统模拟(simulation)或者语言能力仿真(emulation)技术是通过算法和编程,将自然语言的理解和生成能力输入计算机的技术。获得语言能力的计算机可以实现“人—机对话”而成为名实相符的“电脑”。为研制智能机服务的“语言系统模拟”,可比喻为“语言基因图谱分析工程”和“语言能力移植工程”。强调语言研究的技术化,并非忽视传统语言学研究存在技术性的一面,例如实验语音学和方言语音调查等。之所以以往未能突出语言研究的技术化,其原因在于——除语音研究可借助声学技术设备以外——语言研究的绝大多数领域还一直没有相应的实验性技术设备。
虽然当代语言学家不可能也不必要都转向计算语言学研究,但具有一定的语言信息处理意识却非常必要。早在1964年11月,美国科学院语言自动处理咨询委员会就在《语言与机器》的报告中明确指出:机器翻译遇到了难以克服的semanticbarrier(义障)。然而这一警告,除了致使机器翻译研究热的暂时消退以外,并没有引起语言学界的足够重视。1982年,日本制订了一个为期10年面向ai(人工智能)的“第五代计算机”即智能机的研制计划,其中包括自然语言处理装置。1992年结束时,只部分达到了预定目标。随后又公布了另一个为期10年的“真实世界计算机(rwc)计划”即“新信息处理技术计划”。(许万增1996,p.61-62)据说,90年代后期日本不得不宣布暂停研制,其根本原因就在于未能穿过语言研究的“瓶颈”。自然语言处理装置的任务无法实现,计算机谈何“真实世界”或“人工智能”。时至今日,这一“义障”仍然没有跨越。在《新世纪将对人类产生重大影响的十大科技趋势》(新华社北京12月30日电)的报道中,列出21世纪的“认知神经科学领域”和“信息技术领域”,并分别提出来“探索意识、思维活动的本质”和“计算机向智能化方向发展”的任务,然而没有语言科技领域的合作——关键是认知语义结构网络研究的根本性突破——则不可能实现。
无论从手段还是就目标,对准自然语言处理的当代语言学研究,其性质都应界定为“语言科技”。“语言科技”的内涵是以理论研究为指导,以描写研究为基础,以应用研究为枢纽,促使语言研究向计算机应用、数学、认知科学和现代教育技术领域延伸,沟通文理工相关学科以实现语言研究过程及其成果的技术化;“语言科技”的外延表现为语言工程科技、语言教育科技和语言研究科技。语言学和计算机科学等学科相结合的“语言工程科技”,研究领域是“人—机对话”,其目标主要是自然语言能力的模拟。语言学与现代教育技术相结合的“语言教育科技”,研究领域是“人—人对话”,其主要目标是实现语言教育的多媒体和网络化。“语言研究科技”是将语言研究活动与计算机工具相结合,其主要目标是实现语言学自身的计算机化,包括语料库、词库和句库的研制,语言研究的分析性、统计性、比较性和实验性软件的开发等。这一新思维既突出了当代科技发展所要求的“语言学的技术化”,又体现了以语言学为本而沟通文理工相关学科的研究旨趣。

二、计算语言学的界定要突出技术性

20世纪50年代以后,在理论方法交叉渗透而形成诸多边缘语言学的同时,语言学与计算机结合的趋势开始出现。1954年,在美国乔治敦大学所进行的世界上首次机器翻译试验,标志着计算机科学与语言学的结合已经起步。在这一研究领域,立足于不同的学科视角或知识结构,先后出现了一系列名称术语,如“语言工程”、“语言工程学”、“自然语言的计算机处理”(工科视角)、“语言信息处理”(信息学视角)、“数理语言学”(数学视角)等等。20世纪60年代以后,计算机和语言学的结合逐步深入到语言学的各个领域,形成了包括计算语音学、计算词汇学、计算语法学、计算语义学等分支学科在内的计算语言学(computationallinguistics)。其中“计算语音学”等名词,虽然计算语言学界没人提过,因为已经存在着“言语识别”、“言语合成”等计算机应用专业术语,但是从“语言工程学”到“计算语言学”的术语演变中,透露出“语言学立场”在这门交叉学科中的日益强化。虽然目前的计算机运算速度已经可以满足语言信息处理的技术要求,但是之所以“人—机对话”尚未实现,其“瓶颈”就在于现有的语言研究成果无法满足计算机处理的要求。归根结底,语言信息处理的最终目标就是“计算机模拟语言能力工程”或“语言能力移植计算机工程”。探索语言能力的性质和描写语言系统的结构,这些艰巨性工作还得由语言学家先来完成。语言信息处理或计算语言学务必以语言学为本而以计算机为用。语言学家必须具备“数字化”意识,了解计算机需要怎样的语言描写成果,然后才可能将研究目标对准语言工程。
迄今为止,正如许多发展中学科一样,“计算语言学”的定义尚无一致认定,归纳起来盖有四种观点(侯敏1999,p.2—p.6):
第一种,计算语言学是以计算机为工具研究语言学。侯敏认为,任何一个学科在使用工具方面都是自由的,使用不同工具研究一个学科会带来不同特点,但不因为使用了新工具就产生了新学科。虽然并不排除新工具的使用没有导致新学科的产生,但同样不能否认工具的变革有可能带来学科体系的革命,以致于产生新的分支或交叉学科。现代自然科学之所以能够建立,无疑得益于望远镜和显微镜的应用,前者打开了人类认知的宏观世界之门,后者打开了人类认知的微观世界之门。望远镜和显微镜带来的不仅仅是“这一个工具”,而是人类认知方式的巨大变革,从而引起了天文学、生物学等自然科学的一系列革命,产生了一系列新学科。因此,问题在于如何使用新的工具或新认知方式。如果仅仅利用计算机做语言研究的统计工具,也许不会产生新的分支学科,但是利用计算机作为语音分析和合成的工具,则形成了计算语音学。
第二种,计算语言学是把语言学成果应用于计算机。侯敏认为,计算机的应用领域几乎没有限度,什么学科的成果都可以在计算机上应用,因此在计算机上应用语言学的研究成果不足以建立新学科。问题不在于在什么学科的成果能在计算机上应用,而在于在计算机上所应用的成果的性质。与其他学科研究对象的性质迥然不同,语言学科的研究对象——语言——是人类最重要的认知符号系统和知识载体,因此面向信息处理的语言成果应用于计算机足以建立新的学科。以往的语言学研究是面向人际交流,而计算语言学研究是面向人机交流,两者具有截然不同的性质。
第三种,计算语言学是研究语言中的可计算问题。侯敏认为,虽然利用可计算理论研究语言符号是建立了一个新学科,但是这种说法偏于保守,没有把计算语言学推进语言学发展的作用充分体现出来。问题在于面向信息处理的计算语言学研究,其显著特点就是语言的可计算性。“推进语言学发展的作用”这不是计算语言学的定义,强调“研究语言中的可计算问题”未必保守,反而突出了计算语言学的显著特点。
第四种,计算语言学是建立基于计算机科学理论的语言学理论。侯敏认为,把计算机科学的基本思想和方法引进语言学领域,不但可以产生许多应用性课题,而且能够促使研究者从新的角度观察语言学,建立与传统语言学不同的理论。因此计算语言学是一种基于计算机科学理论所建立的语言学理论。问题在于:一方面计算语言学需要理论但本质上不是一门理论科学,同时并非所有的计算语言学家都乐意或适合从事理论研究,另一方面计算语言学的应用性质决定了研究成果的技术性特征,而绝大多数人可能更适合于——实际上也更需要——语言信息处理的技术性研究。
第一种和第二种是欧洲流行的广义定义,主张计算语言学是计算机和语言学的交叉,第三种和第四种是盛行于美国的狭义定义,主张计算语言学是计算机科学和语言学的交叉。也就是说,前者仅仅把计算机当成语言学研究中的一种新工具应用,而后者强调计算机学科的要求和理论对语言学的影响。陈小荷()认为,计算语言学就是以计算机为手段来研究自然语言,较严格的定义是“通过建立形式化的计算模型来处理自然语言的一门科学”。要建立形式化的计算模型