在语言学研究领域，甘珀兹（John Gumperz）于1960年最早提出库（repertoire）的概念，并基于社会互动理论阐释了库的多样性。随后，甘珀兹于1972年在对两个农庄做实证研究的过程中提出语言库的概念，强调个体从自己语言符号资源库选择口头语言时具有不可预测性。语言库主要用来描述和阐释多语社区的多语言交际现象。同年，海姆斯（Dell Hymes）提出了空间库（spatial repertoire）和符号库（semiotic repertoire）概念，不仅拓展了语言库概念，也将语言库的研究扩展到符号范畴。

　　根据布洛克（David Block）和霍金斯（Margaret Hawkins）对符号库的研究，双（多）语者的语言和其他符号都汇集在个体的库中，库中的资源也会随着个体的生活、学习和工作阅历的发展和社会环境经验不断积累而得以不断丰富与发展。由此可见，库本身就具有典型的多符号（multi-semiotic）和超符号（trans-semiotic）属性。“超”的属性使得双（多）语者的语言模态仅为诸多模态资源传播途径中的一种，并由此掀开多符号、多模态、多语言的传播大门，减少了多模态语言研究中可能存在的偏见的发生。

　　彭尼库克（Alastair Pennycook）从分布式语言研究出发，提出多种符号以不同的方式进行组合，库中的资源呈现多符号聚合的特点。个体库的构成是一个长期积累的过程，很难在较短时间内对个体语言库的建构情况作出合理的评估，也很难在较短时间内对语言库的未来发展作出预测。海姆斯也曾谈及个体库资源应涵盖一些非语言模态的想法，认为“沟通的渠道除了说、写等渠道之外，相伴随的副语言（paralanguage）还包括‘闻’‘尝’‘感觉’等多感官交流”。之后，莱姆斯（Betsy Rymes）指出了语言符号库概念在个体语言能力研究中的必要性和合理性，认为尽管个人所拥有的语言符号是一个抽象概念，但这种抽象概念可以形象化为个体的语言符号资源库。通俗地讲，个人所拥有的全部语言符号资源都存储在自己的语言资源库中，库的建构过程存在多种不确定因素与动态因素。

　　基于上述研究，库斯特斯（Annelies Kusters）、斯波蒂（Massimiliano Spotti）、斯万维克（Ruth Swanwick）和塔皮奥（Elina Tapio）等学者对手势语、手势、口语进行了专题研究，并全面关注了多语言和多模式协同表达意义的过程。库斯特斯提出了交际库的概念，并指出无论是个体的交际库还是族群的交际库都具有多模态特征。根据佩克（Amiena Peck）和斯特劳德（Christopher Stroud）等学者的研究，人类在话语产生过程中所借助的工具都可以被看作不同的媒介，如笔、墨、纸、砚、黑板、白板、录音设备、电视、投影等，而模态是应用这些媒介表达信息的方式。

　　语言只是若干信息表达的一种不可或缺的重要模态形式，基于语言的媒介、模态或符号的研究已有较长历史。学者们往往以双（多）语者对两（多）种命名语言（language modes）的使用方式为例进行研究，如在特定的语境中应选择口头还是书面文字进行交流等。哈利迪（Michael Halliday）将语言视为社会符号。克雷斯（Gunther Kress）在接受早期哈利迪功能语言学流派研究的同时也提出，只要能产生意义，任何符号或者模态都有和语言同质的表达功能，而这种意义表达被称为多模态语言表达。人们生活中的话语活动通常具有多模态属性。关注声音、图像、手势、音乐、颜色、文字、动画、页面布局等，就等于关注表达的多模态属性，形形色色的模态形式相互组合、相互关联形成可供选择的多模态符号系统。无论是系统功能语言学、认知学派还是系统功能语法学派，都承认同一模态的多功能属性，以及多模态同其使用者和所处语境之间的密切联系。

　　从人类语言的发展史来看，任何一种语言的口头形式都先于书面形式。在印刷术出现之前，人类语言的本质其实是多模态的，但受限于研究视野和技术手段，很多语言研究只关注语言的本体结构及功能，或是如何有效地发展相关语言技能（听、说、读、写等），而忽略了对语言交流过程中多感官、多符号、多模态表征的价值研究。立足于多模态视角的语言研究，不但没有受到应用语言学领域的足够重视，而且还会被视作复杂且充满争议的话题。最直接的缘由可能如李宇明所认为的那样，语言之外的其他模态信息的传承和记忆存在不稳定性，难以像文字那样连贯、稳定地记忆和传承信息。

　　从进化论视角来看，语言也在随着时代发展而发生着演变与进化。在全球化、数字化时代的人际交往中，各种模态与现代影像技术相互交融，共同促成了语言多模态的发展趋势。人类通过单一语言模态实现交际目的的做法，正在被由语言、图像、声音构成的复杂媒体交际模式所取代。根据科尔布（Bryan Kolb）和威士肖（Ian Whishaw）的观点，人在参与自然会话时，大脑的多个区域及相应的信息处理系统会同时工作，形成大脑处理区域互相补偿、支持和勾连的局面，从而在会话过程中进行多模态信息处理。哈利迪率先从语言学视角对这种多模态现象进行了研究，奥哈洛伦（Kay O’Halloran）、诺里斯（Sigrid Norris）以及克雷斯和莱文（Van Leeuwen）等学者也分别从多模态话语、社会互动、多模态模式建构等层面，探究人们使用形形色色的多模态及综合使用多模态符号组合在不同交际中所具有的优势。

　　随着数字技术的迅猛发展，多模态视角语言研究的必要性和重要性进一步得到凸显。作为一种语言研究的理论视角，多模态强调双（多）语者要在多媒体网络社区平台上以两种或多种语言为中心，结合多种模态符号资源进行协同交流，使用者可以动态、创造性地使用多模态超语形式进行交际，这产生了以书面声音来表达自己文本身份的现象。根据克雷斯的观点，双（多）语者在超语实践中，无时无刻不在进行多模态交际资源的选择。人们对语言的发生与发展、人类与外界的交际互动都需要以多模态感官系统作为前提。比如，将音频、视频和文字语料等多模态视为和口头语言一样重要的符号资源，以此来进行认知、加工研究等。根据张德禄和胡瑞云的研究，双（多）语者在进行多种模态的选择时，会呈现意义互补、整体协同和使用机会不均等三个鲜明的特征。诚然，这三个特征存在一些交叉性和共时性，即每一种模态在建构交际意义时，都以较大的交际背景和交际需要为前提，协同、整体地发挥这三个特征的交际作用。

　　纵观学术界对语言研究的历程，随着各种数字技术的发展与应用，有关研究也在不断发生着动态变迁。口头语言研究的场景从传统面对面谈话到电话通信再到虚拟空间沟通交流，书面语研究的场景从在纸上书写、绘画到使用各种办公软件进行文字编辑与处理，而交际方式研究的场景也从邮局寄信到电子邮件、从手机短信到即时通信软件。动态媒介的屏幕可以迅速切换页面，可以同步播放声音、动画，可以展示文字、图像甚至组合不同文字以形成新的语言，也可以在图像中嵌入语言或在语言中嵌入图像。多种语言模态以及多模态符号在新媒体中的实例比比皆是，这些多语言文字以及文字与图像等之间相互嵌入的现象，被称为多模态超语现象。李嵬和朱华的研究发现，我国网络语言的一个显著特征是夹杂使用英汉词汇和其他多模态、多感官符号。他们尝试用Tran?覻cripting一词表达这一现象，即在写作、设计和数码时代，创生了形形色色新的语言文字及符号资源。

　　全球化与数字化的发展给每个人都提供了“表达”（languaging）的新空间和新方式。网络虚拟空间的交流逐渐成为人们生活、学习和工作的重要基础，和传统的社交空间和语言交流方式相比囊括了更多的交际内容，也使交际变得十分便捷。库的概念融合了不同种类的语言文字符号、数码资源、情感符号（emojis）资源和一些可视资源，逐渐发展为一个彼此融通的多感官、多符号、多语言、多模态的交际系统。多模态资源库为语言研究提供了新的视角。随着语言学理论研究的不断推进，以及数字技术和新媒体的快速发展，学术界对多模态语言属性的看法逐渐趋同。一些学者开始用多模态视角来审视现有应用语言学及其交叉学科的研究现状，并尝试从单模态转向多模态视角来研究当前语言的新特点。此类对语言多模态属性与多模态资源库的研究，带来了语言研究的新发展，并且在如今的网络时代颇具现实意义。

　　（作者系浙江越秀外国语学院应用外语学院教授）