多模态协同范文

多模态协同范文（精选7篇）

多模态协同 第1篇

随着科学技术,尤其是信息技术的飞速发展,信息表达及传递的方式已呈现出多模态化。对意义的多模态研究已成为语言研究的一大热点,对英语教学也正起着越来越重要的指导作用。多模态的大学英语教学也受到越来越多的关注及追捧。多媒体技术及网络的应用为多模态的大学英语听力教学的实现提供了技术基础。然而,教学过程中,各模态的有效协同从而最大程度地实现教学目标仍然是需要并值得研究的一个问题。

二、多模态理论及模态的协同

多模态(multimodality)也称多符号(multi-semiotic),指包括口语、书面语、图像、图表、动画、空间、手势以及其他可以用来构建意义的各种符号资源。口语、书面语以及其他模态总是交织在一起,在信息传达过程中同时存在、同时发生作用,意义的建构也更多地依赖各种符号资源的整合,共同为交际服务。多模态交际可以使听话者通过多渠道获得信息,比单模态交际更容易使受话人理解和记忆(张德禄:2010b)。

Royce (2007:23)提出了语言和视觉模态在投射意义上的相互补充关系。张德禄(2009,2010a)更进一步概括了模态之间的互补关系和非互补关系。前者指的是一种模态的话语不能充分表达其意义或者无法表达其全部意义,须要借助另一种来补充,这也是一种典型的多模态话语模式。在互补关系中,各模态的地位和作用是不同的,通常一种模态为默认模态或者基本模态,起基本的和基础的作用,处于主导地位;其他的则起补充作用。在互补关系中,又有强化与非强化(补缺)之分。强化是一种模态是基本的交际形式,而其他的模态是对它的强化。补缺是两种交际模态缺一不可,互为补充的关系,如视觉和听觉的组合。非互补关系中,其他的模态对基本模态在意义的构建及体现上作用不大,可以分为内包、交叠与语境互动几个类别。

在现代技术条件下,多模态理论为大学英语听力教学的多模态选择提供了有力的理论支撑,为科学的听力教学多模态设计,提供了理论指导。

三、大学英语听力教学的多模态及多模态协同

1、听力课堂的多模态

在现代多媒体技术及网络参与的听力教学环境下,听力教学越来越多地融入了多模态元素,通过声音、纸质和数字化文字材料、图形、表格、图画、音乐、动画等,把视、听、说结合在一起,全面调动学生的视觉、听觉等各种感官,更能吸引学生的注意力,提高信息的获取效率,增强学习的积极性,从而提高学生的听说能力。

然而,有些老师为活跃课堂气氛,过多地依赖多媒体,过多地使用视频、动画,成了简单的视频、音频操作者,失去了课堂教学的主导地位,教学目标不能很好地实现,学生的听力也得不到提高。正如顾曰国(2007)所说,多媒体、多模态教学像是一把“双刃剑”,处理好可以把学习者的注意力真正集中在知识点上,达到强化记忆力的作用,从而提高学习效果;处理不好反而会分散学习者的注意力,造成对知识点记忆的干扰,导致瞬间“热闹”而事后“空空”之感。因此,在多媒体、多模态语境下的听力教学中,如何恰当地处理好模态之间的协同关系,使之更好地服务于听力教学至关重要。

2、教学过程中的模态协同

大学英语听力教学的教学目标、教学材料、课程类型、教学对象等决定了多模态的教学过程中,听觉模态为教学的默认模态或主模态。但是,单一的以音频流为载体的听觉模态并不能充分调动学生的感官和积极性,影响教学的效果,须要借助其他的如图形、图画、动画等模态来补充。这样,听觉模态和其他模态之间就形成了一种补充、协同关系。教学过程中,根据不同阶段的教学任务,模态的采用需相应调整、变化,以期模态协同并达到最佳效果。以下分别从听力教学的各阶段来探讨各模态是如何协同完成教学任务。

在听力教学前阶段(引入阶段),该阶段的主要任务是老师根据教学内容、教学目标,介绍相关的背景知识。老师既可以口头介绍,也可以提供文字材料、图片、视频等供学生阅读和视听。其他模态的使用对基本模态一听觉模态在意义的构建、传达中起到强化作用。多模态的交织使用,能使学生更好地理解并记忆相关背景知识,帮助学生在下一阶段的听力理解。在该阶段值得注意的是,教师对材料选择要适当,必须与主题相关,而且模态的搭配注意比例适当,否则学生不但没有在充分调动感官的基础上,吸引学生的注意力,激发学生的积极性,反而更容易转移学生的注意力,失去学习兴趣。

在听力教学中阶段,也是听力课堂教学最重要的一个阶段。该阶段又可分为听力理解和听力强化提高两个次阶段。在前一阶段,教学的主要目标是听力材料的理解。在多媒体技术条件下,视频流、图片等视觉模态成了意义建构、传达不可缺少的部分。在听力材料音频流的听觉模态构建、传达意义的过程中,视频流、图片等视觉模态传达着听力材料理解必不可少的背景信息,诸如故事或对话发生的场所,人物之间的关系,甚至故事的情节发展等。这些视觉模态构建的意义信息,结合听觉模态构建的意义,能帮助学生最大限度地获取并理解听力材料的有效信息。虽然,整个过程中,视觉模态作用十分突出,但听觉模态仍然是基本模态,视觉模态以更加直观的方式,更充分地构建了听觉模态所不能的意义。视觉模态强化了基本模态一听觉模态传达的信息,使信息的构建、传达更加清晰,便于理解;也补充、弥补了听觉模态没有传达清楚的信息。在后一阶段,教学的主要任务是在学生听懂、理解听力材料的基础上,巩固、强化、深化听力内容及语言知识的学习。该过程可以通过听与记录相结合,学生老师口语互动,学生独自口头表达,学生小组互动练习等多模态活动形式进行。听与记录相结合,是学生在听的过程中记录听力内容的重点信息。这样手、脑、眼、耳并用,多感官同时参与,能加深对听力材料内容的理解,巩固语言知识的记忆,提高听的效果。该活动中,听和写为主要模态,但听觉模态仍然是默认模态,听决定、控制记录的速度、内容等。学生老师口语互动、学生独自口头表达(口头复述所听内容)、学生小组互动活动中,学生或者老师利用身势、手势、凝视、移动、表情、声音、腔调、口语等多种模态共同完成。听和说为主要模态,其他的模态共同构建、表达意义,实现交际目的,不仅提高了学生的听力水平,还增强了学生的综合能力。

在听力教学后(结束)阶段,该阶段的主要任务是总结该次课堂听力教学主要内容并布置课后学生练习作业。该阶段的主要模态为口语,老师在总结和布置作业的过程中配以关键性的图片、视频、数字化文字材料等辅助构建、传达意义,更好地实现教学目标,完成教学任务。

四、结语

在现代技术下,多模态的听力教学在强化听力教学、吸引学生注意力、激发学习积极性等方面展现了其优越性,已是大学英语听力教学的一大热潮及特点。处理好模态之间的协同对把握好多媒体、多模态这把“双刃剑”,科学地应用多模态听力教学,让其最大限度地服务于听力教学,有着举足轻重的作用。首先,作为起教学主导作用的教师要了解、熟悉多模态的相关理论,有了专业的理论知识为导向,为科学地应用多模态思想于大学英语听力教学打下了坚实的基础。其次,教师在教学过程中,对模态的选择,模态之间的相互协同要由听力教学的目标、教学内容,以及各个阶段具体的教学任务来决定。另外,听力多模态的协同研究在理论分析的基础上,仍需进一步的实证研究。

摘要：在现代技术下,多模态的听力教学已是大学英语听力教学的一大热潮。本文重点探讨多模态大学英语听力课堂中不同模态之间的协同关系。文章基于多模态的模态协同关系理论,根据听力教学的不同阶段,分析了模态的选择及模态之间的协同关系。本文发现,在听力教学的不同阶段,由于具体教学目标、教学任务的不同,模态的选择及模态之间的协同关系也会相应改变。

关键词：多模态,听力教学,模态协同

参考文献

[1]Royce,T.& Bowcher,W.(eds).New Directions in the Analysis of Multimodal Discourse[C].London:Lawrance Erlbaum Associates,2007:23.

[2]顾曰国.多媒体、多模态教学剖析[J].外语电化教学,2007(2).

[3]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学,2009(4):15-20.

[4]张德禄,王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊,2010a(2):97-102

多模态和多模态外语教学模式探讨 第2篇

近年来, 国内对多模态话语研究也呈多样化态势, 从微观到宏观, 从理论探讨到实证研究都有所涉及, 较为完整的多模态话语研究体系也在众多研究人员和教育工作者的不懈努力之下逐步形成。随着新技术的广泛运用, 教学发生了急剧的变化。基于国内外著名学者的多模态理论和多模态话语研究, 近年来, 国内许多外语教育工作者认为, 这些理论和研究对外语教学研究有一定的指导作用, 对外语教学有着积极的指导意义, 认识到多模态语篇在课堂中的应用非常必要。因为, 多模态外语教学模式正是将多种模式与传统模式相结合, 以提供更为真实的交际语境为教学手段, 以实现在校学生参与社会实践活动为目的, 以培养具有对社会有用的外语交际能力的人才为教学效果。新的外语教学的多模态模式是一个完全不同于以往以教师为主导、以单一的语言解释为手法的传统教学模式。多模态教学模式则是使学生通过多种符号载体更形象、生动地传递信息, 让学生能更容易地理解、记忆、转化与应用所输入的信息, 从而大大提高学生的学习兴趣, 实现从传统的以教师为中心向以学生为中心转变的教学思想;培养学生自主学习与实践应用能力。

新的大学英语课程教学要求 (2007) 中指出“教学模式的改变不仅是教学方法和教学手段的变化, 而且是教学理念的转变, 是实现从以教师为中心、单纯传授语言知识和技能的教学思想和实践, 向以学生为中心、既传授语言知识与技能, 更注重培养语言实际应用能力和自主学习能力的教学思想和实践的转变, 也是向以培养学生终身学习能力为导向的终身教育的转变。”面对全新的要求, 面对现代信息技术的快速发展, 传统单一的语言教学模式已经无法满足社会对高素质人才要求。时代强调信息传播的多样性及技术的重要性。技术尤其是数字技术的广泛运用带来了教学领域的深刻变革。在当今的外语教学过程中, 社会需求、交际工具及文化与语言的多样性要求教学从基于语言的传统教学方法向范畴更加广泛的多元识读教学法转变。教师采用什么样的教学方法、运用何种媒体手段、如何将多模态融入教学设计中以达到最佳教学效果, 实现最理想的教学目的, 是我们每个从事外语教学的教师必须认真研究课题。众所周知, 语言之所以容易识别是因为它是一维的、线性的, 所以对语言的语法的解析会比较容易。如果我们在教学中进行多模态的识别和解读就不会那么简单直接, 因为图像、空间、电影分别是二维、三维和四维的。它们之间是什么关系、各起什么作用、多模态如何配合使用, 我们又如何在外语教学中处理好语言与文字、语言与音乐、语言与图像、文字与录像、图像与音乐等的关系, 这是个复杂的问题, 但同时又是我们必须通过不断探索继而解决的问题。

那么, 我们又如何在外语教学过程中将多个模态很好地结合、配合、协同和合作才能既有利于学生的学习和理解, 并且激发学生的学习兴趣和欣赏水平呢?首先, 在外语教学中, 可以尝试将把课堂话语视作一种语类结构, 构建外语教学的基本框架, 以理论作为多模态选择的依据和选择的原则。对语言教学中的不同课程选择合适的多模态并且合理调用、组合和搭配多种模态以达成学生建构意义、发展意义潜势的目的。其次, 充分利用信息技术, 将多元文化通过网络、视频、图像、声音等多种媒体形式呈现给学生, 充分调动学生的视、听、触觉等感官, 激发学生的学习兴趣, 从而更好地促进多模态话语理论在教学实践领域中的运用。在这一过程中, 还有两个关键点, 那就是课件的制作和教师的多模态展示。要想刺激学生的感官和听觉, 单一的文字课件或死板的图片播放已经很难达到理想的效果。配有相应的视频、有趣的动画以及美妙的音乐才能起到赏心悦目和记忆深刻的效果。当然, 学生多模态的学习方式的好坏还取决于外语教师在课堂上是否有恰到好处地进行多模态展示。如果课堂教学只是课件的播放, 那么, 课堂教学也只是在走马观花。因此, 教师既要有恰到好处的身势语, 也要注意语言讲解和图片、视频等的配合。另外, 饱满热情的面部表情和抑扬顿挫的语音语调会对学生产生积极的影响作用。

总之, 信息技术的飞速发展对传统单一语言模态和传统的外语课堂教学模式形成了巨大的冲击。多模态语篇的出现打破了传统概念上对语言的理解。当下的交际是集文字、图像、声音等符号于一体的多模式交际。单纯传授的口授语言知识与技能不但无法满足学生的求知欲, 对学生学习效果的影响也是必然的。而多模态环境下的外语教学模式体现了信息化外语教学的特点, 是一种兼顾教师与学生双方能动性的综合型教学模式, 它可以让教学系统内外各因素达到真正的平衡。因此, 现代外语教学中一定要以先进的多模态话语理论为指导, 加强研究多模态话语在视觉交流和大学外语教学中的广泛运用。要充分利用多媒体设备、网络平台、PP课件等教学手段将教学与视觉、听觉、环境、体态语等多种模态结合与配合, 让教学设计最优化以及学生学习效果最佳化, 努力让学生的抽象思维与形象思维相融合, 不断提高教学效率和效果。只有这样, 外语教学才能真正使学生学有所用。

摘要：随着现代科学技术的飞速发展, 人与人之间进行交流和互动的方式发生了巨大的变化。以文字为主的交流模式和时代早已成为过去。人们在交际中经常使用多种模态或符号来表达意义或传递信息。同样, 在外语教学过程中, 单纯用语言表达意义已经无法对话语进行全面的诠释和研究。事实上, 话语的意义除了可以通过语言来体现, 它还可以由语言之外的其他符号系统, 或者多种符号系统如音乐、图像、图表、颜色、空间以及其他可以用来构建意义的各种符号或多模态实现意义交换, 从而对话语意义有更加全面、准确的解读。本文着重就什么是多模态以及我们在外语教学的课堂设计中如何将单一的语言教学模式变为多模态的模式进行了简单的分析和研究。

关键词：多模态,多模态话语,外语教学,课堂设计

参考文献

[1]张德禄.多模态学习能力培养模式探索.[J]《外语研究》, 2012.

[2]韦琴红.视觉环境下的多模态化与多模态话语研究[M]北京.科学出版社, 2009.

[3]张淑杰.大学英语教学中多模态协同作用下的意义建构[J]中国海洋大学学报, 2011.

多模态协同 第3篇

多模态话语分析者对模态间关系的探究是为了阐明多种模态符号资源进行意义整合时的运作机制。所谓模态间的关系实际上是指不同语法系统之间在体现话语意义上的关系。 (张德禄, 2009:30) 自法国符号学家Barthes (1977) 率先提出三种图文关系 (说明、锚定和传递) 以来, 不同学科领域的研究者纷纷从各自的研究兴趣和关注点出发, 探索语言和其他符号资源在多模态整体意义建构中的作用, 寻求多模态意义增值的运作机制, 如O’Toole ([1994]2011) 、North (1995) 、Pegg (2002) 、Martinec&Salway (2005) 、Royce (2007) 等。

国内学者对多模态话语研究也表现出极大的关注。朱永生 (2007) , 张德禄 (2009) , 杨信彰 (2009) , 李战子、陆丹云 (2012) , 代树兰 (2013) , 吴鹏、王海啸 (2014) 等学者纷纷从系统功能语言学理论、多模态与话语分析理论、多模态与语言教育等不同的角度开展多模态话语理论引介和相关实证研究。模态间关系是多模态话语分析的重要内容, 对其运作机制的认识是理解多模态话语建构的关键。因此, 了解国内学者对模态间关系的认识、所取得的成果及存在的问题, 对今后深入探究模态间的互动关系、相互作用以及不同模态组合在整体意义建构中的运作机制, 尤其对构建国内多模态话语分析理论以及多模态话语发展走向有着十分重要的作用。

2 数据与数据收集

本文通过搜索关键词“多模态”, 检索出自2009年1月以来中国期刊网上刊登在12种外语类核心刊物上与多模态话语研究相关的论文, 共计102篇。初步统计表明, 这102篇论文中, 提及模态间关系的论文有42篇, 占总数的41%。可见, 近五年来多模态话语研究以及对模态间互动关系的探究一直究备受国内学者关注。目前国内涉及模态间互动关系论述的论文大多研究集中在多模态理论的介绍、分析框架的建构, 以及多模态分析法在具体案例中的运用, 系统性探究模态间关系的研究相对较少 (见表1) 。

对于多模态的判断, 主要看涉及的模态种类有多少, 这是当前语言学界普遍认可的标准。只使用一种模态的话语叫做“单模态话语”。同时使用两种或两种以上模态的话语叫做“多模态话语”。也有人把同时使用两种模态的话语叫做“双模态话语”。 (朱永生, 2007:83) 本文将从双模态和多模态两个维度总结模态间关系, 因为模态种类的数量对模态间关系的复杂程度有直接影响。适当的区分有助于发现双模态和多模态研究中对模态间关系阐述的异同, 加深对多种模态符号意义整合机制的理解。通过对筛选出的42篇文章的分析, 不难发现双模态研究与包含三种或三种以上模态的多模态研究呈现出不同的状态。在研究数量上, 涉及到三种或三种以上的多模态实证研究相对较少 (见表1) 。在研究对象方面, 双模态实证研究的语料种类更加丰富, 涵盖了会徽、视觉诗、广告语篇、报刊杂志、古代山水写意画等, 而多模态的分析语料多集中于课堂话语或视频语篇。

3 双模态互动关系和多模态互动关系

(1) 双模态理论研究

表1显示, 现阶段的多模态话语研究多集中于语言和视觉两种模态, 即探究文本和图像之间的相互关系, 也称图文关系。国内多模态话语研究中对图文关系的阐述基本上都引用了国外学者所提出的分类框架。法国符号学家Barthes的图文关系分类对国内学者的研究影响深远。Barthes (1987:25) 认为文本和图片存在三种关系:文字附属于图片、文字与图片互补以及文字强化图片。谢竞贤 (2011) 就以Barthes的分类框架为基础论证多模态隐喻中言语模态和非言语模态之间的关系。谢竞贤 (2011:51-52) 认为文字文本可以消除非文字隐喻文本中的不确定性和歧义, 起到画龙点睛的作用, 但在多数情况下, 文字文本解释图片文本内容, 以此强化同种信息的表达。Martinec&Salway (2005:337-371) 借鉴了系统功能语言学的思想, 提出“地位”与“逻辑语义学”并行的图文关系系统。逻辑语义关系是在概念意义层面, 对图像和文字的意义进行匹配, 主要包括扩展和投射两大类关系。扩展是一种模态拓展了另一种模态, 投射是一种模态重复了另一种模态所表达的意义。谢妮妮 (2014:21-25) 采用插画版《格林童话》作为研究语料, 以Martinec&Salway的分类为基础, 对图文关系的人际意义进行逻辑语义扩展关系, 发现图文之间存在着三种表达人际意义的逻辑语义扩展关系:详述、增强和延展。杨信彰 (2009:11-14) 论述多模态的协作和互补机制时引用了Royce提出的基于页面的符际互补框架。这个分类框架受到了系统功能语言学衔接理论的影响。从系统功能语言学的三大元功能出发对语言模态进行解读, 然后结合视觉语法对静态图像的意义进行理解。由于视觉语法的理论基础也是系统功能语言学, 所以Royce (2007:63-109) 认为语言模态和视觉模态所表达的意义可以在概念、人际和语篇三个层面进行匹配。从概念意义上讲, 图像和语言之间存在着类似于语言本身之间的关系, 如重复、同义、反义、部分—整体和上下义搭配关系;在图文并置话语的人际意义表达上, 存在强化图像—受众关系、图像—文字所表达的态度一致或态度不一致的关系;从语篇层面来看, 图像和语言之间存在着信息评估、内容突显、阅读路径异同的关系。

(3) 双模态实证研究

在双模态研究的个案中, 研究者们会论述模态间的相互作用对多模态整体意义建构的作用。如在对视觉诗的多模态分析中, 张旭红 (2010:89) 指出在e.e.cummings的Me up at does诗中视觉符号有力地强化了诗歌的诗情与诗意的传达。言语模态以外的模态系统对语篇意义的整体构建的辅助或加强作用是不可小视的。在对一幅中国古代山水写意画进行多模态意义解读时, 李美霞和宋二春 (2010:9) 认为图像、颜色、语言文字等各种符号组合在一起形成了一个由图像组成的图像行为和由语言文字组成的言语行为, 两者相互作用又形成一个统一的符号资源, 完成意义共建。在阐释会徽的多模态意义时, 孙毅 (2012:46) 指出各种符号模态相互补充、相互增强, 共同参与了意义的整体建构。文字是对图像的释义、拾遗与说明, 使之更加明白确切;图像是文字中心思想的集结与凝蓄, 使之更加鲜活生动。由于会徽的特性, 要以图像为主、文字为辅。在对西方报道的政治漫画进行多模态话语分析时, 吴安萍和钟守满 (2014:27-28) 发现, 图像、文字、颜色等符号模态都参与了意义构建, 正是这些符号协同构建使语篇意义远超单模态文字表达的效果, 并且图像表达能给图像观看者带来视觉冲击, 要远比文字表达更形象和直观。分析上述实际的案例, 不难发现虽然各自分析对象不同, 但是有些种类的图文关系反复出现, 如依附 (层级附属) 、互补 (意义补缺/消除歧义) 、意义一致 (强化) 这几种关系。

(3) 多模态理论研究

张德禄 (2009:26-27) 根据系统功能语言学理论尝试建立一个多模态话语分析的综合框架, 其中对各个模态之间的关系进行了详细地阐述:分为互补性的和非互补性的两大类。当一种模态不能充分表达其意义, 或者无法表达其全部意义, 需要借助另一种来补充, 这种模态之间的关系被称为“互补关系”, 而其他的被称为“非互补关系”。在互补关系中, 需要区分强化关系 (突出、主次和扩充) 与非强化关系 (协调、联合和交叉) 。非互补关系表示第二种模态对第一种在意义的体现上并没有大的贡献, 但仍然作为一种模态出现。这种关系一般体现为以下几种形式:交叠 (冗余、抵消和排斥) 、内包 (整体与部分、抽象与具体) 和语境交互 (依赖、独立) 。曾方本 (2009:31) 论述多模态符号整合后语篇意义的嬗变时指出如果说每一个单模态语篇是一个小语境 (c1, c2, c3…) , 那么整合后的多模态语篇就是一个大语境 (C) , 从小语境到大语境就有以下三种语意变化的形式, 即c1+c2+c3…+cn=C、c1+c2+c3…+cn>C和c1+c2+c3…+cn<C。

(4) 多模态实证研究

在具体的多模态研究案例中, 不同研究者根据各种模态所传达出的意义, 总结出对应的模态间互动关系, 基本上和张德禄 (2009) 提出关系分类是一致的。如洪岗和张振 (2010:23) 以北京奥运主题曲《我和你》这段视频作为分析语料, 认为画面 (图像、文字、数字、颜色) 和声音等几种交际模态处于非强化的关系中, 它们在构建意义过程中缺一不可、互为补充。非强化关系又可以区分为协调、联合和交叉。张德禄和王璐 (2010) 在分析大学英语课堂教学中, 各种不同模态是如何相互协同共同完成教学目标时沿用了张德禄 (2009) 提出的分类框架。

4 讨论与反思

从理论研究层面看, 国内对模态间互动关系的论述缺乏多样性和准确性。缺乏多样性是指模态间关系框架大多限定于国内外几位著名学者所提出的分类, 如Barthes (1977) 、Martinec&Salway (2005) 、Royce (2007) 、张德禄 (2009) 等。事实上, 目前国外学者提出的图文关系或多模态间互动关系远不止这几种, 如Marsh&White (2003) 、van Leeuwen (2005) 、Unsworth (2007) 等学者都从不同的角度提出自己的图文关系分类。因为不同领域的研究者对图文关系或多模态间互动关系的关注点有所差别, 不同研究视角所得到的结论往往有所不同, 这意味着若要全面理解模态间互动关系必需要从多个视角进行探索。缺乏准确性是指现有分类的准确性都有待进一步实证研究的验证。比如Royce (2007) 的基于页面的符际互补框架聚焦图文关系。此框架完全建构在系统功能语言学的基础上, 对于语言模态和视觉模态都是从三大元功能角度解读, 因此从单模态意义解读到双模态关系匹配都是在功能语言学范式内进行, 保证了分析过程的一致性。但是系统功能语法影响下的视觉语法存在缺乏认知理据的问题, 一直受到学者的质疑 (冯德正、邢春燕, 2011:56) , 从而影响了这个分类框架的准确性和科学性。

另一方面, 从实证研究角度来看, 国内模态间互动关系的阐述缺乏系统性。通过分析多模态实例研究, 不难发现多模态研究者的分析路径大体上是一致的, 首先对多模态语篇进行模态解构, 然后借助单模态的语法框架 (如视觉语法) 进行意义解读, 最后进行多模态意义整合, 探讨多种模态如何共同作用产生新的整体意义。多模态意义整合必然涉及到对模态间的关系进行说明和阐释。在实际案例分析中, 研究者会根据当下解读出的单模态意义自行进行双模态 (如图文关系) 或多模态意义匹配或有机组合。但不管是双模态还是多模态研究, 对于各种模态之间的相互关系的阐述都是比较零散, 不具备系统性。这样的分析过程难免会造成多模态研究的随意性, 降低了严谨性。这也是多模态话语研究受到语法或文本分析主观性太强限制而引起争议的主要原因之一。

5 今后研究的建议

尽管目前国内对不同模态间关系的研究越来越多, 但是无论是理论研究还是实证研究都仍然存在一些不足。通过以上对现阶段国内模态间关系的回顾和反思, 可以发现未来的研究要注意以下三个方面:

(1) 理清模态间相互关系的前提是正确解读单模态所传达的意义。一方面可以通过建构更加系统性的单模态语法框架来识别某种模态的意义;另一方面, 利用先进的分析软件, 如ELAN与Sony Vegas视频分析工具、Praat音频分析软件等, 为多模态意义解读提供技术支持。

(2) 建构模态间相互关系框架时要注意以下三方面:1提高分类标准的准确性。精准的分类标准有助于不同的分析者得到同样的结论, 增强模态间关系框架的内部信度。2根据语类归纳模态间关系。不能脱离语类的形式和功能来谈论图文之间的关系, 因为在某些语类中, 图文关系较为密切, 而在另一些语类中则不然。 (汪燕华, 2011:27) 3依靠实证研究支撑模态间关系分类框架的科学性。如果研究者主观判断读者对于多模态语篇的理解过程以及不同模态对读者意义解读的影响, 缺少实际数据的支撑, 这样的分类框架都有待进一步实证研究的验证。

(3) 虽然探究多模态研究中模态间关系的重要性已经不言而喻, 但是这并不意味着过分强调多种模态之间的相互关系。“根据语篇生成的经济性, 以最有效最经济的图文关系模式, 充分发挥图文表意时各自的特长, 优势互补, 取长补短, 表达最清楚最丰富的语篇意义” (刘成科, 2014:147) 。

摘要：模态间关系是指不同模态系统中多种模态符号在意义整合过程中的相互关系。对其运作机制的认识是理解多模态话语建构的关键。为深入了解国内学者对多模态话语分析中模态间关系的认识, 本文以双模态和多模态两个维度, 从理论和实证两个角度, 对2009年以来发表在国内12种外语类核心期刊上的42篇涉及模态间关系的论文进行梳理, 并提出今后研究的建议。研究结果对促进国内多模态话语分析理论建构及多模态话语分析走向有着十分重要的意义。

国内多模态隐喻研究概述 第4篇

概言之, 隐喻研究实现了从概念隐喻向多模态隐喻转变的第二次飞跃。近年来, 多模态隐喻虽引起了研究热潮, 尚处于起步阶段。与国外研究相比, 国内有关多模态隐喻的研究起步甚晚。本文试从国内多模态隐喻研究的众家之说中梳理出其研究现状, 包括研究内容, 研究视角及研究方法。

1研究现状概述

国内有关多模态隐喻的研究起步相对较晚。本文通过在“中国知网CNKI”中的“中国期刊全文数据库”中对“多模态”“隐喻”和“多模态隐喻”三个关键词多次组合进行检索得出如下数据 (表1) 。

2004年, 曾立在《外语与外语教学》杂志上发表了题为“广告图文隐喻运作机制初探”一文, 分析了认知领域语义冲突、相似性以及双重影像在图文隐喻运作中的作用, 并得出隐喻也可借助非语言手段表达人类思维方式以及隐喻的运作机制也适用于纯语言圈子之外的广告图文隐喻的结论。 (2004) 此文的发表标志着国内研究首次突破语言隐喻。

上述表格中的检索结果显示, 2010年多模态隐喻才进入国内研究者的视野。截止到2014年12月, 国内发表的相关学术文章共有126篇, 逐年呈上升趋势:2010年仅零星发表3篇, 且只是散论;2011年有8篇文章发表, 2012年也仅发表12篇, 直至2013年迅速增长到54篇, 截止到2014年12月2日已有49篇相关论文发表。不难看出, 该领域的研究呈现出蓬勃迅速发展的势头, 已引起了国内学者的重视。

简言之, 国内多模态隐喻研究主要经历了三个阶段:

1) 空窗期。自2004年曾立发表了标志着首次突破语言隐喻的文章起至2009年, 可称为国内多模态隐喻研究的空窗期。

2) 导入期。2010年度相关文章只是零星出现了3篇散论, 其中最有影响力的当属2010年3月侯瑞攀、赵秀凤发表在《外语艺术教育研究》杂志上的“平面广告中的多模态隐喻初探”一文。该文章一方面参照Forceville的视觉隐喻研究模式对平面广告中的多模态隐喻进行系统分类, 另一方面又结合案例对其进行识别和解读, 对国内多模态隐喻的研究产生了开辟性影响。 (2010) 2011年《外语研究》杂志编辑部特选了4篇该领域学术文章组成“多模态转喻和隐喻”专栏, 此举可以堪称多模态隐喻研究在国内真正引起热潮。其中赵秀凤系统引介了Forceville和Urios-Aparisi的最新研究成果, 把概念隐喻研究推向了多模态隐喻研究的新阶段;冯德正则大胆借鉴系统功能理论, 更加全面地对图像隐喻和多模态隐喻的构建进行阐释;而张辉、展伟伟的论文和潘艳艳的论文则分别从广告和政治漫画两个不同的语类揭示多模态隐喻的构建。

3) 成长期。从2013年开始, 国内多模态隐喻研究进入到蓬勃发展阶段, 研究领域也由静态多模态隐喻向动态多模态隐喻转变。最具代表性的当属江桂英、王容花和蓝纯、蔡颖发表在《外语杂志》上的文章---“英语演讲中语言-手势多模态隐喻的融合研究”和“电视广告中多模态隐喻的认知语言学研究-以海飞丝广告为例”。

2研究现状内容、视角及方法

1) 研究内容

文献收集和数据分析显示, 国内学者主要从两大方面研究多模态隐喻:一是基于Forceville和Urios-Aparisi出版的论文集《多模态隐喻》为基础介绍研究多模态隐喻理论 (18篇) , 典型的代表作当属“概念隐喻研究的新发展——多模态隐喻研究” (赵秀凤2011) 和“教学中的多模态隐喻——应用隐喻研究的新方向” (李毅, 石磊2010) 。前者对国外多模态隐喻研究的最新成果进行全面系统的引介与评价, 后者则在引介、评价的同时举例论证。二是多模态隐喻基于具体语类对案例进行实践探索 (93篇) , 如侯瑞攀和赵秀凤 (2010) 运用Chrles Forceville的理论, 结合四条具体广告案例系统划分了平面广告中的多模态隐喻;潘艳艳 (2011) 从认知角度, 分析两幅政治漫画中的多模态隐喻的识别和解读。表格1中的数据告诉我们, 从语类上来看, 国内学者研究最多的是广告类和漫画类, 其次是电影、宣传片、体姿等。无论是广告还是漫画包含的隐喻多是由图像和文字两种符号共同构建的, 属于静态多模态隐喻的研究范畴。广告之所以是研究最多的语类, 是因为在如今这个信息化交流、多模态交际的时代, 简单的实物拍摄不足以达到消费的终极目的。与这种直白式劝说相反, 同时诉诸多模态和新奇隐喻的劝说, 能够通过视觉和意象的双重冲击力更有效地达到广告的消费目的。

值得一提的是, 期刊上数据显示, 多模态隐喻的研究人群主要集中在专家学者、大学教授。通过对知网上“博硕士”论文检索发现, 2010-2014年5个年度硕士论文仅为15篇, 表格2中显示, 其研究内容主要讨论多模态隐喻在不同语类中的具体应用, 但语类分配不均且涉及范围少, 如仅对广告、漫画和封面杂志中的图像符号等静态多模态隐喻进行了研究讨论, 其中广告语类的比例为53.34%。

2) 研究视角

从多模态隐喻的研究成果来看, 其研究视角最鲜明的特点是框架理论杂乱, 尚未形成一个适用于其研究更完善、更成熟的理论体系。笔者试从国内多模态隐喻研究中梳理出几种理论框架。

系统功能视角 (Kress&van Leeuwen的视觉语法理论) 。代表作是冯德正学者基于视觉语法的元功能框架从再现意义、互动意义和构图意义三个方面分析了隐喻的构建, 为多模态隐喻理论研究提供了新的视角。 (2011)

认知语言学视角。认知语言学视角由三个理论组成:一是Lakoff&Johnson提出的双域映射模式;二是Fauconnier&Jurner提出的概念整合框架;三是Charles Forceville的多模态隐喻理论 (核心是视觉隐喻研究模式) 。到目前为止, 研究学者基本上沿用的是双域映射理论和Charles Forceville的多模态隐喻理论 (如曾立2004;侯瑞攀, 赵秀凤2010;谢竞贤2011等) 。虽然也有不少学者运用概念整合框架 (如於宁2009) , 但是赵秀凤、苏会艳 (2010) 认为对该理论的运用还只是停留在初级层面, 深层次立体的整合过程还需进一步研究。

Max Black的隐喻互动论及语用研究理论框架 (Grice的“合作原则”和“会话含意”学说/Sperber&Wilson的关联理论) 。此两种理论框架只是在言语交际的层面上为多模态隐喻研究提供理据, 目前为止还没有哪位学者单独运用该理论对多模态隐喻的运作机制进行研究。如Charles Forceville就是以Max Black的隐喻互动论为出发点, 结合关联理论分析多模态隐喻的运作机制。

认知视角与系统功能视角相结合。赵秀凤认为“认知语言学和系统功能语言学视角下的多模态研究互为补充, 相得益彰。前者注重隐转喻自身的特点及其动态的构建机制, 其目标是丰富和完善基于语言研究发展起来的概念隐喻理论, 而系统功能视角下的研究则是侧重隐喻资源潜势的系统性, 其目标倾向于为多模态分析者提供适用性更强的分析工具。” (2011) 潘艳艳在其论文“政治漫画中的多模态隐喻及身份构建”中就验证了认知语言学和Kress&van leeuwen的视觉图像分析理论在多模态隐喻分析中的有效性和实用性。

认知视角与语用视角 (关联理论) 相结合。隐喻意义产生的基本方式是互动, 而相似性则是互动过程的基础, 关联理论又是识别相似性的基础。多模态隐喻中的相似性多是创造的相似性, 人们在识别构建新身份的过程中通过寻求最佳关联, 从而实现两者的有机结合。 (如侯瑞攀, 赵秀凤2010)

笔者认为虽然以上五种视角在多模态隐喻中的有效性和实用性都得到了不同程度的验证, 尚需形成一个更完善更成熟的理论体系。

3) 研究方法

多模态隐喻的研究方法十分单一, 主要是内省式的定性描写与分析, 主观色彩相对较强。多数研究者把研究焦点放在多模态隐喻理论在具体语类中如何认知构建、如何识别解读以及如何体现其区别性特征, 但研究者选择的具体案例却屈指可数。如赵秀凤只选择了一副政治漫画对多模态隐喻整合模型的构建进行解释;蓝纯和蔡颖也只精选了八条经典海飞丝电视广告试图阐述隐喻在不同模态中的身份构建及其区别性特征。此外, 在涉及多模态隐喻与文化、个体差异话题时, 若采用纯内省思维式的研究方法得出结论, 该结论的普适性往往有待商榷。如陆燕仅运用动物隐喻中中西方熟悉的“老鼠”形象分析多模态隐喻构建, 得出中西方文化差异及其认知的动因, 该篇文章的说服力欠缺。认知动因和文化的差异需通过大规模的历时研究, 多元实证研究来保证结论的信度和效度。

国内外的多模态隐喻研究十分活跃, 呈现出方兴未艾之势。相信随着多模态语篇研究及人文科学的跨学科研究的不断发展, 多模态隐喻理论将会更加丰富和完善。

摘要：在人文科学的跨学科研究和多模态语篇研究的推动下, 从20世纪90年代开始, 隐喻研究从纯语言学领域视角研究推向了多模态领域研究。该文主要对国内多模态隐喻的现状, 分别从研究内容、研究视角和研究方法进行简述。

多模态语篇分析综观 第5篇

随着研究的不断深入发展, 国内外语篇分析学家逐渐认识到语言仅是意义生成的手段之一, 人们交谈过程中的手势、肢体动作、夸张的表情, 书本材料中的绘图、排版, 戏剧中的舞蹈、妆容、服装等, 都属于生成意义的符号手段。因此, 对社会行为和意义表征的解读应包括非语言符号等所有表意资源 (Jewitt 2009) 。此外, 随着科技的发展, 人类生活和交际模式更多模态化和多媒体化。多模态语篇分析的出现为语篇分析提供了新视角, 极大地丰富了语篇分析的研究手段。

二十世纪九十年代以来, 为描写数学符号、视觉图像、手势等符号模态, 社会符号学家以Halliday的系统功能语法为基础建立了语法语义系统。然而, 随着对多模态现象认识的逐渐加深, 研究者发现当前研究仍存在许多问题。目前, 研究者在分析更多社会符号的同时, 开始注重不同学科视角的融合。在研究方法上, 他们开始运用数字技术对复杂的多模态语篇进行注解、模拟, 并建立多模态语料库, 开发多模态检索软件。此外, 利用调査问卷、脑成像技术、眼动实验等考查读者对多模态语篇认知的实证研究逐渐兴起 (孟艳丽, 2011) 。

二、多模态语篇分析产生的背景

根据St觟ckl, 多模态指多种符号系统即模态相结合的交际产物或交际过程。Jewitt指出, 多模态语篇分析是把所有交际模态看做意义生成资源进行研究的一种语篇分析视角。该视角指出意义是通过多种模态实现的, 所有模态都经过社会使用变成了符号资源, 而所有语篇都是多模态的 (Kress&van Leeuwen 2001;Levine&Scollon 2004) 。在多模态语篇分析中, 每种模态都属于一种独立的意义生成资源, 因此, 我们能够为每种模态制定相关语法, 以总结概括其作为意义生成资源共有的规律。此外, 多种模态结合表达的意义要大于单个模态表达的意义之和, 即整体功能大于各部分功能之和, 而并非各个部分功能的简单相加。

多模态语篇分析的产生有着深刻的技术背景和理论背景。

1.多模态语篇分析产生的技术背景

在技术方面, 科学技术, 尤其是数字技术的发展, 如数码多媒体数据的保存及提取技术的发展、数码摄像机的广泛使用等, 使得交际的多角度研究成为可能, 而不仅仅局限于语言。此外, 由于因特网和多媒体技术的广泛运用, 语篇本身内容更加丰富, 形式更加多样, 如在计算机介入性语篇中, 多种模态往往有机结合在一起表达一种崭新的意义。传统的仅以语言为核心的单模态分析法显然局限众多。因而建构一种针对多模态语篇的分析理论不仅在技术上成为可能而且非常必要。

2.多模态语篇分析产生的理论背景

在理论上, 多模态语篇分析是语篇分析经过长时间发展, 吸收各学科成果, 逐渐扩大研究领域、丰富研究视角的结果。

R.Barthes最早对多模态语篇进行系统性分析, 他总结了多模态语篇中图文关系的三种模式, 即锚定、说明和接递。Barthes从一个符号学家的视角对图文关系做出结构性分析, 因而多模态语篇分析从起初就具有浓重的符号学的印记。二十世纪末以来, 一些系统功能符号学家一直活跃于多模态语篇分析领域, 他们以功能语法为理论基础, 以社会符号学为视角, 指出非语言模态在交际中具备同样的功能价值, 同样作为符号资源参与意义的建构。因此, 研究者认为非语言模态应与语言模态置于同等的平台, 且可以使用针对语言模态的理论与方法分析非语言模态, 因而有了“视觉语法”的建立及各学者对体态语模态、声音模态及空间设计进行的相关研究。

李战子的“多模式话语的社会符号学分析”, 对Kress和van Leeuwen的“视觉语法”进行了相关介绍, 这是国内学者对多模态语篇分析关注的开始。

总之, 多模态语篇分析的产生有其技术和理论的双重背景, 且随着研究的深入, 多模态语篇分析将不断取得新的进展。

三、多模态语篇分析的理论基础

Halliday创立的系统功能语言学是多模态语篇分析的主要理论基础。朱永生指出, 多模态语篇分析吸收系统功能语言学的成果, 支持语言是社会符号和意义潜势的观点, 认为语言之外的其他符号系统同样是意义的来源;赞同纯理功能假说, 认为多模态话语与只包含语言符号的话语一样, 具有多功能性, 即同时具有概念、人际、语篇三大功能;吸收系统理论, 认为多模态语篇本身有系统性;接受语域理论, 认为语境与多模态话语的意义解读之间有密切联系。

四、多模态语篇分析的主要人物及其研究成果

1.韩礼德学派的多模态语篇分析家

Halliday的系统功能语法对多模态语篇分析具有重要影响。目前多模态语篇分析学家的主要代表人物有Kress和van Leeuwen。二人在系统功能语法理论的基础上发展建构自己的多模态语篇分析理论, 并实际利用该理论进行多模态分析, 为该领域作出了重要贡献。

为研究视觉形象表达的交际意义, Kress和van Leeuwen为视觉语篇建立了一个分析框架。对应功能语法的三个元功能, 即概念、人际、语篇, 该框架包含三方面, 即再现、互动、构图。再现类似功能语法的概念功能, 包括叙事、概念两类。互动由接触、社会距离、态度三个子系统构成。对照功能语法的语篇意义, 二人提出视觉语法的构图意义, 并分析了该意义的三种资源, 即信息价值、突出度、分格。

随着研究的发展, Kress和van Leeuwen逐渐意识到单独地讨论某一种模态的语法还远远不够, 应构建一个交际理论, 使其可以应用于所有模态。为构建交际的分析框架, 二人从语篇、设计、生成、传送四个方面着手。胥国红、曲航对此分别进行了概括总结, 二人认为语篇是关于现实 (或现实的某些方面) 的社会建构的知识。相对独立于体裁、模态、设计, 仅能由符号模态实现。设计指各种模态中符号资源的运用。生成即符号事件或符号产品的具体产生过程。传送是为了记录或传送而对符号产品进行的技术性“再编码”。其中语篇和设计是内容层面, 生成和传送是表达层面。通过此分析框架, 我们可以从内容、表达两方面回答“人们是如何运用各种符号资源在具体社会背景中制造符号的” (Kress&van Leeuwen 2001) 。

O’Halloran、Jewitt、Ventola等, 同样是韩礼德学派的多模态语篇分析学家, 他们构成了多模态语篇分析的中坚力量 (胥国红, 曲航, 2009) 。

2.以行为理论为基础的多模态语篇分析家

Scollon的介入性语篇理论和顾曰国的实时语篇分析以行为理论为基础, 为多模态语篇分析提供了不同的理论分析框架。

Scollon吸收融合各相关学科的理论, 如语言人类学、交际社会语言学、社会文化心理学、跨文化交际等, 提出新的语篇分析理论, 即介入性语篇理论。以往的语篇分析理论往往忽视行为而社会学理论则忽视语篇, 为弥补此不足, Scollon的介入性语篇理论试图把人们的社会行为和语篇有机结合起来进行研究。因此, 与传统语篇分析把话语或篇章作为分析单位不同, 介入性语篇理论把介入性行为作为分析单位。

以Scollon的介入性语篇理论为基础, Norris (2002, 2004, 2006) 同样构建了多模态分析框架。接受了介入性语篇理论把介入性行为作为分析单位的观点, 并进一步把介入性行为细分为低水平行为和高水平行为。如一句话和一段交谈分别属于低水平行为和高水平行为。同时, Norris用模态密度描述构成某一具体高水平行为的模态的强度和复杂性。如在一段相声表演中, 口头语言占很高的模态密度, 但在舞蹈表演中, 语言的模态密度就很低。此外, 为描绘社会行动者对不同高水平行动给予的不同程度的关注, Norris进一步提出了前景-背景连贯体的概念。

国内学者顾曰国受Scollon的影响构建的多模态语篇分析模式, 从内容层和媒介层对多模态语篇进行分析。不同于以往理论, 顾曰国从社会语境入手, 采取“从上至下”的方法, 将多模态语篇分为社会心理层和个人行为层。他运用该理论框架对多模态语篇进行分析并获得了许多有价值的发现。

3.重视多模态语篇分析方法的话语学家

在《多模态转写和语篇分析》中, Baldry和Thibault具体介绍了多种多模态语篇的转写和分析方法。

Norris提出了多模态转写方法。胥国红、曲航对其转写方法进行了总结:Norris主张在实现对各个模态的分别转写后, 再以时间为标记, 将同一时间内所有对交际产生重要影响的模态 (如语言、动作等) 集中在一张图片上表现出来, 给人留下完整的印象。

五、多模态研究的多种视角和研究对象的不断扩展

对于多模态研究的视角, Jewitt进行了详细区分:社会符号学分析、系统功能语法分析、社会互动分析。然而, Bateman和Schmidt认为三个视角虽略有不同, 却同属于“社会功能分析”。此外, Jewitt同时忽视了另外两个重要视角:以Lakoff和Johnson的认知隐喻理论为基础的多模态隐喻研究和语料库语言学视角的多模态文本分析。

社会功能分析的研究对象的扩展主要指从传统的图文语篇分析到对复杂的动态多模态语篇和新媒体语篇的符号学阐释。具体地说, 随着研究的不断发展, 国内外学者将社会符号学等理论运用于更多模态的系统分析, 如副语言特征、三维空间、现场即席话语等。课堂教学分析、多模态教材在理论及研究方法上越来越系统深入, 如Chen、顾曰国、张德禄等。多模态电影分析和新媒体分析从无到有的发展则最具开拓性。

认知视角的多模态隐喻理论的发展是近年多模态研究的重要成果。多模态隐喻理论的研究范围广泛, 不但涵盖了静态媒体, 如政治漫画、平面广告等, 还涉及了动态媒体语篇, 如电影、电视广告等, 以及其他符号资源, 如音乐、手势语等。国内多模态隐喻研究逐渐发展, 如李毅、石磊初步探讨了在教学中多模态隐喻的运用;赵秀凤全面评介了《多模态隐喻》并详细介绍了多模态隐喻理论的前沿与进展;冯德正则基于系统功能语法系统阐释了多模态隐喻的构建与类型。

简言之, 当前社会功能及认知隐喻视角的多模态研究分别取得了重要进展。然而, 二者之间真正的融合尚未引起研究者的足够重视, 而这也是多模态语篇分析今后的重要发展方向。

六、科学技术在多模态语篇分析中的运用

由于科技的发展, 无论在规模还是复杂性上, 多模态语篇都远远超过了语言语篇, 使用传统分析方法已难以处理。正如顾曰国所言, 如何把多模态文本记录的信息提取出来并进行结构化处理, 是目前语言信息工程中面临的一个难题。因此, 多模态语篇的处理必须充分借助科学技术。当前, 在多模态语篇分析中, 科技运用主要包括:多模态语篇注解与语料库建设、多模态语篇心理实证研究 (冯德正、张德禄、Kay O’Halloran 2014) 。

1.多模态语篇注解与语料库建设

目前, 在多模态语篇分析方面, 研究者在使用ELAN等注解软件的同时, 正开发专门的注解软件。当前研发的最新成果是Semiomix。Semiomix具备动态转录与缩放功能, 实现了转录单位的灵活性。同时, 可以实现多模态语篇特征与意义发展的动态分析, 而且具备搜索、脸部识别、镜头识别等功能。

软件的应用促进了多模态语料库的建立。在多模态研究领域, Baldry建立了在线多模态检索器, 可以对多模态数据搜索、注解、定量分析等。国内学者顾曰国在该方面建立的现场即席话语语料库及其提出的基于角色的建模语言, 是当前语料库视角多模态研究的最显著进展。语料库分析能够为系统阐释多模态语篇的特征及多模态意义的社会建构提供实证理据, 是解决多模态分析主观性等问题的重要方法 (冯德正、张德禄、Kay O’Halloran 2014) 。

此外, 近年来研究者开始运用可视化软件模拟动态语篇的语义规律及各模态之间的复杂关系。目前研究中, 不仅自然科学与社会科学中的可视化软件被运用于动态多模态语篇分析, 而且研究者们正努力研发用于多模态分析的可视化软件。

2.多模态语篇心理实证研究

近年来, 认知心理学视角的实证研究逐渐兴起。利用眼动实验考察读者对多模态视觉语篇的认知是该领域最新的研究成果。Boeriis和Holsanova利用眼动实验考察了读者处理视觉图像的认知机制;Gidl觟f等通过调查问卷、访谈、眼动实验探讨了多模态网络广告对瑞典青少年的影响;Bucher和Niemann通过眼动实验、访谈、知识测试分析了观众对幻灯片演讲的注意力分配和理解与模态之间的关系。国内学者开始采用眼动实验、调査问卷等进行多模态分析。实证研究的发展具有重要意义, 不但可以加深我们对多模态语篇解读的认识, 而且为进一步探讨多模态语篇的意义构建提供客观依据。

七、结语

高职英语多模态教学研究 第6篇

国家教育部高教司分布的《高职高专英语课程教学要求》指出:“各高等学校应充分利用多媒体和网络技术, 采用新的教学模式改进原来以教师讲授为主的单一课堂教学模式。”信息时代,图像、颜色、声音和动作等在现代交流中不再处于辅助位置,而是和传统的语言符号一起,成了多模态符号资源,共同参与建构意义。这就要求外语老师改变教学方法,从单模态教学改为多模态教学,通过使用不同的媒介把动、静态资源纳入教学当中,全方位地刺激学生感官,以此引起学生多层次联想,提高学习兴趣和英语水平。

二、多模态话语分析和多模态教学

多模态话语分析(MDA)是在语言学教学和相关领域研究中非常热门的一个跨学科领域。受到Hallidays社会符号学理论的启发,Kress和Van Leeuwen在20世纪90年代中期开始了多模态分析理论的基础研究工作。Kress和Van Leeuwen认为,模态可以定义为交流的所有渠道和媒介,如图像、颜色、音乐、技术等符号系统,而不是传统的语言符号。人们在日常交流中,各种符号资源(如声音、动作、手势、形象等)都参与其中,形成了多模态交际手段。Kress和Van Leeuwen构建了分析视觉图像的语法框架,从而为多模态话语分析提供了理论依据。

新伦敦小组(New London Group,1996)首先提出多模态教学理念。该理念主张教师在课堂中利用图片、网络、角色扮演等各种教学手段调动语言学习者的感官,促进学习者自主学习、共同参与和合作, 进而培养学生的多元读写能力和与多模态意义的能力。在教学中,教师要充分调动学生的各种感官,使其充分参与到教与学的各种活动中。在新伦敦小组之后,多模态话语分析和多模态话语在教学中的应用成了国内外的热门研究话题。

三、高职英语课堂教学现状

1.高职学生英语基础普遍较差 ,学习积极性不高 ,学习方法单一。

高职学生生源主要有两种:一种是普通高中毕业生,高考分数相对较低进入高职院校学习这类学生经过多年的英语学习,具有一定的英语基础,但整体水平不高。另一种是由中专、职高的学生通过单考单招进校, 这类学生在中专或职高的学习中没有充分重视英语,因此基础非常差。两类学习者都对英语学习缺乏兴趣。英语学习对他们来说只是单纯地背单词背语法,最多再加上背课文。

2.传 统课堂教学效率不高 , 多媒体课堂教学效果不尽如人意。

随着科技的发展,大部分高职院校都配备了多媒体教室,但其应用效果不是很理想。很多教师偏爱采用传统的“黑板加粉笔”教学模式,教学形式单一。老师不停讲,学生坐在下面被动地听课,因为学生本身对英语学习的兴趣不浓厚,真正能听进去的不多。另外一些教师虽然使用了多媒体上课,但缺乏技巧,不能很好地组织教学,效果不是很理想。

四、多模态外语教学的实施

多模态教学主张教师运用多种教学媒体如语言媒体和非语言媒体的辅助教学(张德禄,2009)充分调动学生全方位的认知系统和学习积极性进行学习,培养学生多元读写能力。在高职英语教学中,要实现多模态化教学,需要做到教学内容、教学活动及学生作业多模态化。

1.教学内容多模态化 。

要提高学生的多元读写能力,多模态教学内容是关键。首先,应选用图、文、声、像并茂的多媒体外语教材,增强学生对语言和文化的感受力与认知力。其次,教师在备课过程中,需从网络或图书馆或其他各种渠道搜集文字、图像、音频、视频等与课文相配套的、符合教学实际的多模态资源,并制作多模态课件,通过声音、图像、文字等多种模态,充分刺激学生的各种感官,强化学习兴趣,优化教学效果。英文原声视频,如原版电影、采访视频、新闻短片等,具备地道性、趣味性、真实性等特点,可以很大程度地刺激学生的视觉和听觉,增强学生的听力,加深对外国文化方面的了解。英文歌曲、英语小故事等声音材料, 在进一步增加英语输入的同时也可以让课堂气氛变得生动、有趣。

2.教学活动多模态化 。

教学活动的设计对于教学效果有着至关重要的影响。在多模态课堂教学中,短剧表演、讨论、辩论等各类教学活动的应用可以让学生很好地将语言文化知识运用于交流实践中,可以让学生把课文内容运用小组表演形式进行展示,可以让学生实实在在地感受与实践语言和文化。通过表演,学生可以更好地理解文本内所涉及的语言、颜色、声音、表情等所表达的意义,并与经验和认同联系起来,完成知识内化。除表演外,还应设计活动让学生通过各种多模态手段练习实践, 如英语演讲、辩论、歌唱比赛等。通过多模态教学活动,学生可以更好地学习和体验多模态交际模式,加深对各种经历的理解,更好地进行创造性学习和工作,提高素质。

3.学生作业多模态化 。

作业是教学的重要部分。多模态的教学作业可大大提高学生的学习积极性。作业可以是个人作业或小组作业。作业内容可以是文字,也可以是口头报告,还可以是短剧表演,或包含各类学生搜集的图像、视频等内容的PPT等。作业上交形式可以是作业本, 也可以是手机录音, 或者是学生自制的视频等。针对不同的学生,可以布置不同的任务,使多种方法相辅相成,克服单一的纸质作业的片面和僵化,提高学生英语学习的自信心。通过多模态作业,学生可以学会运用所学的语言知识进行生动而有效的交际,从而提高多模态读写能力。

结语

在现代外语教学中,多模态教学是必需的,也是必然的。教师应不断加强对多模态话语理论的认识, 不断进行探索研究,同时增强对多媒体技术和网络技术的掌握和使用能力。同时,在多模态教学的实施过程中,需改革考试考核体系和学生评价体系,更关注多模态读写能力的培养。

参考文献

[1]Kress G.&Van Leeuwen T.Multimodal Discourse:The Modes and Media of Contemporary Communication[C].London:Routledge,1996.

[2]顾曰国.多媒体、多模态学习剖析[J].外语电话教学,2007,(2).

[3]朱永生.多模态话语分析的理论基础和研究方法[J].外语学刊,2007,(5).

[4]韦琴红.多模态化与大学生多元识读能力研究[J].外语电化教学,2009,(3).

[5]张德禄.多模态话语理论与媒体技术在外语教学中的应用[J].外语教学,2009,(4).

[6]张德禄,王璐.多模态话语模态的协同及在外语教学中的体现[J].外语学刊,2010,(2).

[7]徐畔.多模态视角下大学英语阅读课的构建[J].素质教育,2011(12).

多模态大学英语教学研究 第7篇

教育部杜玉波副部长在2013~2017年教育部高等学校教学指导委员会成立视频会议的讲话中强调了“确立科学的人才培养质量观”的重要性和“推动高等教育内涵式发展, 深化改革是根本出路”的观点。就大学英语教学而言, 要努力满足大学生接受高质量、多样化大学英语教学的需要, 以适应国家经济社会发展对人才培养的要求。多模态大学英语教学能全面满足这种理念的要求, 促进教育质量的提高。

多模态教学指运用多媒体技术和人的各种感官系统, 通过图像、声音、语言、动作等方式和符号资源进行科学、系统地规划和组织教学的过程。在多模态教学中, 主要强调把多种符号模态引入教学过程, 教师结合教学内容、教学目标、教学环境等理念分析教学问题、制定教学方案与策略, 采用多种教学手段, 如让学生观看与将要学的内容相关的一段视频后描述该内容, 或进行小组活动、或进行角色扮演等为学生选择一种或多种教学方法, 如听说法、交际法、情景教学法等, 让学生在轻松、活跃的学习氛围中达到最佳学习效果的教学模式。话语的多模态性直到最近几年, 随着多媒体话语的产生, 人们才把它作为一个独立的前沿学术领域进行研究。

2 国内外研究现状

从国际来看, R.Barthes在三十多年前就对多模态话语进行了分析, 他在1977年发表了《图像的修辞》 (Rhetoric of the image) , 在这篇文章中, 他探讨了图像与语言在表达意义上的相互作用。课堂话语研究从Sinclair&Coulthard (1975) 起已有近40年的历史, 研究颇丰, 而且还在发展中。研究分两类, 一是教育性的, 如Lemke (1985) , Christie (2002) 等, 都是在研究课堂话语特点的同时, 研究如何根据课堂话语的特点来改善课堂教学, 提高课堂教学质量;另一类是话语分析理论研究, 如Sinclair&Coulthard借用Halliday的语法级阶理论研究了课堂话语的结构和层次, 提出了五个层面的课堂话语分析单位:课、交流、交换、话歩、行为, 掌握了课堂话语的某些交际规律。

从国内来看, 我国对课堂话语的研究起步较晚, 还处在初级阶段, 直到2003年才有关于多模态话语分析研究的论文出现, 且仅仅局限于应用于语言教学的研究。最早将之行之于文的是李战子教授, 她的《多模式话语的社会符号学分析》一文开启了我国多模态研究的大门, 介绍了基于系统功能语言学的多模态话语分析框架, 探讨了多模态话语分析的教学意义。自此, 相继发表的相关论文颇多, 其中何安平 (2003) 以语料库为基础对课堂话语的特征进行了分析;顾曰国 (2007) 是国内最早研究多模态与外语教学关系的人, 他区分了多媒体学习和多模态学习两个概念, 建构了一个用于剖析两种学习的模型;张德禄 (2009) 探讨了多模态话语理论与媒体技术在外语教学中的应用;刘芹、潘鳴威 (2010) 对多模态环境下中国大学生英语口语非言语交际能力进行了分析、讨论;张征 (2013) 探讨了多模态课堂教学中语境、意义、模态、媒体各要素的设计方法和原则, 提出了多元读写能力的培养方法。国内第一本多模态专著是韦琴红 (2009) 的《视觉环境下的多模态话语研究》。从以上研究可以看出, 国内对多模态与英语教学的研究时间不长, 在理论建设和课堂教学研究等方面有待进一步深化和加强。

3 多模态教学的理论基础

多模态教学的理论基础是系统功能语言学和认知语言学。多模态教学是把两种或两种以上的符号系统资源用于教学各环节的教学模式。“从认知过程的信息处理角度来看, 语言信息的处理是一个关系网络的激活过程 (程琪龙, 2001) ”。多模态教学模式特征与社会符号学的适应性理论一脉相承, 它们都是社会符号, 具有社会性, 而“社会性突出符号使用的功能特征和意义过程 (张征, 2013) ”;它们都是表达意义的资源。

根据系统功能语言学理论, 系统功能语言学由文化层面、语境层面、意义或内容层面、形式层面、和媒体层面等五个层面组成, 具有三大功能:概念功能、人际功能和语篇功能。以此为基础的多模态英语教学, 会使教师的教学模式与方法丰富多彩, 学生的积极性也会充分调动起来。

4 多模态在教学中的运用

随着多模态话语分析理论研究的兴起与发展, 语言教学出现多模态法。在多模态话语教学中, 关键是如何使各种模态互相配合协调, 使其充分表达所要传达的意义, 以达到最佳教学效果。而这种模态之间的配合与协调主要通过语境层面和形式层面来体现, 使各种模态得以实现的主要因素是多媒体技术。多媒体技术为多模态话语教学提供了新的环境、新的条件和新的途径。通过多媒体网络平台, 我们可以获得大量的语料, 可以模拟真实语境, 为老师和学生创设新的教学环境, 提供音乐与图像效果。要进行多模态教学, 提高教学效果, 教师首先必须进行多模态教学设计, 张德禄把“设计”定义为“运用所有的符号模态, 或符号模态的组合作为符号资源的过程, 意义经过这个过程体现为模态和媒体 (张德禄, 2012) ”。

4.1 多模态教学设计的内容

多模态教学设计主要包括以下几个方面:1) 语境设计意义的体现与表达与文化语境和情景语境关系密切, 构建多模态语境是多模态教学得以顺利进行的重要因素, 因此语境设计对多模态教学的质量有着很大影响。在语境设计时, 我们可以根据教学内容的主题, 用多媒体技术创设一个适当的语言环境, 它包括语旨、语场和语式三个方面。语旨是指设计的目的, 涉及人际意义的构建;语场设计的核心是单元主题;语式的设计是对教学媒体资源的选择。2) 意义/内容设计就是对体现意义的资源要素如语言、音响、视频、图像、手势、空间等多模态资源的设计。这是一个循环的动态过程, 每一个环节都要显示有效体现人际意义、概念意义和语篇意义的适当模态。3) 模态、媒体设计这是教师教学设计中的一个综合环节, 教师既要考虑各模态之间的关系和产生的效果, 又要注意充分利用教学资源, 以达到最佳教学效果。

4.2 多模态教学模式及其在教学中的运用

参照新伦敦小组的“通过设计学习 (Learning by Design) ”的框架, 我们把多模态英语教学模式视为五个相互联系的教学过程:“情景操练 (Situated Practice) 、明确指导 (Overt Instruction) 、批评框定 (Critical Framing) 、转换操练 (Transformed Practice) 和角色转换 (Role Transformation) (张征, 2013) ”。其中, “情景操练”是根据学生的学习情况与教学内容, 从不同渠道获取与之相关信息进行设计, 再让学生进行操练的过程;“明确指导”是指教师用通俗的语言对不同模态的意义、作用和怎样把新知识灵活运用到已有知识的方式方法等进行解释;“批评框定”是指教师对学生们的学习与操练情况以及多模态与书本知识的相互关系进行分析、指导, 让学生进一步理解多模态的表意功能;“转换操练”是指把已设计好的内容应用于不同情境, 并作适当修改, 以让学生很好地掌握知识, 做到融会贯通;“角色转换“是指给学生提供模拟真实语境的语言交流机会, 如根据教师设计的情景, 学生轮流或交换扮演不同的角色。例如:在上《新视野大学英语》第三册第一单元“Love Without Limitation”时, 教师可以从真实的录像画面中选择以下几个镜头制作成学生交际的环境:a.在挖出的汶川地震废墟中, 一个母亲弓腰罩着自己的孩子, 她虽然遇难, 她身下的孩子却没有遭到任何物体的袭击, 安然无恙;b.有丈夫正在用手爬开砖头瓦块去寻找、求助埋在下面的妻子, 尽管他的双手磨破了, 在流血, 他也全然不顾;c.武警官员们和来自全国各地的人们在救助受伤的灾民, 送吃、喝的物质给他们;在学生看到这些画面后, 教师提问道:What happens here?学生对这个很熟悉, 都能回答:An earthquake。当他们对每一个情景描述后, 教师讲解道, 这些情景都体现一个主题:无限的爱。在描述这些情境时, 学生还会用到即将学的生词, 如deliver (送货) 、exhausted (疲惫不堪的) , saint (道德高尚的人) , inseparable (不可分离的) , justice (正义) 等等, 如果学生在描述这些场景时遇到困难, 教师可随时启发或提供帮助。常言道, 环境造就人才, 在一个好的语言环境中, 学生能较容易地学会或记住该掌握的内容。对于较难的语言点, 教师在课堂上最好用板书写在黑板上, 这样便于记忆, 以加深印象, 更体现不同模态在教学中的作用。

5 结束语

多模态大学英语教学是全球文化多元化和交际多模态发展的需要, 是深化大学英语教学改革、提高课堂教学效果与质量的要求, 是树立大学生多元读写意识、培养大学生多元识读能力的需要。在多模态教学课堂中, 教师扮演着指导者和组织者的角色, 学生成为学习的主角。它主要强调把把多种符号模态 (语言、图像、音乐、网络等) 引入教学过程, 采用多种教学手段 (如网络视频、小组合作、角色扮演等) , 充分调动学生的学习积极性, 刺激学生在词汇记忆的同时产生多方面联想, 让学生在轻松、活跃、自主的学习气氛中, 提高学习成绩、达到理想的教学效果。

摘要：随着多模态话语分析理论研究的兴起与发展, 语言教学出现多模态法。在多模态大学外语教学中, 教师既要注意模态的设计, 又要考虑不同模式之间的相互关系, 使学生在好的语言环境中学知识, 以提高教育质量。