摘要：在面对面的对话中，扬声器使用手动作来表示含义。但是，听众实际上会使用这些手势来预测接下来有人会说什么？在使用虚拟化身的一项研究中，科学家表明，听众使用化身的手势来预测即将到来的语音。行为和脑电图的数据都表明手势有助于语言处理，并说明了人类交流的多模式性质。...

在面对面的对话中，扬声器使用手动作来表示含义。但是，听众实际上会使用这些手势来预测接下来有人会说什么？在使用虚拟化身的一项研究中，Nijmegen的Max Planck心理语言学与Radboud大学的科学家表明，听众使用了Avatar的手势来预测即将到来的演讲。行为和脑电图的数据都表明手势有助于语言处理，并说明了人类交流的多模式性质。

人们谈论打字时可能会扭动手指，描绘了“打字”运动。看到有意义的手动作（也称为标志性的手势）可以帮助听众处理口语。第一作者Marlijn Ter Bekke说：“我们已经知道，以标志性的手势产生的问题在对话中得到了更快的回答。”

手动运动可能会加快语言处理，因为它们有助于预测即将发生的事情。 Ter Bekke解释说：“手势通常是在他们相应的语音（例如“键入”一词）之前开始的，因此他们已经显示了一些有关说话者接下来的信息。”

为了调查听众是否使用手势来预测即将到来的语音，研究人员决定使用视觉化身进行两个实验。 “我们使用了虚拟化身，因为我们可以准确控制他们所说的话以及它们的移动方式，这对于从实验得出的结论很有益。与此同时，它们看起来很自然。”

预测目标词

在第一个实验中，参与者听了阿凡达问的问题，例如“学会了……类型？头像要么做出打字的手势，毫无意义的控制运动（例如手臂刮擦），要么没有运动。参与者听到了目标单词的问题，并被要求猜测它将如何继续。

正如预期的那样，当参与者看到相应的手势时，参与者会更频繁地预测目标词（例如“类型”）。

脑波

在第二个实验中，另一组参与者只是听了完整播放的问题。他们的大脑活动是用脑电图（EEG）记录的。

在目标词之前的无声停止期间，手势会影响通常与预期相关的脑电波。在目标词之后，手势影响了大脑反应，表明理解一个单词有多困难（降低了N400效应）。看到手势后，人们发现处理即将到来的单词的含义更容易。

Ter Bekke总结道：“这些结果表明，即使参与者只是在听，他们也会使用手势来预测接下来有人会说的话。”

机器人和虚拟化身

“我们的研究表明，即使是由虚拟化身产生的手势也有助于语言处理。如果我们希望人工代理人（例如机器人或虚拟化身）很容易理解，并且以人类的方式，他们不仅应该与言语进行交流，而且还应以有意义的手势进行沟通。”