有形的音乐：我们的行为会影响我们实际听到的乐曲

当你听到一段旋律时，你的感知是由与之相关的形状和动作共同形成的。

当你听到碧昂斯唱歌时，要过多久你才会唤起她在舞台上跳舞的形象？或者当吉米·亨德里克斯(Jimi Hendrix)的吉他独奏从扬声器中响起时，你能看到亨德里克斯与吉他摆出的姿势吗？

无论是在镜子前模仿，把香蕉当做麦克风，还是在打扫房间时开着音乐摇摆，你与音乐相关的动作对你实际听到的音乐起了影响。

这是因为音乐不仅仅是一首好的抒情诗或旋律。音乐是你感觉到的一切之间的相互作用。

"试想一下，当有人唱出非常高的音符时，你会有什么感觉？"音乐研究者特贾斯韦尼·凯尔卡Tejaswinee Kelkar说，"我们实际上注意到的是歌手所做的努力。我们认识到这一点，因为它是有形的。我们甚至不需要看到歌手，因为我们对声音中的细微差别非常敏感--声音向我们展示了歌手的内在感情。"

凯尔卡研究我们与音乐相关联的形状，并通过研究人们在听音乐时的手势来调查。面部表情和一个人的腿的位置只是她认为影响一个人的听觉体验的几件事。

唱歌时，你也会使用手臂

凯尔卡本人是一名表演歌手，当她意识到我们在演唱西方音乐和印度音乐时使用双手的方式存在差异时，她对手势产生了兴趣。

"小时候，我学会了唱北印度民歌。在那里，为了帮助儿童学习唱歌，使用手势是很常见的。当你在舞台上时，你应该以排练时的方式唱歌。你把注意力集中在你所唱的歌曲上，而不是考虑到观众。"

当她后来接受西方古典歌唱训练时，她开始使用类似的手势。

"但有人很坚定地告诉我，这不对。"

她开始好奇：这些手势到底是什么意思？

"你可能认为这些动作为你提供了某种解剖学上的帮助，或者它们塑造了你使用声音的方式。在这种情况下，有些手势可能适合印度音乐，而不适合西方音乐。"

对凯尔卡来说，适用于手势的不同规则也是其他东西的证明：为了理解音乐，你需要思考它如何填充空间。

旋律可以有不同的形状

音乐在我们所有的感官上发挥作用，因为它是多模态的--它以不同的模式进行。对凯尔卡来说，主要的模式是空间性。她提到数学家勒内·托姆的名言："为了理解某种东西，我们需要理解它的几何形状"。

"我相信他是对的：一切都有一个空间性。时间，在音乐中很重要，是一个很好的例子。我们把过去和未来与我们的身体联系起来--某样东西就在我们前面或后面。"

为了更多地了解音乐是如何在空间上被感知的，凯尔卡进行了几个实验。在其中一个实验中，她要求参与者多次聆听同一首音乐，并画出或解释他们在头脑中想象的东西。

"人们经常感知到特定的形状或使用运动隐喻。一些参与者将音乐描述或画成从他们身边经过的波浪，就像声波或ECG(心电图)，而另一些人则把它想象成一个圆圈，特别是当他们注意到旋律中的一个主题不断重复出现的时候。"

在另一个实验中，她要求参与者以他们认为符合音乐的方式移动手臂。她通过使用运动捕捉跟踪技术记录了一切，以便寻找模式。

"有几个人试图画出音乐上升或下降的轮廓。这反映了音高，但也反映了音乐的其他特征，如音色、主题和模式"。

面部表情影响我们听到的声音

我们的大脑在我们所看到的和所听到的之间建立了联系，这一事实已经被语言研究人员研究过了。

"这已经被观察到的语言现象，包括一个叫做麦格克效应 McGurk effect的现象。”

麦格克效应描述了我们如何在倾听一种声音的同时观察一张表达不同声音的脸，并听到某种介于两者之间的东西。这方面的一个典型例子是，当我们听到一个B的发音，同时看到一张脸无声地说G，我们最终会听到一个D。

Kelkar最近与她的同事进行了一项研究，目的是看看我们唱歌时是否会发生同样的事情。

"我们实际上发现了一些迹象，表明歌手用他或她的脸做什么会影响人们对旋律的感知。如果歌手的模仿动作不同，两个音符之间的间隔可能听起来不同。"

基于运动的Shazam(一款音乐搜索应用)

正如旋律和节奏使我们能够识别音乐一样，与旋律相关的形状也能帮助我们做同样的事情。在她的研究中，Tejaswinee Kelkar向人工智能提供了从她的实验中得出的不同动作的文件，从而使该技术能够利用这些动作来识别音乐。这种类型的技术可用于开发新工具。

"想象一下类似于音乐识别应用程序'Shazam'的技术，但想象它扫描动作而不是声音。如果你做出与'生日快乐'相匹配的手势，这样的应用程序也许能为你找到这首歌。"

虽然这项技术相对较新，但根据轮廓搜索旋律是一个古老的想法。1975年，丹尼斯·帕森斯发表了他的《曲调和音乐主题目录》，其中他根据旋律的轮廓--音高的上下移动--对大约15000首古典乐曲进行了编目。因此，基于轮廓的音乐识别被称为 "帕森斯密码"。

凯尔卡的方法也类似于网上的其他工具。

"例如，今天我们有musipedia.org，它允许你根据音乐的轮廓来搜索，"她说。

听众改变音乐

声音、文字和空间是音乐中包含的一些模式。这同样适用于行动，或者仅仅是思考。

"如果你想象着跳舞，你听到的音乐可能会与你不跳舞时的声音不同"。

这位音乐研究者还强调了我们是如何体验音乐会的，这一点多年来已经发生了很大的变化。

"我们有一些音乐流派，人们静静地坐着，恭恭敬敬地听着，但这是新的东西，因为我们的许多古典作曲家为舞蹈创作音乐。我们现在在音乐厅演奏马祖卡和五弦琴，而观众坐在那里恭敬地观看。爵士乐也是如此，它是一种俱乐部音乐类型，是为了让人们跳舞的。"

她指出，这说明了关于音乐的多模态性的一些基本情况。

"你对音乐的看法是由你所看到的和所做的来塑造的，但反过来也适用；你所做的会影响音乐"。

https://phys.org/news/2021-11-music-affects.html