人工智能
清华研究员开发出一款能写rap的AI
清华大学和流行音乐圈颇有缘分。远一点的,2000年后曾经很成功的乐队水木年华,全部成员都是清华的毕业生。最近几年比较有名的——18年的时候,在《中国好声音》里,有位选手是清华的在读博士——借助AI写rap和改编歌词。
智能说唱生成系统,旨在产生歌词和相应的节拍,需要对韵律和节奏进行建模。但以前的说唱生生成系统侧重于押韵的歌词,但忽略了对说唱表演很重要的节奏节拍。
同样来自清华大学的系统 DeepRapper,一个基于Transformer的说唱系统,可以同时为韵律和节奏建模。
由于没有可用的带有节奏的说唱数据集,研究人员开发了一个数据挖掘渠道来收集大规模的说唱数据集,其中包括大量歌词和有节奏的说唱歌曲。
其次,他们设计了一个基于Transformer的自回归语言模型,对韵律和节奏建模。
具体来说,他们以相反的顺序生成带有韵律表示和约束的歌词,以增强旋律美感,并在歌词中插入一个节拍符号,以进行节奏/节拍建模。
据我们所知,DeepRapper是第一个同时生成带有韵律和节奏的说唱的系统。客观和主观的评价都表明,DeepRapper生成了有韵律和节奏的创造性和高质量的说唱作品。代码将在GitHub上发布。
https://www.microsoft.com/en-us/research/uploads/prod/2021/07/AI-Music-Composition-Xu-Tan.pdf
大家可以感受一下DeepRapper生成的rap示例。(⼤号是原始论文里自带的,不知道为啥缺失了文字)
偶 尔 穿 件 毛 衣 那 样 ⼦ 很 可 爱
an ang e an en e u ang ai i an en e ai
远 ⽅ 可 单 纯 的 姑 娘 还 是 单 纯 的 孩
i ang u a e u i a eng e e ai
是 放 不 下 的 故 事 大 声 的 喝 彩
ang ai e e ao ai o ing e ang e ai
像 快 乐 的 ⼩ 孩 莫 名 的 敞 着 怀
i ai ong i o en ang ue ao ei ai
⼏ 百 公 ⾥ 我 们 相 约 到 未 来
ai a u in e a o e ai
在 那 ⽆ 尽 的 沙 漠 和 海
an e en an a ai
看 着 温 暖 花 开
a i ang e ai
花 一 样 的 在
ie ong en e an ai
写 动 人 的 天 籁
en e i ou i ai
跟 着 ⾃ 由 ⾃ 在
ao en ai a an ai
消 沉 在 那 片 海
u ong er i e a en u ong en e i ai
不 懂 儿 时 的 他 们 不 懂 什 么 是 爱
ao an ai i an ai
到 现 在 你 看 来
ei en e i ai
最 真 的 迷 彩
更多内容(感谢huwawuwa)请见 https://deeprapper.github.io/