您好、欢迎来到现金彩票网!
当前位置:21点 > 自动模型获取 >

用AI自动生成嘻哈歌词的队伍获得了“最佳DEMO奖”

发布时间:2019-06-19 23:44 来源:未知 编辑:admin

  8月23日,“2018年全球高校学生DeeCamp AI训练营”在北大举行闭幕式,经过层层评比,来自全球高校的300学生组成的28支队伍选出了8支优胜队伍。其中,一只用AI自动生成嘻哈歌词的队伍获得了“最佳DEMO奖”。

  AI写嘻哈歌词的水平如何?能达到以假乱真的地步吗?不看广告看疗效,我们先来猜猜下面的歌词哪些是AI写的:

  不是乐理专修 做点儿曲式研究 我们的力量来自宇宙 自己的节奏不是乐理专修 所有听的观众 打破他们传统 进到环球 继续让你感受

  自己就带上了有色眼镜 金钱摧毁多少事情 瓦解你的中枢神经自己就带上了有色眼镜 我只想把世界分的更清 却发现自己却模糊了心

  正确答案是:第一行都是模型生成的,第二行是原作。可以看出,AI的效果还是不错的,至少挺押韵的。

  首先我们需要定义这个问题,也就是根据一句歌词迭代生成一段嘻哈歌词。另外一个是押韵,这是嘻哈歌词一大特点。

  清楚了问题,我们去调研一下已经有的文本声称方案,最终把它的优点和缺点列出来,然后我们选择了SequenceGAN作为基础模型,并且在这个之上提出我们的模型SequenceGAN。

  SequenceGAN 有两个组件,生成器、判读器,让生成器生成足以逼真的歌词。

  我们在这个基础之上,有一个嘻哈生成网络。第一点是在这个之前我们增加了一个编码网络,将然后生成一些跟主题相关的歌词,第二点是把目标函数修改。

  以下是SequenceGAN的效果,它有非常多的重复的语句,这就是GAN的一个通病,对于不同的输入,输出却很相同。

  我们知道嘻哈歌手不可能一句话唱一整首,所以我们调研了一些文献,并且借鉴今年SentiGAN的想法,对生成器的目标函数进行修改,最后效果非常显著,有一个质的变化。

  有了多样化的文本之后,我们下一步要解决的问题就是如何去实现押韵。我们尝试两种方案,一种是基于目标函数,增加押韵场景项,就好像考试的附加题,做对了给额外得分。但是我们希望它一直能够去做附加题,实现押韵的功能。但是它并不能很自主地学习到押韵的关。

  最后我们尝试了基于规则的方式来实现这个押韵。比如输入“你真美丽”,我们根据这个i的韵脚去构建一个向量,做一个简单的操作,就能够得到必然是押韵的结果,同时可以控制押韵的概率。

  项目作者:孙蒙新(厦门大学)、项瑞昌(华中科技大学)、伊玮雯(北京邮电大学)、陆亦扬(合肥工业大学)、石华(西南石油大学)、汪自力(西安电子科技大学)、庞雲升(重庆大学)、周子群(东北大学)、王超群(北京林业大学)、詹珏岑(VanderniltUniversity)

  我们一共使用了 10w 条嘻哈歌词,并且已经将一些不符合社会主义核心价值观的句子标注了出来。数据的预处理主要步骤如下:

  在对句子进行筛选之后,我们利用 Jieba 进行分词,观察到单句长度集中在 8~10 左右;

  构建 x-y pair,利用上一句预测下一句(导师后来建议可以借鉴用 Skip-gram 的思路,同时预测上一句和下一句,但没有时间去尝试了),分割数据集。

  我们的生成模型的整体基于 SeqGAN,并对其做了一些修改,模型架构如下:

  1.增加输入语句的编码:这一点类似 Seq2Seq 的 Encoder,SeqGAN 原本的 initial state 是全 0 的,为了将上文的信息传递给生成器,我们采用了一个简单的全连接层(Fully Connected Layer),将输入句子的 Word Embedding 经过一个线性变化之后作为生成器的 LSTM。事实上也可以尝试使用 RNN(LSTM)来作为 Encoder,不过这样模型的速度可能会比较慢。

  别质疑自己 遮罩错的消息不要过得消极 世间人都笑我太疯癫 世间人都笑我太疯癫 守护地狱每座坟墓 世间人都笑我太疯癫你不知道rapper付出多少才配纸醉金迷 世间人都笑我太疯癫 但却从来没有心狠过 如果你再想听你不知道rapper付出多少才配纸醉金迷 你不知道rapper付出多少才配纸醉金迷

  可以看到“世间人都笑我太疯癫”和“你不知道rapper付出多少才配纸醉金迷”占据了我们生成的结果。mode collapse,简单来说就是输入的改变不会影响生成的结果。为此我们调研了一些 Paper,最终采用了SentiGAN 中提出的 Penalty-based Objective Function:

  嘻哈歌词非常重要的一个特点就是句与句之间的押韵,我们在实现这一功能的时候尝试了两种方案:

  1.Reward based,在 reward 函数上增加额外的押韵奖赏项, r(rhyme):对 Generator 的生成的句子和输入的句子进行押韵的判断,如果押韵,则提供额外的奖赏。

  2.Rule-based,生成时只对押韵的词进行采样:在生成句尾的词的概率分布时候,通过获取和输入句尾押韵的词,只在这些押韵的词进行采样。

  方法一,如果能够通过设计 reward function 就能实现押韵的功能,那模型就是完全 end2end,非常 fancy 了。但是理想很丰满,现实很骨感,经过几天的调整押韵奖赏的权重,都没能看到押韵率(我们设置的用于检测押韵奖赏效果的指标,每个 batch 中和 input 押韵的句子的比例)的上升 。我们怀疑是这种奖赏的结合会让 Generator 产生混淆,并不能明确自己 reward 来自何处,应该需要更加具体的一些限制才能够实现这一方法。

  方法二,一开始我是拒绝这么做的,用基于规则的方法不是我的理想。但是为了做出产品来,我还是屈服了。但还有一个问题摆在面前:怎么知道生成的是句尾呢?导师提醒我们,我们可以把输入倒过来。这是 NMT 中常用的一个手段,对于 LSTM,句子是真的还是反的差别不大,即使有差别,也可以通过一个 Bi-LSTM 来捕获不同顺序的信息。而为了知道哪些字词是押韵的,我们实现制作了一张 vocab_size x vocab_size 的大表 rhyme,如果两个词(index 分别为 i, j)押韵,则 rhyme[i, j] 非 0,否则为 0。

  如上图所示,如果我们的输入为“你真美丽”,句尾词为“美丽”,韵脚为 i;最终采样结果只会在押韵的词中采样,示例的采样结果为“春泥”。

  据此,我们就可以对生成过程的第一个词的词表分布进行一个 mask 操作,使得非押韵的词的概率都变成 0,就能够保证押韵了,代码片段如下:

  不过这个制表的过程比较耗费时间(大约跑了 3 个小时,i7)。另一种思路是可以根据韵脚对字词进行分类,将相同韵脚的词的 index 编到一起,这样我们可以通过获取每个词的韵脚来知道目标词的范围,而不用挨个的去判断是否押韵。

http://mamitamala.com/zidongmoxinghuoqu/142.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有