录制有声读物不是一件容易的事,即使对于经验丰富的配音演员来说也是如此。但对有声读物的需求正在上升,Spotify 等大型流媒体平台正在为它们的发展搭建专门的空间。为了将创新与狂热融合,麻省理工学院和微软的研究人员正在使用人工智能从在线文本制作有声读物。在一个雄心勃勃的新项目中,他们正在与世界上历史最悠久、可能也是最大的开放许可电子书在线存储库古腾堡计划合作,制作 5,000 本由人工智能讲述的有声读物。这个系列包括《傲慢与偏见》 、 《包法利夫人》 、 《野性的呼唤》和《爱丽丝梦游仙境》等经典文学作品。三人于 9 月在 arXiv 上发表了关于他们努力成果的预印本。 “我们想要做的是制作大量免费有声读物,并将它们回馈给社区,”麻省理工学院计算机科学与人工智能实验室的博士生、该项目的首席研究员马克·汉密尔顿 (Mark Hamilton) 告诉 PopSci。“最近,神经文本转语音技术取得了很大进展,这些算法可以阅读文本,而且听起来很像人类。” 实现这一目标的神奇因素是神经文本转语音算法,该算法经过数百万个人类语音示例的训练,然后负责模仿人类语音。它可以生成不同语言中不同口音的不同声音,并且可以仅用五秒钟的音频创建自定义声音。“它们可以阅读你给的任何文本,而且阅读速度非常快,”汉密尔顿说。“即使你给它八个小时的文本,它也会在几分钟内完成。” 重要的是,该算法可以捕捉到诸如音调之类的细微差别,以及人类在阅读单词时添加的修改,例如电话号码或网站的读法、哪些内容组合在一起以及停顿在哪里。该算法基于微软的一些论文合著者之前的研究成果。 与大型语言模型一样,该算法严重依赖机器学习和神经网络。“核心部分相同,但输入和输出不同,”汉密尔顿解释道。大型语言模型接收文本并填补空白。他们使用这一基本功能来构建聊天应用程序。另一方面,神经文本转语音算法接收文本,通过相同类型的算法对其进行处理,但现在它们不是输出文本,而是输出声音,汉密尔顿说。 [相关:互联网档案馆刚刚在针对大型图书出版商的联邦诉讼中败诉] “它们试图生成忠实于你输入的文本的声音。这也给了它们一点回旋余地,”他补充道。“它们可以发出它们认为解决任务所需的声音。它们可以改变、分组或改变发音,使其听起来更像人类。” 然后可以使用一种称为损失函数的工具来评估模型的表现是好还是坏。以这种方式实施人工智能可以加快 Librivox 等项目的努力,该项目目前使用人类志愿者制作公共领域作品的有声读物。 这项工作还远未完成。下一步是提高质量。由于古腾堡计划电子书是由人类志愿者创建的,因此每个制作电子书的人的做法都略有不同。他们可能会在意想不到的地方添加随机文本,电子书制作者放置页码、目录或插图的位置可能会因书而异。 “所有这些不同的东西都会导致有声读物产生奇怪的瑕疵,以及一些你根本不想听的东西,”汉密尔顿说。“北极星是开发更多更灵活的解决方案,利用良好的人类直觉来判断这些书中应该读什么,不应该读什么。”一旦他们搞定了这一点,他们希望利用这一点,以及人工智能语言技术的最新进展,将有声读物收藏扩展到古腾堡计划上的所有 60,000 本,甚至可能翻译它们。 目前,所有 AI 配音的有声读物都可以在 Spotify、Google Podcasts、Apple Podcasts 和 Internet Archive 等平台上免费播放。 这种算法有多种应用。它可以朗读剧本,并为每个角色分配不同的声音。它可以用你的声音模拟整本有声读物,这可以成为一份漂亮的礼物。然而,尽管有很多相当无害的方式来使用这项技术,但专家们此前曾对人工生成音频的缺点及其滥用的可能性表示担忧。 聆听下面的《野性的呼唤》。 |
毫无疑问,空气污染对人类健康有害。它是心血管疾病的主要危险因素,也是全球发病率和死亡率的巨大危险因素...
摘自理查德·梅因沃林 (Richard Mainwaring) 所著的《耳朵听到的(和听不到的)声音...
多拉塔罗气球:这部温馨动物动画的魅力■作品概要《气球多拉太郎》是一部日本动画系列,于 1981 年播...
闪闪发光的白色冰栖白鲸在冰冷的世界中穿行时,会用它们的脑袋喋喋不休地叫上几个小时。这些海洋中的金丝雀...
在美国,公众对科学的信任度正在下降。随着人们对科学家和科研机构的怀疑日益增加,对错误和虚假信息的信任...
空余房间里放着一台我亲切地称之为“弗兰克”的电脑。它有一台 1997 年 Macintosh 克隆机...
保罗的奇迹使命——回顾怀旧童话冒险《保罗的大奇迹使命》是 1976 年至 1977 年播出的一部由 ...
在新墨西哥州阿尔伯克基南部的沙漠平原和伊斯莱塔普韦布洛保留地以北,空军使用威力强大的微波武器 THO...
在美国,每年有多达 1200 万人的头上长虱子,但从历史上看,除掉虱子并不困难。感染者只需用一种能杀...
今天,全球最快超级计算机 TOP500 的最新排名出炉,不出所料,橡树岭国家实验室的 Titan 取...
为了进食,马塔贝勒蚂蚁必须与它们唯一的食物来源——白蚁搏斗。这些进食前的遭遇常常会导致白蚁凶猛的下颚...
2015 年夏天,凯尔·罗森布拉德 (Kyle Rosenblad) 在毛伊岛的一座陡峭山峰上徒步旅...
本文最初刊登于《大众摄影》。如今,还有什么比智能手机相机对摄影更重要呢?它们无处不在,随时可用,其背...
詹姆斯·韦伯太空望远镜 (JWST) 拍摄了里根政府时期爆炸的一颗恒星的一些新图像。该太空望远镜的 ...
“你会做什么呢,Yuuki-kun?” - 日常生活的温馨故事《你会怎么做?结城君》是一部电视动画系...