节能的文本转音频AI

发布时间:2023-03-17 19:56:43 栏目:生活

    导读 根据萨里大学的研究人员的说法,生成人工智能(AI)系统将激发音乐行业及其他领域的创造力爆炸,他们邀请公众测试他们的新文本到音频模型。Au

    根据萨里大学的研究人员的说法,生成人工智能(AI)系统将激发音乐行业及其他领域的创造力爆炸,他们邀请公众测试他们的新文本到音频模型。

    AudioLDM是萨里郡的一种新的基于AI的系统,允许用户提交文本提示,然后用于生成相应的音频剪辑。该系统可以使用比当前AI系统更少的计算能力来处理提示并交付剪辑,而不会影响音质或用户操作剪辑的能力。

    公众可以通过访问其拥抱面孔空间来尝试AudioLDM。他们的代码也在 GitHub 上开源,有 1000+ 颗星。

    声音设计师可以将这样的系统用于各种应用,例如电影制作、游戏设计、数字艺术、虚拟现实、元宇宙和视障人士的数字助理。

    萨里大学项目负责人刘浩和说:“生成式人工智能有潜力改变各个领域,包括音乐和声音创作。

    “借助 AudioLDM,我们表明任何人都可以在几秒钟内以很少的计算能力创建高质量和独特的样本。虽然对这项技术有一些合理的担忧,但毫无疑问,人工智能将为这些创意产业中的许多人打开大门,并激发新想法的爆炸式增长。

    萨里的开源模型是用一种称为对比语言-音频预训练(CLAP)的方法以半监督的方式构建的。使用CLAP方法,可以在没有文本标记的情况下对大量不同的音频数据进行训练,从而显着提高模型容量。

    萨里大学信号处理和机器学习教授Wenwu Wang说:“AudioLDM的特别之处不仅在于它可以从文本提示中创建声音剪辑,还在于它可以基于相同的文本创建新声音,而无需重新训练。

    “这节省了时间和资源,因为它不需要额外的培训。随着生成人工智能成为我们日常生活的一部分,重要的是我们开始考虑为运行这些技术的计算机供电所需的能量。AudioLDM是朝着正确方向迈出的一步。

免责声明:本文由用户上传,如有侵权请联系删除!