宾夕法尼亚大学开发AI音频编辑器SmartDJ只需简单指令即可重塑音频体

盖世汽车讯 据外媒报道，宾夕法尼亚大学的工程师开发出人工智能(AI)音频编辑器SmartDJ，用户只需使用日常语言的简单指令即可修改沉浸式音频环境，其潜在应用领域包括虚拟现实、增强现实、游戏和声音设计。SmartDJ无需用户指定具体的编辑内容，即可响应诸如“让这里听起来像繁忙的办公室”之类的高级指令，然后规划并执行实现该效果所需的步骤。

该系统解决了早期AI音频编辑工具的两大局限性:首先，大多数先前的系统更适用于僵化的、模板式的命令，需要用户识别要添加或删除的声音；其次，这些工具通常处理的是单声道或“单轨”音频，失去了沉浸式音频体验所必需的空间线索。

相比之下，SmartDJ能够理解高级指令，并且专为立体声音频设计，因此能够进行编辑，从而更好地保留或重塑场景的空间结构。

计算机与信息科学系助理教授Mingmin Zhao表示:“使用SmartDJ，用户可以用自然语言描述他们想要的结果，系统会自动找出实现的方法。这证明AI可以帮助人们使用简单的语言以直观的方式编辑音频。”

语言模型与扩散模型的结合