音频处理

Audio to Photoreal Embodiment
Audio to Photoreal Embodiment是一个生成全身照片级人形化身的框架。它根据对话动态生成面部、身体和手部的多种姿势动作。其方法的关键在于通过将向量量化的样本多样性与扩散所获得的高频细节相结合,生成更具动态和表现力的动作。通过高度逼真的人形化身可视化生成的动作,能够表达出姿势中的重要细微差别(例如嘲笑和傲慢)。为了促进这一研究方向,我们引入了一种首次亮相的多视图对话数据集,可以进行照片级重建。实验证明,我们的模型生成了合适且多样化的动作,表现优于扩散和仅向量量化的方法。此外,我们的感知评估突出了在准确评估对话姿势中的微妙动作细节方面,照片级真实感(与网格)的重要性。代码和数据集可在线获取。

PixelPlayer
PixelPlayer是一个能够通过观看大量无标注视频学会定位产生声音的图像区域并分离输入声音成一组表示每个像素声音的组件的系统。我们的方法利用视觉和听觉双模态的自然同步特点,在不需要额外人工标注的情况下学习联合解析声音和图像的模型。该系统使用大量包含不同乐器组合独奏和二重奏演奏的训练视频进行训练。对每个视频没有提供出现了哪些乐器、它们在哪里以及它们是什么声音的监督。在测试阶段,系统的输入是一个展示不同乐器演奏的视频和单声道听觉输入。系统执行音频视觉源分离和定位,将输入声音信号分离成N个声音通道,每个通道对应不同的乐器类别。此外,系统可以定位声音并为输入视频中的每个像素分配不同的音频波形。