10月15日，小米开源空间音频理解大模型MiDashengLM-Spatial。该模型在MiDashengLM-7B基础上增加双耳空间音频感知能力，可同时理解声音内容、声源方向、距离和运动轨迹，并推理多个声源之间的空间关系。
据小米技术团队介绍，这是业界首个开源的端到端空间音频理解大模型。
主流多模态大语言模型处理多声道音频时，通常将各声道信号在声道维度上平均，转为单声道输入，缺少对空间信息的建模。
MiDashengLM-Spatial采用双分支音频编码器，保留原有0.6B参数Dasheng-Huge语义编码器，并新增基于86M参数Dasheng-Base构建的空间编码器Spatial-Dasheng。
两条分支通过分层语义到空间特征注入机制连接，将声音内容特征逐层传递给空间分支，使模型能够区分重叠的多个声源，判断各自位置和运动状态，同时尽量保留原有语义理解能力。
训练数据方面，团队利用头相关传递函数和虚源法模拟不同室内声学环境，构建了100万段双耳音频场景、约1.3万小时音频和600万组空间问答数据。
数据覆盖语音、环境声和音乐，并记录各声源的位置、运动轨迹及时间关系，用于学习声音内容与三维空间信息的关联。
在STAR-Bench空间推理测试中，MiDashengLM-Spatial准确率为70.3%，原版MiDashengLM为44.3%，Qwen3-Omni为44.7%，MOSS-Audio为41.7%。左右声道交换测试中，新模型全正确率为72.6%，原版为0%。
在MMAU-Pro空间理解任务中，新模型准确率从原版的18.2%提升至55.4%。音频问答、语音识别和声音描述等通用任务整体表现与原版基本持平，部分测试有所提升。
模型已开放权重、推理代码和评估代码，采用Apache 2.0许可证，支持研究和商业使用。小米表示，后续将探索其在智能家居、汽车座舱和机器人等场景中的应用。
研究同时指出，模型对精细运动轨迹及多个重叠声源的复杂空间关系仍存在理解局限。
匿名用户
