小米今日正式發(fā)布聲音理解大模型MiDashengLM-7B，并將模型與技術(shù)報(bào)告全部開(kāi)源，向開(kāi)發(fā)者社區(qū)開(kāi)放使用許可。

MiDashengLM-7B采用小米自研的Xiaomi Dasheng作為音頻編碼器，并結(jié)合Qwen2.5-Omni-7B Thinker作為自回歸解碼器，通過(guò)通用音頻描述訓(xùn)練策略，對(duì)各類(lèi)聲音信號(hào)形成了深度語(yǔ)義理解能力。相比同類(lèi)產(chǎn)品，其響應(yīng)延遲大幅縮短，并支持更大規(guī)模的并發(fā)處理，能夠滿(mǎn)足智能家居、汽車(chē)座艙和移動(dòng)設(shè)備等多場(chǎng)景下的實(shí)時(shí)交互需求。

在訓(xùn)練數(shù)據(jù)方面，MiDashengLM-7B完全使用公開(kāi)數(shù)據(jù)進(jìn)行訓(xùn)練，詳細(xì)列出77個(gè)數(shù)據(jù)源的配比比例，并在技術(shù)報(bào)告中披露了從預(yù)訓(xùn)練到指令微調(diào)的全流程細(xì)節(jié)。

小米以寬松的Apache 2.0協(xié)議發(fā)布該模型，明確支持學(xué)術(shù)研究和商業(yè)落地。

作為小米“人-車(chē)-家”全生態(tài)戰(zhàn)略的重要技術(shù)基石，MiDashengLM-7B已經(jīng)在智能音箱全天候監(jiān)測(cè)、車(chē)外語(yǔ)音喚醒防御、“打個(gè)響指”環(huán)境音關(guān)聯(lián)IoT控制、增強(qiáng)哨兵模式等多項(xiàng)產(chǎn)品和功能中實(shí)現(xiàn)落地應(yīng)用，并在未來(lái)，繼續(xù)優(yōu)化模型的計(jì)算效率，探索終端設(shè)備離線(xiàn)部署的可行性，并拓展基于自然語(yǔ)言的聲音編輯等更多功能。

目前，MiDashengLM-7B的完整代碼和模型參數(shù)已同步上線(xiàn)：

GitHub 主頁(yè)：https://github.com/xiaomi-research/dasheng-lm

技術(shù)報(bào)告：https://github.com/xiaomi-research/dasheng-lm/tree/main/technical_report

模型參數(shù)（Hugging Face）：https://huggingface.co/mispeech/midashenglm-7b

模型參數(shù)（魔搭社區(qū)）：https://modelscope.cn/models/midasheng/midashenglm-7b

網(wǎng)頁(yè) Demo： https://xiaomi-research.github.io/dasheng-lm

交互 Demo：https://huggingface.co/spaces/mispeech/MiDashengLM

小米表示，將繼續(xù)依托開(kāi)源社區(qū)力量，加速創(chuàng)新應(yīng)用落地，為用戶(hù)帶來(lái)更智能、更自然的聲音交互體驗(yàn)。