1月9日，商湯絕影宣布其與國(guó)內(nèi)車企合作伙伴聯(lián)手打造的原生流式多模態(tài)座艙產(chǎn)品已經(jīng)量產(chǎn)上車，并向用戶進(jìn)行OTA推送。

在去年11月的2024絕影實(shí)力AI DAY上，商湯絕影發(fā)布了“A New Member For U”產(chǎn)品，原生流式多模態(tài)大模型是打造該產(chǎn)品的關(guān)鍵之一。

隨著商湯絕影的多模態(tài)艙外識(shí)別功能量產(chǎn)上車，它已經(jīng)能夠?qū)崿F(xiàn)“前車識(shí)別”、“交通標(biāo)志識(shí)別”和“沿途風(fēng)光識(shí)別”等功能，以及能和車內(nèi)駕乘人員進(jìn)行交流與互動(dòng)。

目前，小米、小鵬、比亞迪等企業(yè)紛紛上車多模態(tài)識(shí)別功能，多模態(tài)大模型上車已成為行業(yè)趨勢(shì)。這一趨勢(shì)的背后，是技術(shù)進(jìn)步和市場(chǎng)需求的雙重推動(dòng)。

從技術(shù)角度看，多模態(tài)識(shí)別技術(shù)通過整合來自不同傳感器的數(shù)據(jù)（如圖像、聲音、文本等），能夠?qū)崿F(xiàn)對(duì)環(huán)境或用戶行為的更全面、更準(zhǔn)確的感知和理解，以提高車輛的智能化水平和車輛的安全性和用戶體驗(yàn)。

從市場(chǎng)需求角度看，隨著消費(fèi)者對(duì)汽車智能化、網(wǎng)聯(lián)化需求的不斷增加，多模態(tài)識(shí)別功能已成為吸引消費(fèi)者的重要賣點(diǎn)。企業(yè)紛紛上車多模態(tài)識(shí)別功能，也是為了滿足市場(chǎng)需求，提升產(chǎn)品競(jìng)爭(zhēng)力。

商湯絕影方面表示，多模態(tài)能力是AI向AGI進(jìn)化的核心推動(dòng)力。其指出，大模型的發(fā)展從單一模態(tài)到多模態(tài)是不可阻擋的趨勢(shì)，AI想要提升全面理解世界和理解“人”的能力，向AGI演進(jìn)，從而真正在工作和生活中幫助人類，AI就必須能夠支持并實(shí)現(xiàn)多種模態(tài)的感知、理解和交互。

商湯絕影原生流式多模態(tài)大模型是基于商湯“日日新5o”打造，其能讓文字、語(yǔ)音、視頻等模態(tài)一同輸入，經(jīng)由模型統(tǒng)一處理后輸出相應(yīng)模態(tài)的信息。

該多模態(tài)大模型量產(chǎn)上車，也成為大模型加速深度融入智能汽車的一個(gè)例證。