4月12日,蔚來自研的AI大模型NOMI GPT正式上線,將會在搭載Banyan·榕 蔚來智能系統的車型開啟推送。升級NOMI GPT功能后,除了有全新的交互界面之外,用戶可以體驗包括大模型百科、無限趣聊、魔法氛圍、趣玩表情、用車問答、AI場景生成在內的六大全新交互體驗。
全棧自研 打造NOMI GPT三大技術內核
GPT上車和傳統PC、手機移動端的GPT最大的區別是車載GPT存在著多模態數據的需求,這就要求NOMI GPT可以實現視覺(圖像)、聽覺(聲音)、觸覺(車身傳感器信息)等維度的感知能力,才能讓NOMI實現包括語音、視覺和文本等多種形式的交互能力。
要做到擬人化的人機交互,除了要會感知以外,還要能做到理解和表達,全棧自研能力給NOMI GPT賦予了多模態感知、認知中樞、情感引擎三大技術內核,從而在人機交互、情緒識別、實現了行業領先。
因此,除了感知能力之外,NOMI GPT也擁有極強的理解和表達能力。通過認知中樞,NOMI會根據你所說的內容,結合對話中的上下文語境、感知數據和車輛的狀態信息,智能地判斷該調用座艙的哪些功能、提供哪些信息。
擁有記憶能力的情感引擎可以讓NOMI準確識別出每一個上車的家庭成員,記住每一個人的喜好。NOMI未來可以更快的學習成長,通過實時反饋、事后反思、人為訓練等方式,不斷變得更加聰明,不斷掌握新技能和新知識。端側多模態感知內部測試中,預計今年內上車。
六大新功能 開啟車載智能AI新紀元
大模型百科支持包括社科人文、歷史文學、藝術自然、影視音樂等不同領域的各種知識問答,并由此衍生出,旅行攻略、信息檢索、內容創作等拓展性能力。
無限趣聊功能讓NOMI的共情與對話能力有了顯著提升。情感聊天、音樂影視、語言游戲等連續對話及多交互場景的,可以提供更懂你的專屬陪伴。升級NOMI GPT之后,可以嘗試下問問NOMI“我想升職加薪該怎么做”;“出個燈謎讓孩子猜一下”,你一定會有驚喜。
車機擬人化方面,蔚來可以說是擁有著先天優勢,中控臺的NOMI車機本身就具有擬人化顯示的功能,融入了AI智能之后,NOMI的趣玩表情功能可以根據語音指令解鎖出更多的表情,讓NOMI的擬人化更上一層樓。
氛圍魔法功能可以設置出符合用戶心情狀態或心理預期的氛圍效果,通過調用座艙內的氛圍燈,基于大模型強大的推理能力給用戶調取最契合的氛圍搭配,目前NOMI已經可以實現超過1677萬種的氛圍燈搭配方案。
用車問答功能相當于給NOMI內置了一個用車手冊,這一功能支持幾乎所有車輛信息、用車知識的查詢,比如“儀表盤上的綠色扇子是什么意思?”“兒童座椅怎么安裝?”這些語音指令都可以快速調取對應信息,便于用戶更深入的了解和使用車輛。
AI場景生可以記錄用戶用語義創建場景需求。并能夠根據對應的駕駛人、時間、環境激活這些定制化的場景。 比如說 “給我設置一個工作模式:工作日早上我上車就自動導航去公司,打開NIO Radio,下午如果我上車的時間在晚上7點之后,就開座椅按摩、氛圍燈要放松一點的、然后把自定義歌單打開,5分鐘以后再開回家的導航。”據悉這一功能后續將會跟隨Banyan 245 系統更新的NOMI應用同步上線。
官方表示此次亮相的NOMI GPT還只是蔚來AI大模型的初代版本,相信憑借著蔚來的研發能力,NOMI GPT未來肯定還會持續的進化,擁有更強的的理解和表達能力,在思維方式上也會越來越接近人腦,最終徹底重塑智能汽車和人之間的交互方式