6月27日，高通公司AI產(chǎn)品技術(shù)中國區(qū)負(fù)責(zé)人萬衛(wèi)星出席上海MWC世界移動通信大會期間舉辦的中國移動終端合作峰會，并發(fā)表主題演講“擁抱AI賦能終端創(chuàng)新的未來”，分享高通公司正在如何通過領(lǐng)先產(chǎn)品和解決方案賦能終端側(cè)生成式AI發(fā)展。
通過強大的NPU性能和高通AI引擎的異構(gòu)計算設(shè)計，高通公司在支持終端側(cè)生成式AI用例處理方面獨具優(yōu)勢，其最新的第三代驍龍8移動平臺和驍龍XElite計算平臺已經(jīng)賦能市場推出了多款出色的AI手機、AIPC產(chǎn)品，正在引領(lǐng)終端側(cè)生成式AI體驗的飛速發(fā)展。此外，高通公司還在通過靈活可擴展的軟件工具解決方案，賦能應(yīng)用開發(fā)者和大模型廠商面向廣泛的終端品類打造AI應(yīng)用和進(jìn)行模型優(yōu)化，推動生成式AI在終端側(cè)的規(guī)模化擴展。
以下為演講全文：
大家好，我是高通公司萬衛(wèi)星，很榮幸能夠代表高通公司參加中國移動終端合作峰會，今天我分享的主題是“擁抱AI賦能終端創(chuàng)新的未來”。同時，我也會與大家分享高通公司的AI產(chǎn)品和解決方案正在如何助力AI，尤其是生成式AI在終端側(cè)的規(guī)模化擴展。
我們認(rèn)為，終端側(cè)生成式AI的時代已經(jīng)到來。我們在智能手機領(lǐng)域的最新旗艦產(chǎn)品第三代驍龍8，以及我們面向PC市場推出的最新平臺驍龍XElite，已經(jīng)賦能了諸多的AI手機和AIPC，為消費者帶來了非常豐富的生成式AI體驗。
在今年2月份的MWC巴塞羅那期間，高通帶來了全球首個在Android手機上運行的大型多模態(tài)語言模型（LMM）技術(shù)展示。我們在搭載第三代驍龍8的參考設(shè)計上運行了基于圖像和文本輸入、超過70億參數(shù)的大語言和視覺助理大模型（LLaVa），能夠與AI助手生成關(guān)于圖像的多輪對話。具有語言理解和視覺理解能力的多模態(tài)大模型能夠賦能諸多用例，例如識別和討論復(fù)雜的視覺圖案、物體和場景。多模態(tài)模型的能力將極大的提高我們的產(chǎn)品優(yōu)勢，也將為現(xiàn)實生活中的一些應(yīng)用場景帶來非常大的幫助，例如視覺障礙人士或?qū)⒛軌蚶么祟愑美诔鞘兄羞M(jìn)行導(dǎo)航。
隨著生成式AI模型的發(fā)展，我們發(fā)現(xiàn)一些生成式AI模型的體量正在不斷縮小，而他們在特定垂直領(lǐng)域的能力卻正在變得越來越強。舉例來說，Llama3 80億參數(shù)版本在解決某些垂類應(yīng)用的能力上，已經(jīng)超過了去年發(fā)布的高達(dá)1750億參數(shù)的GPT-3.5 Turbo。
面向豐富的生成式AI和傳統(tǒng)AI用例，高通將AI能力貫穿到整個SoC的設(shè)計中，打造了具備異構(gòu)計算架構(gòu)的高通AI引擎，不僅集成通用的硬件加速單元CPU、GPU，同時也集成了面向高算力和低功耗工作負(fù)載需求的專用神經(jīng)網(wǎng)絡(luò)處理器NPU。對于一些需要始終在線的應(yīng)用，包括攝像頭、傳感器和語音喚醒等，高通AI引擎也有支持超低功耗的傳感器中樞。
高通公司在去年10月驍龍峰會上發(fā)布的第三代驍龍8，其所搭載的高算力低功耗的高通Hexagon NPU帶來了諸多提升，首先我們進(jìn)行了微架構(gòu)升級，以實現(xiàn)進(jìn)一步的性能提升；第二，為了實現(xiàn)更好的功耗控制，我們?yōu)镠exagon NPU配備了加速器專用電源；我們還集成了升級的微切片推理技術(shù)，這一技術(shù)在第二代驍龍8上率先推出，我們在第三代驍龍8上做了進(jìn)一步的升級，能夠在垂直深度上對算子做融合，更加充分地利用驍龍平臺的硬件算力。此外，我們還引入更大的帶寬進(jìn)入張量加速器，并實現(xiàn)了更高的主頻。總體來講，高通Hexagon NPU在設(shè)計上聚焦兩點：極致峰值性能、以及針對生成式AI進(jìn)行專門的軟硬件優(yōu)化。
接下來我想為大家介紹我們?nèi)绾纬浞掷酶咄ˋI引擎的異構(gòu)計算能力，實現(xiàn)虛擬化身AI助手這一用例。首先，高通AI引擎的傳感器中樞能夠運行ASR模塊，負(fù)責(zé)將用戶的語音信號轉(zhuǎn)化成文本信號。然后，大語言模型再基于ASR的文本輸入生成文本回復(fù)，這部分工作負(fù)載可以跑在具備高算力的NPU上。之后，大模型輸出的文本回復(fù)可以對接到跑在CPU上的TTS模塊，轉(zhuǎn)化成語音信號。同時為了讓虛擬化身實現(xiàn)實時交互，還需要同步在GPU上進(jìn)行圖形渲染等操作。這些復(fù)雜的工作負(fù)載充分釋放了異構(gòu)計算系統(tǒng)中各個處理器的能力，通過共同協(xié)作為消費者打造了出色的用戶體驗。
除了提供領(lǐng)先的AI硬件之外，高通還提供了跨操作系統(tǒng)、跨終端的靈活可擴展的高通AI軟件棧（Qualcomm AI Stack）。高通AI軟件棧目前支持所有主流的AI框架，同時提供對高通和第三方runtime的支持。此外，高通AI軟件棧也為合作伙伴和開發(fā)者提供了非常豐富的加速工具庫，其中包括編譯器、分析器、調(diào)試器等，讓他們能夠在驍龍平臺上更加高效和靈活地進(jìn)行模型開發(fā)、優(yōu)化和部署。
高通AI軟件棧支持我們幾乎所有產(chǎn)品線的豐富產(chǎn)品組合，這意味著在驍龍平臺上的模型優(yōu)化工作可以非常方便地擴展到其他類型的終端產(chǎn)品上。除了硬件軟件之外，高通也搭建了強大的AI生態(tài)系統(tǒng)，目前已經(jīng)支持廣泛的海內(nèi)外終端側(cè)生成式AI模型，其中包括圖像模型、語言模型、甚至多模態(tài)模型。
作為終端側(cè)AI的引領(lǐng)者，驍龍平臺已經(jīng)成為終端側(cè)AI的首選合作平臺。高通公司有著超過15年的AI研發(fā)投入，我們?yōu)樾袠I(yè)提供領(lǐng)先的軟硬件解決方案，包括前面介紹的全面靈活的軟件工具。憑借我們領(lǐng)先的解決方案，高通已經(jīng)跨不同產(chǎn)品線，賦能數(shù)十億臺終端設(shè)備。我們也將能力開放給生態(tài)合作伙伴，讓他們能夠在驍龍平臺上更加高效、便捷地打造AI應(yīng)用和進(jìn)行模型優(yōu)化。
第三代驍龍8已經(jīng)賦能了諸多的當(dāng)前旗艦智能手機和用例。目前眾多主流手機品牌的旗艦產(chǎn)品已經(jīng)為消費者打造了豐富的生成式AI用例，以賦能娛樂、創(chuàng)作和生產(chǎn)力等體驗，包括AI照片編輯、照片生成、以及實時翻譯轉(zhuǎn)譯、寫作助手等。同時，驍龍X系列PC平臺也已經(jīng)賦能了諸多的Windows 11 AI PC產(chǎn)品。就在今天，我們還正式宣布了中國移動終端公司、小米、當(dāng)紅齊天和高通四方攜手，打造了國內(nèi)首款基于Xiaomi 14 Pro、應(yīng)用于XR領(lǐng)域的5G Advanced（5G-A）高頻萬兆測試平臺，并率先將其應(yīng)用于當(dāng)紅齊天的多并發(fā)、大空間XR競技游戲業(yè)務(wù)。
最后，我想從SoC這個角度展望一下終端側(cè)生成式AI的未來演進(jìn)趨勢。2023年，終端側(cè)支持的生成式AI模型基本都是基于單一模態(tài)，比如文生文、文生圖或者圖生圖。今年大家可以看到，我們已經(jīng)支持多模態(tài)的生成式AI模型在終端側(cè)離線運行。未來，多模態(tài)模型會更多地和用戶的終端側(cè)個人信息相結(jié)合，為用戶提供更加情境化、實時化和個性化的服務(wù)。基于這些更加強大的多模態(tài)模型所演化出的具身智能，在未來也非常有可能完整的在終端側(cè)運行。