最近AI領(lǐng)域備受矚目的新聞中，OpenAI和谷歌的新品發(fā)布會(huì)，無疑占據(jù)了最多的頭條。

我們團(tuán)隊(duì)當(dāng)然也不例外，不僅第一時(shí)間觀看了兩家公司的發(fā)布會(huì)，還親身上手體驗(yàn)了號(hào)稱“顛覆世界”“世界又科幻了”的GPT-4o。

一句話總結(jié)：OpenAI發(fā)布會(huì)，失望；谷歌發(fā)布會(huì)，無聊。

并不是我們要故作驚人之語。實(shí)際上，AI業(yè)內(nèi)專業(yè)人士普遍都有類似的看法。

一些國內(nèi)從事AI工程化項(xiàng)目的人表示，“不關(guān)心，因?yàn)橛钟貌坏?rdquo;。而AI科學(xué)家和專家也有不少人直言，“看著看著睡著了，谷歌幾乎所有的東西都是對標(biāo)和追趕，沒有太多的新鮮感”。

又又又一次在與OpenAI的較量中處于下風(fēng)，一個(gè)只有谷歌受傷的世界達(dá)成了。

盡管兩大AI巨頭的新技術(shù)方向，仍然值得關(guān)注，但可以明確的是，隨著大型AI模型的產(chǎn)業(yè)化進(jìn)程不斷深入，國內(nèi)外參與者也越來越冷靜，更加專注于自身的AI策略與節(jié)奏。

有人將這兩場發(fā)布會(huì)比作是一場斗地主游戲，OpenAI打出一對二，谷歌就跟四個(gè)王。那么，這一次較量的核心——多模態(tài)大模型，國內(nèi)AI行業(yè)是否要跟進(jìn)呢？如果要跟進(jìn)，又該提前考量到哪些問題呢？

每一次新產(chǎn)品問世，如果只跟著新聞“震驚”是很難進(jìn)步的。不妨和我們一起，認(rèn)真給GPT-4o算筆賬。

全能模型究竟“驚艷”在哪里？

谷歌反擊OpenAI的發(fā)布會(huì)，被稱為“腹瀉式更新”，一口氣推出了十來款新品及升級。之所以讓人看到睡著，是因?yàn)榇蠹乙呀?jīng)在前一天被GPT-4o“驚艷”過了。

而這次谷歌開發(fā)者大會(huì)上所演示的其他產(chǎn)品，OpenAI早都發(fā)布過。對標(biāo)GPT-4o的Gemini Astra，表現(xiàn)又略遜一籌，也難怪大家興趣缺缺。顯然，這是一次針對谷歌的精準(zhǔn)狙擊。此前，谷歌已經(jīng)對外放出了語音助手demo演示的預(yù)熱視頻，而GPT-4o最讓人驚艷的地方就是“天花板級別”的人機(jī)自然語音交互。

那么，OpenAI機(jī)關(guān)算盡、谷歌有備而來的多模態(tài)大模型，究竟有什么神奇之處？

GPT-4o中的“o”代表“omni”，意為“全能”，以此為版本號(hào)，凸顯了GPT-4o的多功能特性，可以從三個(gè)方面理解：

1.多模態(tài)。

GPT-4o接受文本、音頻和圖像的任意組合作為輸入，實(shí)時(shí)對音頻、視覺和文本進(jìn)行推理，生成相應(yīng)的輸出。相比ChatGPT的文生文、文生圖，Sora的文生視頻等，GPT-4o是一個(gè)原生多模態(tài)的融合體。這一點(diǎn)，谷歌的Gemini Astra也能實(shí)現(xiàn)，支持多模態(tài)的推理。在演示視頻中，谷歌的智能助手可以理解手機(jī)攝像頭拍攝的世界（視頻、圖像），并用文字詳細(xì)地講述出來。

當(dāng)然，多模態(tài)大模型并不是什么新鮮事物。不只這倆AI巨頭，國內(nèi)在多模態(tài)大模型領(lǐng)域也有一些研究和開發(fā)。此前就有浙大校友開源了多模態(tài)大模型LLaVA，對標(biāo)OpenAI的GPT-4V。既然多模態(tài)大模型并不稀奇，那GPT-4o憑啥“驚艷”？答案就在第二點(diǎn)。

2.低時(shí)延。

GPT-4o是一個(gè)端到端、全鏈路貫穿的多模態(tài)大模型。

此前，語音產(chǎn)品一般由三個(gè)獨(dú)立模型組成：SLM1將音頻轉(zhuǎn)錄為文本——LLM將文本輸出為文本——SLM2將生成文本轉(zhuǎn)換為音頻。每一步的網(wǎng)絡(luò)延遲疊加起來，結(jié)果就是AI推理速度跟不上人嘴巴說話的速度。大家可能都有過類似的經(jīng)歷，自己都說完了，AI大模型還沒識(shí)別完全，互動(dòng)總被打斷，有時(shí)還會(huì)丟失很多信息，連基本的文字都聽不清，更別說從笑聲、停頓、嘆氣等因素中分析出人的情緒了，人當(dāng)然也就沒有了說下去的興致。

而GPT-4o的端到端，就是省去了中間的處理步驟，由同一個(gè)神經(jīng)網(wǎng)絡(luò)來接受并處理來自不同模態(tài)（如文本、視覺和音頻）的輸入數(shù)據(jù)，并直接輸出結(jié)果。這樣就可以將語音交互的響應(yīng)時(shí)延，控制在232 毫秒以內(nèi)，體感上比人類回應(yīng)還要迅速。

OpenAI演示完GPT-4o，大家紛紛表示，科幻電影中《Her》跟機(jī)器談情說愛的未來就要實(shí)現(xiàn)了。不過，谷歌并不這樣想。

（截圖自奧特曼的社交媒體）

在晚一天的谷歌發(fā)布會(huì)上，谷歌Gemini 1.5 Flash的響應(yīng)其實(shí)也很快速，同樣能幾乎沒有延遲地跟人類流暢互動(dòng)，但還是比GPT-4o要長一些。不過谷歌聲稱，自己的兩段演示視頻均為“單次拍攝、實(shí)時(shí)錄制完成”。

我們猜測，這是在暗示OpenAI又在“貸款領(lǐng)先”了，GPT-4o實(shí)際可能無法很快真的落地，畢竟OpenAI搞誤導(dǎo)性營銷是有前科的，Sora就曾爆出，拿藝術(shù)家編輯過的視頻當(dāng)原視頻宣傳，演示效果并非完全由AI生成。

展示效果是真是假，有待時(shí)間驗(yàn)證，不過OpenAI和谷歌在端到端方面的工作，證明了人機(jī)語音交互的超低時(shí)延是可以實(shí)現(xiàn)的，達(dá)到媲美人類交流的水平。而這，就為語音交互的多場景應(yīng)用，打下了新的技術(shù)根基。

3.多場景。

大家應(yīng)該都還記得，ChatGPT問世時(shí)舉世震驚的效果。大語言模型的強(qiáng)大理解能力和泛化性，可以促成NLP在多種文本任務(wù)上帶來顛覆式的影響，而這類任務(wù)幾乎遍布在各行各業(yè)。

再看GPT-4o，多模態(tài)大模型在音視頻理解方面尤其出色，也是一個(gè)非常泛在的通用型技術(shù)。而毫不夸張地說，GPT-4o將語音交互體驗(yàn)做到了“天花板級別”，這幾乎可以給語音場景都帶來改變。

比如OpenAI所展示的輔導(dǎo)孩子數(shù)學(xué)題，可以替代家長輔導(dǎo)作業(yè)，讓家家都過上和諧的日子；《Her》電影中跟智能語音機(jī)器人談戀愛的場景，可以讓人人都擁有自己的網(wǎng)絡(luò)戀愛/在線情感撫慰師。延展開來，此前曾被嘲笑“人工智障”的手機(jī)語音助手，銀行、電信等行業(yè)的客服機(jī)器人，缺乏充足師資力量的偏遠(yuǎn)學(xué)校，游戲里跟玩家互動(dòng)的NPC紙片人，以及能識(shí)別用戶情緒的精準(zhǔn)營銷……

凡有人聲處，皆可詠AI，正隨著端到端多模態(tài)大模型的進(jìn)化與落地，讓更自然、更逼真、富有感情的人機(jī)交互成為可能。

從這個(gè)角度說，GPT-4o所代表的技術(shù)前瞻性，確實(shí)配得上“全能o”這個(gè)詞。既然如此，為什么說只有谷歌一家受傷了呢？