本文來(lái)自微信公眾號(hào)：APPSO （ID：appsolution），作者：黃智健，原文標(biāo)題：《Google 下一款 ChatGPT 競(jìng)品曝光：投入或超GPT-4，AlphaGo 成秘密武器》，題圖來(lái)自：《變形金剛2》

(資料圖)

ChatGPT 的大火，可把 Google 急壞了。

要知道 ChatGPT 中的“T”表示的是 Transformer 模型，出自于 Google 研究團(tuán)隊(duì)，而現(xiàn)在這一技術(shù)在競(jìng)爭(zhēng)對(duì)手 OpenAI 的手上發(fā)光發(fā)熱，這令 Google 頗感尷尬。

為應(yīng)對(duì)這一挑戰(zhàn)，Google 迅速推出了自己的聊天機(jī)器人Bard，并且開(kāi)始整合 AI 資源，合并了兩大研究團(tuán)隊(duì) Google Brain 和 DeepMind，創(chuàng)建了 Google DeepMind，由 DeepMind 原 CEO Demis Hassabis 領(lǐng)導(dǎo)。

Hassabis 表示 Google 有 80% 或 90% 的 AI 創(chuàng)新都出自于這兩個(gè)團(tuán)隊(duì)。

在 上個(gè)月的 Google I/O 大會(huì)上，Google CEO Sundar Pichai 官宣了一個(gè)重磅消息：Google DeepMind 正在研究一個(gè)全新的大語(yǔ)言模型，代號(hào)為 Gemini（雙子座），這也是這兩只團(tuán)隊(duì)合并后首次合作的項(xiàng)目。

近日，Demis Hassabis 在接受 Wired 的采訪了透露了更多與 Gemini 有關(guān)的消息，這可能是 Google 向 OpenAI 反擊的關(guān)鍵戰(zhàn)役。

正在追趕的 Google

此前大家猜測(cè)，Gemini 和 GPT 模型類(lèi)似，都是有著出色文本處理能力的大語(yǔ)言模型，兩者的差異可能會(huì)體現(xiàn)在訓(xùn)練參數(shù)的規(guī)模上，模型規(guī)模越大，處理能力可能就會(huì)越強(qiáng)。

然而 Hassabis 表示，Gemini 有很多不太一樣的地方，例如 Google DeepMind 團(tuán)隊(duì)正在將 AlphaGo 中使用的技術(shù)結(jié)合語(yǔ)言模型，以賦予更強(qiáng)的規(guī)劃或解決問(wèn)題能力等等。這可能會(huì)成為 Gemini 的“殺手锏”技能。

抽象點(diǎn)說(shuō)，你可以將 Gemini 看作是將 AlphaGo 型系統(tǒng)的一些優(yōu)點(diǎn)與大模型的語(yǔ)言能力相結(jié)合。我們還有一些新的創(chuàng)新，這將非常有趣。

2016 年，橫空出世的 AlphaGo 擊敗了圍棋冠軍李世石，讓全世界第一次真切地感受到 AI 技術(shù)的震撼。

AlphaGo 的技術(shù)基于一種名為“強(qiáng)化學(xué)習(xí)”的訓(xùn)練方法，通過(guò)反復(fù)試驗(yàn)和反饋來(lái)學(xué)習(xí)如何解決問(wèn)題，它還使用了一種稱(chēng)為樹(shù)搜索的方法，探索并記住可能的走法。

Google DeepMind 團(tuán)隊(duì)希望將這些技術(shù)應(yīng)用到語(yǔ)言模型中，使它們能夠在互聯(lián)網(wǎng)和計(jì)算機(jī)上執(zhí)行更多任務(wù)。

DeepMind 在機(jī)器學(xué)習(xí)和強(qiáng)化學(xué)習(xí)有著豐富的經(jīng)驗(yàn)，開(kāi)展過(guò)多項(xiàng)重要的研究，包括：

AlphaGo：第一個(gè)擊敗人類(lèi)世界冠軍的圍棋程序。AlphaGo的成功標(biāo)志著AI在處理復(fù)雜策略游戲方面的重大突破。

AlphaZero：AlphaZero 是一個(gè)通用的強(qiáng)化學(xué)習(xí)算法，可以在沒(méi)有任何先驗(yàn)知識(shí)的情況下，僅通過(guò)自我對(duì)弈學(xué)習(xí)如何玩棋類(lèi)游戲。AlphaZero已經(jīng)證明了其在國(guó)際象棋、將棋和圍棋等游戲中的超強(qiáng)實(shí)力。

AlphaFold：AlphaFold 是一個(gè)可以預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的深度學(xué)習(xí)系統(tǒng)。這個(gè)系統(tǒng)的準(zhǔn)確性在生物學(xué)領(lǐng)域引起了廣泛關(guān)注，因?yàn)樗梢詭椭茖W(xué)家更好地理解疾病，并加速藥物的發(fā)現(xiàn)和開(kāi)發(fā)。

WaveNet：WaveNet 是一個(gè)深度生成模型，用于生成自然 sounding 的語(yǔ)音。它已經(jīng)被廣泛應(yīng)用于語(yǔ)音合成和音樂(lè)生成等領(lǐng)域。

MuZero：MuZero 是一個(gè)無(wú)模型強(qiáng)化學(xué)習(xí)算法，它可以在沒(méi)有環(huán)境模型的情況下，通過(guò)預(yù)測(cè)其動(dòng)作的結(jié)果來(lái)學(xué)習(xí)策略和價(jià)值函數(shù)。MuZero 已經(jīng)在多個(gè)任務(wù)和游戲中表現(xiàn)出了超強(qiáng)的性能。

DeepMind 在強(qiáng)化學(xué)習(xí)方面的深厚經(jīng)驗(yàn)，可能會(huì)為 Gemini 帶來(lái)超越 ChatGPT 的新能力。

Hassabis 表示，Gemini 模型仍在開(kāi)發(fā)中，這個(gè)過(guò)程將需要幾個(gè)月的時(shí)間，可能花費(fèi)數(shù)千萬(wàn)或者上億美元。作為對(duì)比 OpenAI CEO Sam Altman 在四月份表示，創(chuàng)建 GPT-4 的成本超過(guò)了 1 億美元。

Gemini 不僅僅是對(duì) ChatGPT 做出的防御之舉，還將是 Google 未來(lái)部署搜索等產(chǎn)品的技術(shù)基礎(chǔ)。

Hassabis 表示，AI 的非凡潛在益處，例如健康或氣候等領(lǐng)域的科學(xué)發(fā)展，人類(lèi)必須不停地發(fā)展這項(xiàng)技術(shù)。如果運(yùn)用恰當(dāng)?shù)脑挘珹I 將是對(duì)人類(lèi)最有益的技術(shù)。

“我們必須大膽且勇敢地去追求那些東西。”他說(shuō)。

Google 不為人知的“護(hù)城河”

在 AI 研究方面，Google 還有一張蓋住的王牌——全球最大的視頻網(wǎng)站 YouTube。

視頻是個(gè)非常多元的內(nèi)容載體，我們可以把它分解成圖像、音頻和文字記錄。Google 擁有 YouTube，也就意味著擁有最豐富的圖像、音頻訓(xùn)練內(nèi)容。

根據(jù) The information 報(bào)道，有內(nèi)部人士透露 OpenAI 早已經(jīng)悄悄地使用 YouTube 上的內(nèi)容來(lái)訓(xùn)練其人工智能模型。

Google 自然不會(huì)忽視這座“金山”，The Information 繼續(xù)爆料稱(chēng) Google 的研究團(tuán)隊(duì)也在利用 YouTube 訓(xùn)練 Gemini 模型，并且 Google 能夠比競(jìng)爭(zhēng)對(duì)手們獲得更完整的內(nèi)容數(shù)據(jù)。

對(duì)于大語(yǔ)言模型來(lái)說(shuō)，高質(zhì)量的訓(xùn)練數(shù)據(jù)比黃金還要寶貴。

由于 YouTube 很多都是真實(shí)的對(duì)話，Google 可以利用 YouTube 視頻的音頻文本或描述作為訓(xùn)練 Gemini 的另一個(gè)文本來(lái)源，從而提高它的語(yǔ)言理解能力，并產(chǎn)生更加真實(shí)的對(duì)話反饋。

利用 YouTube 的視頻內(nèi)容，Google 還可以開(kāi)發(fā)出類(lèi)似于 Runway 用文本生成視頻的多模態(tài)功能，用戶(hù)只需要輸入他們的描述就能生成出一條精美的視頻。

除了制作視頻，多模態(tài)模型還可以有更多的可能性，例如可以根據(jù) YouTube 視頻直接總結(jié)出球賽的亮點(diǎn)，或者根據(jù)視頻幫助機(jī)械師診斷汽車(chē)修理問(wèn)題。

OpenAI 在發(fā)布 GPT-4 模型時(shí)，曾展示過(guò)從草圖生成網(wǎng)站代碼的功能，這也是多模態(tài)模型的一個(gè)重要應(yīng)用領(lǐng)域。

前 YouTube 高管 Shishir Mehrotra 表示，對(duì) Google 來(lái)說(shuō)，YouTube 視頻簡(jiǎn)直就是一座數(shù)據(jù)金礦。

這不僅僅是因?yàn)橐曨l的存在，而是因?yàn)橐曨l存在于一個(gè)生態(tài)系統(tǒng)中。

YouTube 上的視頻向 AI 展現(xiàn)了人類(lèi)是如何進(jìn)行對(duì)話，這和書(shū)面化的文本有很大的不同，可以幫助模型更好的理解人類(lèi)對(duì)話的邏輯，并生成更恰當(dāng)?shù)姆答仭?/p>

不僅如此，Google 還收集大量的用戶(hù)互動(dòng)數(shù)據(jù)，清楚用戶(hù)對(duì)視頻的哪些部分最感興趣、哪些部分容易跳出、哪些內(nèi)容會(huì)吸引用戶(hù)評(píng)論等等。

據(jù)統(tǒng)計(jì)，YouTube 每分鐘就有 500 小時(shí)的視頻上傳到網(wǎng)站上，Google 可以說(shuō)是坐在了一座會(huì)源源不斷生產(chǎn)金子的金山上，這或許會(huì)成為 Google 真正的護(hù)城河。

多模態(tài)才是未來(lái)

隨著多模態(tài)模型越來(lái)越受到重視，未來(lái)會(huì)有更多的開(kāi)發(fā)人員選擇用視頻訓(xùn)練語(yǔ)言模型。AI 教父、Meta AI 首席研究員 Yann LeCun 在近日一條推文中稱(chēng)：“通過(guò)視覺(jué)學(xué)習(xí)世界如何運(yùn)轉(zhuǎn)的系統(tǒng)，將對(duì)現(xiàn)實(shí)有更深刻的理解”，并稱(chēng)贊了 Meta 在這一領(lǐng)域的研究成果。

著名風(fēng)投機(jī)構(gòu) A16Z 在最近采訪了四家明星 AI 公司 AnthropicAI、Cohere、Character AI、AI21Labs 的 CEO 和創(chuàng)始人，探討出生成式 AI 當(dāng)前最需要突破的四個(gè)方向，分別是操控、記憶、四肢（訪問(wèn)瀏覽器等）和多模態(tài)。

這四項(xiàng)關(guān)鍵創(chuàng)新將主導(dǎo) AI 在未來(lái) 6-12 個(gè)月的發(fā)展，這也會(huì)影響公司和開(kāi)發(fā)者改變構(gòu)建產(chǎn)品的方式。

Cohere 的 CEO Aidan Gomez（著名論文《Attention is all you need》的主要作者之一）表示，AI 系統(tǒng)的能力終究是有限的，因?yàn)椴⒎撬械膬?nèi)容都是文本形式，因此多模態(tài)能力對(duì)于大語(yǔ)言模型來(lái)說(shuō)是個(gè)重要的發(fā)展方向，像 GPT-4、 Character.AI 和 Meta 的 ImageBind 等模型已經(jīng)在處理和生成圖像、音頻等內(nèi)容。

“我們現(xiàn)在的模型確實(shí)是字面意義上的‘盲人’，這需要改變。”Aidan Gomez 在采訪中總結(jié)道。

多模態(tài)模型能夠極大地拓寬 AI 的應(yīng)用場(chǎng)景，例如可以用在自動(dòng)駕駛汽車(chē)或其他需要與物理世界實(shí)時(shí)交互的場(chǎng)景上。此前，Google 在 I/O 大會(huì)發(fā)布的 Med-PalM-2 模型便展示過(guò)可以分析 X 光照片的能力。

這也讓人更加期待，更強(qiáng)大的 Gemini 能在多模態(tài)領(lǐng)域給我們帶來(lái)多大的驚喜。現(xiàn)在看來(lái)，暫時(shí)取得領(lǐng)先的 OpenAI，遠(yuǎn)沒(méi)有到停下來(lái)休息的時(shí)刻。

本文來(lái)自微信公眾號(hào)：APPSO （ID：appsolution），作者：黃智健

關(guān)鍵詞：