前瞻研究全球人工智能AI行業(yè)系列報告4：GPT-4發(fā)布 持續(xù)逼近通用人工智能AGI

 

　　近日openAI 采用閉源模式發(fā)布多模態(tài)大語言模型GPT-4 ，該模型采用和GPT-3.5/ChatGPT 相同的技術(shù)路線，但帶來了更好的創(chuàng)造性、協(xié)作性、推理能力、安全性等，同時訓練過程中采用定制超級計算機進行算力承載，并完善了大語言模型scaling law 基礎理論，實現(xiàn)訓練資源可控。我們判斷，GPT-4 良好的效果，有望推動全球AI 領域技術(shù)棧持續(xù)向LLM（大語言模型）模型收斂，并通過暴力美學+工程技巧的結(jié)合不斷加速AI 產(chǎn)業(yè)發(fā)展，帶來更多應用場景落地的同時，亦幫助人類不斷逼近通用人工智能AGI。我們持續(xù)看好openAI 及全球AI領域的產(chǎn)業(yè)投資機會，并建議持續(xù)聚焦芯片、算力設施、模型架構(gòu)&工程實踐、應用場景等核心環(huán)節(jié)。在美股市場，建議持續(xù)重點關(guān)注英偉達、臺積電、微軟、AMD、Arista、博通、Marvell、百度等。

 

       報告緣起：OpenAI 正式發(fā)布GPT-4。北京時間2023 年3 月14 日晚，OpenAI發(fā)布了正式版本的GPT-4，取代了此前ChatGPT 使用的GPT-3.5 版本，并開始為付費的Plus 用戶提供服務。OpenAI 在官網(wǎng)表示，GPT-4 雖然在大多數(shù)現(xiàn)實場景中的能力不如人類，但在一些專業(yè)問題和學術(shù)基準上表現(xiàn)已經(jīng)和人類持平。本篇報告將基于對GPT-4 底層技術(shù)邏輯、實現(xiàn)功能分析的基礎上，探討GPT-4對全球AI 產(chǎn)業(yè)帶來的可能技術(shù)路徑影響，以及產(chǎn)業(yè)層面的變化和機遇。

 

       GPT-4：完全閉源模式發(fā)布，耗時6 個月迭代調(diào)整完成的多模態(tài)大語言模型。本次OpenAI 推出GPT-4 的形式與以往模型的發(fā)布都有所不同，OpenAI 既沒有公開發(fā)布GPT-4 的相關(guān)論文，也沒有提供詳細的框架說明，僅僅提供了一份98 頁的技術(shù)文檔（主要描述模型能力以及相關(guān)評測的得分，幾乎沒有任何技術(shù)細節(jié)）。

 

      通過這一方式，OpenAI 阻斷了所有借鑒者參考的直接途徑（模型大小、數(shù)據(jù)集構(gòu)建、訓練方法等），將閉源的路線堅持到底，這也符合我們之前對行業(yè)未來發(fā)展的判斷：領先的頭部公司（OpenAI、Google）將堅持閉源路線，避免其他公司復現(xiàn)其模型；落后一到兩個身位的公司（Meta、Amazon、NVIDIA 等）可能會選擇開源路線，寄希望通過社區(qū)的力量加速迭代。根據(jù)OpenAI 發(fā)布的這份技術(shù)報告，GPT-4 的訓練以及迭代的耗時長達6 個月以上，是之前發(fā)布的ChatGPT 的兩倍以上，在技術(shù)路徑上沿用了自回歸的Transformer 模型加上人類反饋強化學習。模型能力方面最大的提升在于引入了多模態(tài)的處理能力，除了此前ChatGPT 就支持的文字外，GPT-4 還可以接受圖片輸入，不過暫時還沒有開放給用戶使用。此外，模型在面對復雜任務的可靠性與輸出的安全性上均有顯著的提升。

 

       模型訓練關(guān)鍵點：采用定制化超級計算機，完善了大語言模型scaling law 基礎理論。盡管OpenAI 沒有公布模型的及具體訓練細節(jié)，但從其在技術(shù)文檔中的表述出發(fā)，我們找到了兩點可能會影響整體產(chǎn)業(yè)的關(guān)鍵點：1）OpenAI 在去年開始就與微軟合作重新構(gòu)建一臺用于大語言模型訓練的超級計算機，而本次GPT-4 的訓練以及迭代環(huán)節(jié)應該是完全通過這臺計算機所完成的。根據(jù)Bloomberg 的相關(guān)報道，OpenAI 與微軟所搭建的這臺計算機總共耗資數(shù)億美元，使用了近萬張英偉達A100顯卡，這也與我們之前報告中對訓練大語言模型所需要的顯卡體量計算相一致。

 

      從OpenAI 在技術(shù)文檔中描述的結(jié)果看（訓練+迭代總共耗時6 個月），GPT-4 的訓練過程遠短于此前的預期（從之前的論文出發(fā)，如此體量的模型迭代部分的對齊就要耗費數(shù)月時間），這也表明了構(gòu)建專用超級計算機的必要性。我們認為，在未來數(shù)月時間我們將會看到更多AI 大廠效仿OpenAI 的做法，將定制化的超級計算機提上日程。2）Scaling Law 是OpenAI 團隊在2020 年發(fā)表的論文，主要對模型能力與模型大小、訓練時長間的關(guān)系做了推算，也成為了大語言模型研究的重要理論。而在本次OpenAI 的技術(shù)報告中，我們看到對scaling law 有了進一步的完善。OpenAI 表示在開發(fā)GPT-4 的過程中進一步完善了Scaling Law，對此前無法解釋的涌現(xiàn)能力（當模型體積大小突破到某一階段時會突然出現(xiàn)某種新能力）可以更好地預測。Scaling Law的完善意味著在模型訓練資源的投入將會更加可控，AI 廠商將不再需要為了涌現(xiàn)能力一味擴大參數(shù)，這將進一步降低AI 訓練階段的成本。

 

       應用場景：多模態(tài)能力加速多領域創(chuàng)新。GPT-4 相較于ChatGPT 最直觀的改變在于加入了支持圖片輸入的多模態(tài)的能力。盡管OpenAI 表示目前多模態(tài)能力的重點還在于圖片轉(zhuǎn)文字，對于音頻、視頻、圖片編輯等還不支持，但這也給了市場足夠的想象空間。1) 搜索領域：結(jié)合圖片輸入的多模態(tài)將更好地為目前傳統(tǒng)搜索引擎+大語言模型輔助的模式進行服務。2）智能客服：圖片與文字結(jié)合輸入的模式更加貼合目前ToC 智能客服所遇到的一些痛點。3）中小模型公司微調(diào)模型應用到具體細分領域：GPT-4 被描述為一個通用的大語言模型，從OpenAI 的文檔看他們未曾計劃對具體細分領域進行微調(diào)以求更好效果，預計這個在未來會交到中小人工智能廠商手中：在GPT-4 的基礎上針對細分行業(yè)進行微調(diào)來獲得更好效果。

 

       風險因素：AI 核心技術(shù)發(fā)展不及預期風險；科技領域政策監(jiān)管持續(xù)收緊風險；全球宏觀經(jīng)濟復蘇不及預期風險；宏觀經(jīng)濟波動導致歐美企業(yè)IT 支出不及預期風險；全球云計算市場發(fā)展不及預期風險；企業(yè)數(shù)據(jù)泄露、信息安全風險；行業(yè)競爭持續(xù)加劇風險等。

 

       投資策略：GPT-4 采用與 GPT-3.5/ChatGPT 相同的技術(shù)路線，但帶來了更好的創(chuàng)造性、協(xié)作性、推理能力，以及多模態(tài)能力等。GPT-4 良好的效果，有望推動AI 領域技術(shù)棧持續(xù)向LLM 模型收斂，并通過暴力美學+工程技巧的結(jié)合不斷加速AI 產(chǎn)業(yè)發(fā)展，幫助人類不斷逼近通用人工智能AGI。我們持續(xù)看好openAI 及AI領域的產(chǎn)業(yè)投資機會，并建議持續(xù)聚焦芯片、算力設施、模型架構(gòu)&工程實踐、應用場景等核心環(huán)節(jié)。在美股市場，我們建議持續(xù)重點關(guān)注英偉達、臺積電、微軟、AMD、Arista、博通、Marvell、百度等。