衡宇 發(fā)自 凹非寺

|  

千億參數(shù)大模型，支持輸入的長文本首次達(dá)20萬x字！

在任何規(guī)模的大模型產(chǎn)品化隊(duì)伍中，這個長度堪稱目前的全球最長。

用數(shù)據(jù)說話：目前Claude支持最大長文本為100k（約8萬字），而GPT-4則是32k（約2.5萬字）。20萬字，分別是它們的2.5倍和8倍。

這便是清華叉院助理教授楊植麟，創(chuàng)業(yè)大模型后拿出的第一份成績單。

就在10月9日下午，楊植麟創(chuàng)業(yè)AI公司月之暗面（Moonshot AI）推出了首款大模型產(chǎn)品智能助手Kimi Chat。

核心被強(qiáng)調(diào)的亮點(diǎn)是：其背后雖是體量為千億參數(shù)的“龐然大物”，但卻可以hold住輸入20萬漢字，不管是《三體》還是《馬斯克傳》都能隨便讀。

據(jù)介紹，拓展上下文窗口長度，只是月之暗面“登月計(jì)劃”的第一步；這一步的落實(shí)，實(shí)則是為下一步落子多模態(tài)提供基礎(chǔ)——該公司預(yù)計(jì)在明年對外開放多模態(tài)版本產(chǎn)品。

而公司的最終目標(biāo)，是在大模型領(lǐng)域做To C超級應(yīng)用。

楊植麟身上的光環(huán)很多。

除了是清華叉院助理教授外，還有FAIR、Google Brain的工作履歷，是Transformer-XL和XLNet工作一作，發(fā)明的算法曾在30多項(xiàng)AI標(biāo)準(zhǔn)任務(wù)取得SOTA，師從蘋果公司AI負(fù)責(zé)人Ruslan Salakhutdinov、清華唐杰……

種種光環(huán)加持下，3月被曝創(chuàng)業(yè)后，月之暗面就自帶一層神秘面紗。而后，紅杉孵化式支持，循序完成兩輪共計(jì)近20億元融資，更是讓公司獲得了格外多的注目。

如今，這家公司首次公開亮相，回應(yīng)了更多外界的議論。

“參數(shù)和上下文窗口長度共同決定模型效果”

現(xiàn)場演示時，關(guān)注到，由于支持20萬字長文本，月之暗面智能助手Kimi Chat有幾點(diǎn)新花樣。

一個是提供角色簡介鏈接，Kimi就能根據(jù)鏈接內(nèi)的基本信息，扮演角色進(jìn)行對話：

一個是能同時支持多個（現(xiàn)場演示時為50個）文件的上傳和閱讀分析：

還有一個是能根據(jù)提供的文本內(nèi)容，畫思維導(dǎo)圖……

這樣一個智能助手產(chǎn)品，月之暗面對其應(yīng)用場景定位比較廣泛，“包括生產(chǎn)力、娛樂層面的一些場景都可以”。

為什么選擇以“長文本輸入”為核心，來構(gòu)建自家底座大模型的差異化競爭力？

月之暗面的官方回答是，這是行業(yè)現(xiàn)在迫切需要解決的問題，也是通往下一步，即產(chǎn)品化的最大卡點(diǎn)。

一切基于整個團(tuán)隊(duì)的“樸素判斷”，參數(shù)量決定了大模型支持多復(fù)雜的“計(jì)算”，而能夠接收多少文本輸入（即長文本技術(shù)）則決定了大模型有多大的“內(nèi)存”，兩者共同決定模型的應(yīng)用效果。

上下文對應(yīng)的其實(shí)是計(jì)算機(jī)的內(nèi)存。

近幾十年，計(jì)算機(jī)系統(tǒng)的內(nèi)存發(fā)生了翻天覆地的變化?！冻壃旣悺烦醮姹臼褂玫膬?nèi)存非常非常低，但現(xiàn)在的應(yīng)用內(nèi)存至少都是幾個GB。

參數(shù)量決定了模型能支持多復(fù)雜的計(jì)算，但不光是要有足夠多的參數(shù)量，同時要有很強(qiáng)的上下文。上下文是新一代大模型的標(biāo)準(zhǔn)配置。

天下大模型苦長文本久矣。

就連目前最頂尖的模型，在上下文窗口方面還有非常大的探索空間，如Claude 2最長上下文窗口100k，GPT-4最長為32k，Llama2最長支持4k。

支持這樣的長度對實(shí)際應(yīng)用來說，遠(yuǎn)遠(yuǎn)不夠。

此處拿大模型應(yīng)用的熱門方向Agent舉例。Agent運(yùn)行需要自動進(jìn)行多輪規(guī)劃和決策，且每次行動都需要參考?xì)v史記憶信息才能完成，這會帶來模型輸入的快速增加，同時也意味著，不能處理更長上下文的模型，將因無法全面準(zhǔn)確地基于歷史信息進(jìn)行新規(guī)劃和決策，從而降低成功運(yùn)行概率。

該怎么彌補(bǔ)和提升呢？

在這一點(diǎn)上，楊植麟把市面上現(xiàn)有的解決方案劃分為三種類型。

• 金魚模型。采用滑動窗口方式，實(shí)際上拋棄了很多上文，難以解決任務(wù)（包括近期MIT的工作，號稱可處理無限長度文本的StreamingLLM）；
• 蜜蜂模型。關(guān)注局部而忽略全局，只采樣上下文中的一部分，如基于檢索增強(qiáng)的RAG（retrieval augmented generation）方法，無法完成許多任務(wù)；
• 蝌蚪模型。長下文長度雖長，但模型參數(shù)太?。ㄈ?0億），涌現(xiàn)能力不夠。

楊植麟將以上三種辦法統(tǒng)稱為解決大模型上下文窗口長度的捷徑，并稱，不會依賴這些滑動窗口、降采樣、小模型等對性能損害較大的捷徑方案。

具體到月之暗面自己的解決辦法上，月之暗面主要在兩點(diǎn)上發(fā)力，一是創(chuàng)新網(wǎng)絡(luò)結(jié)構(gòu)，二是進(jìn)行工程優(yōu)化。

接下來的目標(biāo)，是按照產(chǎn)品驅(qū)動去迭代升級，把技術(shù)和產(chǎn)品結(jié)合到一起，最終目標(biāo)是打造C端的Super App。

并且預(yù)計(jì)明年發(fā)布多模態(tài)產(chǎn)品，因?yàn)樵跅钪谗肟磥?，無論何種模態(tài)的數(shù)據(jù)，對其進(jìn)行無損壓縮是可以實(shí)現(xiàn)高程度智能的。

無損壓縮等同于對數(shù)據(jù)聯(lián)合概率分布的預(yù)測，而多模態(tài)數(shù)據(jù)的生成，本質(zhì)上也是在做數(shù)據(jù)的聯(lián)合概率分布預(yù)測。

月之暗面創(chuàng)始團(tuán)隊(duì)

目前，剛創(chuàng)業(yè)起步的月之暗面已經(jīng)獲得了近20億元融資，投資方包括紅杉、今日資本、礪思資本等。

除了大模型火熱之外，這樣進(jìn)展迅速的高估值、高融資和創(chuàng)始團(tuán)隊(duì)不無關(guān)系。

目前公開的資料來看，月之暗面聯(lián)合創(chuàng)始核心團(tuán)隊(duì)共3人。

創(chuàng)始人兼CEO楊植麟，本科就讀于清華大學(xué)計(jì)算機(jī)系。

高中時期，沒有任何編程基礎(chǔ)的楊植麟被選拔進(jìn)信息學(xué)奧林匹克競賽培訓(xùn)班，最終通過競賽保送清華大學(xué)（非計(jì)算機(jī)系）。

直到大二時，他驚覺自己還是對計(jì)算機(jī)的興趣更濃，于是果斷轉(zhuǎn)入計(jì)算機(jī)系，師從清華教授、IEEE Fellow唐杰。

計(jì)算機(jī)系就讀期間，楊植麟以滿分成績通過所有程序設(shè)計(jì)課程。

2015年，他以年級第一的成績畢業(yè)，隨后遠(yuǎn)赴CMU（卡內(nèi)基梅隆大學(xué)）語言技術(shù)研究所，跟隨蘋果公司AI負(fù)責(zé)人Ruslan Salakhutdinov和Google AI智能首席科學(xué)家William W. Cohen攻讀博士學(xué)位。

△楊植麟與Ruslan Salakhutdinov（右一）、William Cohen（左一）合影

CUM就讀期間，楊植麟不僅和圖靈獎得主、深度學(xué)習(xí)三巨頭之一Yoshua Bengio合作發(fā)布“火鍋問答”數(shù)據(jù)集HotpotQA；還以一作身份，發(fā)表XLNet和Transformer-XL工作。

前者成為NeurIPS 2019與ACL 2019的最高引論文之一，Google Scholar引用次數(shù)破8000，后者引用次數(shù)也超3000。

楊植麟曾和Yoshua Bengio（圖靈獎得主，深度學(xué)習(xí)三巨頭之一）、Yann LeCun（圖靈獎得主，又一個深度學(xué)習(xí)三巨頭之一）、Quoc V. Le（Google Brain創(chuàng)始人之一）、何愷明（Kaiming He）等合寫過論文。

據(jù)不完全統(tǒng)計(jì)，他曾在ICLR、NeurIPS、ICML、ACL、EMNLP等計(jì)算機(jī)頂會發(fā)表論文20余篇，研究成果累計(jì)Google Shcolar引用超過19000。

一般情況下，CMU的博士學(xué)位之旅6年起步，但僅僅花費(fèi)4年時間，2019年，楊植麟就順利拿下博士學(xué)位。

第二名聯(lián)合創(chuàng)始人，目前是月之暗面的算法團(tuán)隊(duì)負(fù)責(zé)人，周昕宇。

他是清華大學(xué)2011級本科生，和楊植麟同為計(jì)算機(jī)系的學(xué)生。

周昕宇在畢業(yè)后選擇加入曠視，工作內(nèi)容是算法量產(chǎn)。

就職期間，他和曠視研究院基礎(chǔ)科研負(fù)責(zé)人、ResNet作者之一張祥雨一道，研究移動端模型，以共同一作的身份撰寫ShuffleNet論文，被CVPR接受。

這項(xiàng)工作后來影響了包括蘋果3D人臉解鎖在內(nèi)的各種手機(jī)毫秒級人臉解鎖技術(shù)。

另一名聯(lián)合創(chuàng)始人是吳育昕，目前持有公司5.96%的股份。

吳育昕和楊植麟一樣，先后畢業(yè)于清華和CMU，研究方向?yàn)橛?jì)算機(jī)視覺中的檢測和識別問題。

畢業(yè)后他先是在Meta的FAIR工作，曾和AI大神何愷明共同提出組歸一化（GN）的方法。期間，他還創(chuàng)建了detectron2，這是Meta最受歡迎的AI項(xiàng)目之一。

在Google Scholarship上，吳育昕的被引次數(shù)超過了19000次。

這三人聯(lián)手創(chuàng)業(yè)，目前公司規(guī)模拓展到50-60人上下。

有趣的是，月之暗面三位聯(lián)創(chuàng)都出身清華。這不由得讓人想到在今年以來的大模型熱潮中，清華系占據(jù)創(chuàng)業(yè)團(tuán)隊(duì)半壁江山的現(xiàn)狀。

包括楊植麟師從的清華教授唐杰，就與另一名大模型創(chuàng)業(yè)明星智譜AI，有著千絲萬縷的密切聯(lián)系。

楊植麟倒是直言了對這種競爭格局的看法：“大模型空間非常大，很難有任何一家公司可以把所有的事情都做了。有ToB也有ToC，技術(shù)路線也不一樣，我覺得這是一個巨大的空白空間?！?/p>

他認(rèn)為，除了OpenAI，中國的幾個公司都有機(jī)會產(chǎn)生自己獨(dú)一無二的價值。

One More Thing

月之暗面這個公司名，來源于楊植麟最喜歡的專輯《The Dark Side of The Moon》。

在清華時，聯(lián)創(chuàng)之一的周昕宇就和楊植麟共同創(chuàng)建了樂隊(duì)，并創(chuàng)作了一首歌，有關(guān)“做了一個創(chuàng)業(yè)成功一夜暴富的白日夢”。

于是，媒體溝通會現(xiàn)場，當(dāng)被問到“現(xiàn)在還搖滾嗎”這個問題時，得到的答案是：

現(xiàn)在公司放著兩把電吉他，還有一架鋼琴（doge）。