激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

國內最大開源模型發(fā)布，無條件免費商用！參數650億，基于2.6萬億token訓練

發(fā)布時間：2023-11-06 11:16:41 瀏覽量：104次

來自深圳“騰訊系”公司

豐色 發(fā)自 凹非寺

|  

國內規(guī)模最大的開源大模型來了：

參數650億、基于2.6-3.2萬億token訓練。

排名僅次于“獵鷹”和“羊駝”，性能媲美GPT3.5，現在就能無條件免費商用。

國內最大開源模型發(fā)布，無條件免費商用！參數650億，基于2.6萬億token訓練

它就是來自深圳元象公司的XVERSE。

根據算力、資源限制和具體任務需求的不同，我們能對它進行任何自由修改或蒸餾。

除了規(guī)模大，它還具有16k上下文，支持40多種語言，并還有7B、13B兩個版本可選。

具體什么來頭？

國內規(guī)模最大的可商用大模型來了

研究表明，參數量越高，高質量訓練數據越多，大模型性能才能不斷提升。

而業(yè)界普遍共識是達到500到600億參數門檻，大模型才能“智能涌現” ，在多任務中展現強大性能。

但訓練此量級模型成本高昂，技術要求較高，目前主要為閉源付費提供。

在國外開源生態(tài)中，Llama2-70B和Falcon-180B等標桿模型為“有條件”開源，設置了月活躍用戶數或收入等商用上限，并因缺乏訓練數據在中文能力上有明顯短板。

在此，為推動國產大模型開源生態(tài)與產業(yè)應用發(fā)展，元象XVERSE公司宣布開源650億參數高性能通用大模型XVERSE-65B，無條件免費商用。13B模型則全面升級，提高“小”模型能力上限。

元象XVERSE創(chuàng)始人姚星表示：“面對研發(fā)時間緊、算力持續(xù)短缺等挑戰(zhàn)，團隊在三個月內研發(fā)出多款高性能7B、13B模型，并最早為社區(qū)獻上一個‘大有可為’的65B模型?！?/p>

XVERSE-65B底座模型在2.6萬億Tokens的高質量數據上從頭訓練，上下文窗口擴展至16K，支持中、英、俄、法等40多種語言。

顯著提升了三方面能力：

一、理解、生成、推理和記憶等基礎能力，到模型的多樣性、創(chuàng)造性和精度表現，從優(yōu)異到強大；

二、擴展了工具調用、代碼解釋、反思修正等能力，為構建智能體（AI Agent）奠定技術基礎，提高模型實用性；

三、顯著緩解7B、13B中常見且可能很嚴重的幻覺問題，減少大模型“胡說八道”，提高準確性和專業(yè)度。

元象大模型系列均為全自研，涵蓋多項關鍵技術與研發(fā)創(chuàng)新：

1、復雜分布式系統(tǒng)設計：

借鑒團隊研發(fā)騰訊圍棋AI“絕藝”、王者榮耀AI“絕悟”等大系統(tǒng)上的豐富經驗，自研高效算子、顯存優(yōu)化、并行調度策略、數據-計算-通信重疊、平臺與框架協(xié)同等關鍵技術，打造高效穩(wěn)定的訓練系統(tǒng)， 千卡集群峰值算力利用率達58.5%，位居業(yè)界前列。

2、全面提升性能：

65B訓練中采用 FlashAttention2加速計算， 3D并行基礎上采用虛擬流水線（virtual pipeline）技術，降低較長流水線產生過高氣泡率，提升計算推理效率；上下文窗口長度從8K逐步提升到16K，使其不僅能出色完成復雜任務，包括長文理解、長文生成和超長對話，還拓展了工具調用、代碼解釋及反思修正能力，能更好構建智能體（AI Agent）。

3、極致提升訓練穩(wěn)定性：

因計算量龐大，通信擁塞、芯片過熱或計算節(jié)點故障成為65B訓練常態(tài)，初期出現過一周最高八次故障的情況。

通過集群基礎設施運營、資源調度、訓練框架和調度平臺協(xié)同等持續(xù)優(yōu)化，元象打造出高穩(wěn)定、低中斷、強容錯的訓練系統(tǒng)，將每周有效訓練率提升至98.6%。

此外，在接近1.6萬億Tokens的模型訓練中期，損失函數產生了NaN值，可能導致訓練中斷。

通常情況下，業(yè)界一般會在分析后刪除與之相關的數據區(qū)間。

而團隊根據經驗判定這是模型自然演化，選擇不刪除數據，直接跳過相關參數更新，最終 NaN值 問題解決。

后期對參數值、激活值、梯度值等中間狀態(tài)的進一步分析表明，該問題可能與模型最后一層transformer block激活值的最大值變化有關，并會隨最大值的逐漸降低而自行解決。

國內最大開源模型發(fā)布，無條件免費商用！參數650億，基于2.6萬億token訓練

性能媲美GPT3.5

為確保業(yè)界能對元象大模型性能有全面、客觀、長期認知，研究人員參考了一系列權威學術測評，制定了涵蓋問答、理解、知識、推理、數學、代碼等六個維度的11項主流權威測評標準，將持續(xù)使用并迭代。

XVERSE-65B在國內尚無同量級模型可對比，在與國外標桿對比測評中，部分指標超越、綜合性能媲美GPT3.5；全面超越開源標桿Llama2-70B 和Falcon-180B；與GPT4仍有差距。

國內最大開源模型發(fā)布，無條件免費商用！參數650億，基于2.6萬億token訓練

全面升級的XVERSE-13B-2，比同尺寸模型增加大量高質量數據，訓練數據高達3.2萬億， 極大提升了“小”模型的能力上限。

它文理兼修，保持了文科優(yōu)勢，問答提升18%，理科長足進步， 代碼提升149%、數學提升198%，在測評中全面超越了Llama2、Baichuan2等國內外開源標桿。

國內最大開源模型發(fā)布，無條件免費商用！參數650億，基于2.6萬億token訓練

現在，元象大模型可在Github、Hugging Face、魔搭ModelScope等多平臺搜索“XVERSE”下載，簡單登記后即可無條件免費商用，能滿足中小企業(yè)、科研機構和個人開發(fā)者絕大部分的應用與迭代需求。

元象同時提供模型訓練、推理、部署、精調等全方位技術服務，賦能文娛、金融、醫(yī)療等各行各業(yè)，幫助在智能客服、創(chuàng)意寫作、精準推薦等多場景打造行業(yè)領先的用戶體驗。

2023年10月， 騰訊音樂率先宣布與元象大模型建立戰(zhàn)略合作 ，共同推出lyraXVERSE加速大模型、全面升級其音樂助手“AI小琴”，未來還將持續(xù)探索AI與3D前沿技術。

關于元象

元象XVERSE于2021年初在深圳成立，主營AI與3D技術。

累計融資金額超過2億美元，投資機構包括騰訊、高榕資本、五源資本、高瓴創(chuàng)投、紅杉中國、淡馬錫和CPE源峰等。

元象創(chuàng)始人姚星是前騰訊副總裁和騰訊AI Lab創(chuàng)始人、國家科技部新一代人工智能戰(zhàn)略咨詢委員會成員。

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學您好！

您已成功報名0元試學活動，老師會在第一時間與您取得聯系，請保持電話暢通！
確定