火星網(wǎng)校
用暫停token重新訓(xùn)練大模型，AI學(xué)會三思而后行
發(fā)布時間：2023-11-28 14:54:50 瀏覽量：110次
只需增加1024個參數(shù)
夢晨 發(fā)自 凹非寺
|
讓ChatGPT給出答案之前多想想步驟，就能提高準(zhǔn)確率。
那么能不能省去提示詞，直接把這種能力內(nèi)化在大模型里呢？
CMU與谷歌團(tuán)隊的新研究，在訓(xùn)練大模型時加入暫停token來實現(xiàn)這一點。
實驗中，8項評測成績提升，其中SQuAD的EM得分提高18%，CommonSenseQA提高8%，GSM8k中的推理任務(wù)也提高1%。
研究者Jack Hack表示，自己不久前就提出類似假設(shè)，很高興看到它被驗證。
英偉達(dá)工程師Aaron Erickson表示，是不是和人類說話時加入“嗯嗯啊啊”是一個道理？
預(yù)訓(xùn)練微調(diào)都加入暫停token
整個研究基于一個簡單的想法：
在輸入序列后面追加一系列（暫停token），從而延遲模型輸出下一個token。
這可以給模型額外的計算時間來處理更復(fù)雜的輸入。
作者不僅在下游任務(wù)微調(diào)時引入，還在預(yù)訓(xùn)練時就隨機在序列中插入，讓模型在兩階段都學(xué)習(xí)如何利用這種計算延遲。
預(yù)訓(xùn)練階段，在語料庫中隨機插入一定比例的暫停token到輸入序列，進(jìn)行標(biāo)準(zhǔn)的自回歸預(yù)訓(xùn)練。但計算損失時會跳過暫停token的預(yù)測。
下游任務(wù)微調(diào)時，輸入中也追加一定數(shù)量的暫停 token，然后對目標(biāo)序列進(jìn)行自回歸預(yù)測，同時微調(diào)模型參數(shù)。
推理階段也追加相同數(shù)量的暫停token，但忽略模型輸出直到最后一個暫停token，然后開始提取答案。
實驗使用了標(biāo)準(zhǔn)的Transformer純Decoder模型，分為130M參數(shù)和1B參數(shù)兩個版本。
其中暫停token只增加了1024個參數(shù)，也就是它本身的embedding大小。
在9個不同任務(wù)上的實驗表明，僅在微調(diào)階段引入暫停token的效果并不明顯，有些任務(wù)不會提升。
但如果在預(yù)訓(xùn)練和finetune階段都使用暫停token，大多數(shù)任務(wù)上都獲得顯著提升。
論文還探究了暫停token的數(shù)量、位置等關(guān)鍵超參數(shù)。發(fā)現(xiàn)對于不同的模型通常存在一個最優(yōu)的數(shù)量。
最后作者也提出，這項工作也有不少局限性。
- 由于暫停token增加了模型計算量，與其他方法對比是否公平還有待討論
- 新方法需要重新預(yù)訓(xùn)練，在實際應(yīng)用還有一定困難
- 對具體工作機制還缺乏深入理解
- 推理時如果暫停token數(shù)量為0，模型表現(xiàn)仍然不佳
搜索引擎You.com的CEO表示，接下來是不是應(yīng)該把所有提高人類認(rèn)知表現(xiàn)的技巧都對大模型試一試？
現(xiàn)在已經(jīng)有了“一步一步地想”和“深呼吸”。
也許下一個爆款論文就是教大模型帶著問題睡一覺或者更離譜的健康飲食、注意鍛煉。
論文地址：
https://arxiv.org/abs/2310.02226
參考鏈接：
[1]https://twitter.com/arankomatsuzaki/status/1709372124891070915
— 完 —
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現(xiàn)，快來嘗試一下吧！
-
2. 華為手機神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
8. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
9. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
最新文章
