激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

發(fā)布時間：2023-11-28 14:54:13 瀏覽量：93次

“DINOv2最好用”

蕭簫 發(fā)自 凹非寺
|  

現(xiàn)在，AI已經(jīng)能實時解讀大腦信號了！

這不是聳人聽聞，而是Meta的一項新研究，能夠憑腦信號猜出你在0.5秒內(nèi)看的圖，并用AI實時還原出來。

在此之前，AI雖然已經(jīng)能從大腦信號中比較準確地還原圖像，但還有個bug——不夠快。

為此，Meta研發(fā)了一個新解碼模型，讓AI光是圖像檢索的速度就提升了7倍，幾乎“瞬間”能讀出人在看什么，并猜出個大概。

像是一個站立的男人，AI數(shù)次還原后，竟然真的解讀出了一個“站立的人”出來：

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

LeCun轉(zhuǎn)發(fā)表示，從MEG腦信號中重建視覺等輸入的研究，確實很棒。

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

那么，Meta究竟是怎么讓AI“快速讀腦”的？

大腦活動解碼如何解讀？

目前，AI讀取大腦信號并還原圖像的方法，主要有兩種。

其中一種是fMRI（功能性磁共振成像），可以生成流向大腦特定部位的血流圖像；另一種是MEG（腦磁圖），可以測量腦內(nèi)神經(jīng)電流發(fā)出的極其微弱的生物磁場信號。

然而，fMRI神經(jīng)成像的速度往往非常慢，平均2秒才出一張圖（≈0.5 Hz），相比之下MEG甚至能在每秒內(nèi)記錄上千次大腦活動圖像（≈5000 Hz）。

所以相比fMRI，為什么不用MEG數(shù)據(jù)來試試還原出“人類看到的圖像”呢？

基于這一思路，作者們設(shè)計了一個MEG解碼模型，由三個部分組成。

第一部分預(yù)訓(xùn)練模型，負責(zé)從圖像中獲得embeddings；

第二部分是一個端到端訓(xùn)練模型，負責(zé)將MEG數(shù)據(jù)與圖像embeddings對齊；

第三部分是一個預(yù)訓(xùn)練圖像生成器，負責(zé)還原出最終的圖像。

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

訓(xùn)練上，研究人員用了一個名叫THINGS-MEG的數(shù)據(jù)集，包含了4個年輕人（2男2女，平均23.25歲）觀看圖像時記錄的MEG數(shù)據(jù)。

這些年輕人一共觀看了22448張圖像（1854種類型），每張圖像顯示時間為0.5秒，間隔時間為0.8~1.2秒，其中有200張圖片被反復(fù)觀看。

除此之外，還有3659張圖像沒有展示給參與者，但也被用于圖像檢索中。

所以，這樣訓(xùn)練出來的AI，效果究竟如何？

圖像檢索速度提升7倍

整體來看，這項研究設(shè)計的MEG解碼模型，比線性解碼器的圖像檢索速度提升了7倍。

其中，相比CLIP等模型，又以Meta研發(fā)的視覺Transformer架構(gòu)DINOv2在提取圖像特征方面表現(xiàn)更好，更能將MEG數(shù)據(jù)和圖像embeddings對齊起來。

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

作者們將整體生成的圖像分成了三大類，匹配度最高的、中等的和匹配度最差的：

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

不過，從生成示例中來看，這個AI還原出來的圖像效果，確實不算太好。

即使是還原度最高的圖像，仍然受到了一些網(wǎng)友的質(zhì)疑：為什么熊貓看起來完全不像熊貓？

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

作者表示：至少像黑白熊。（熊貓震怒！）

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

當然，研究人員也承認，MEG數(shù)據(jù)復(fù)原出來的圖像效果，確實目前還不太行，主要優(yōu)勢還是在速度上。

例如之前來自明尼蘇達大學(xué)等機構(gòu)的一項名為7T fMRI的研究，就能以較高的復(fù)原度從fMRI數(shù)據(jù)中還原出人眼看到的圖像。

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

無論是人類的沖浪動作、飛機的形狀、斑馬的顏色、火車的背景，基于fMRI數(shù)據(jù)訓(xùn)練的AI都能更好地將圖像還原出來：

AI實時解讀大腦信號，7倍速還原圖像關(guān)鍵視覺特征，LeCun轉(zhuǎn)發(fā)

對此，作者們也給出了解釋，認為這是因為AI基于MEG還原出來的視覺特征偏高級。

但相比之下，7T fMRI可以提取并還原出圖像中更低級的視覺特征，這樣生成的圖像整體還原度更高。

你覺得這類研究可以被用在哪些地方？

論文地址：
https://ai.meta.com/static-resource/image-decoding

熱門課程推薦

熱門資訊

請綁定手機號

獲取驗證碼
x

同學(xué)您好！

您已成功報名0元試學(xué)活動，老師會在第一時間與您取得聯(lián)系，請保持電話暢通！
確定