激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

發(fā)布時(shí)間：2023-11-27 12:04:58 瀏覽量：127次

整場(chǎng)大會(huì)干貨滿滿

白交 發(fā)自 凹非寺

|  

用視覺(jué)來(lái)做Prompt，是種什么體驗(yàn)？

只需在圖里隨便框一下，結(jié)果秒秒鐘圈出同一類別！

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

即便是那種GPT-4V都難搞定的數(shù)米粒的環(huán)節(jié)。只需要你手動(dòng)拉一下框，就能找出所有米粒來(lái)。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

新的目標(biāo)檢測(cè)范式，有了！

剛剛結(jié)束的IDEA年度大會(huì)上，IDEA研究院創(chuàng)院理事長(zhǎng)、美國(guó)國(guó)家工程院外籍院士沈向洋展示了最新研究成果——

基于視覺(jué)提示（Visual Prompt）模型T-Rex。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

整個(gè)流程交互，開(kāi)箱即用，只需幾步就可以完成。

此前，Meta開(kāi)源的SAM分割一切模型，直接讓CV領(lǐng)域迎來(lái)了GPT-3時(shí)刻，但仍是基于文本prompt的范式，在應(yīng)對(duì)一些復(fù)雜、罕見(jiàn)場(chǎng)景就會(huì)比較難辦。

現(xiàn)在以圖換圖的方式，就能輕松迎刃而解。

除此之外，整場(chǎng)大會(huì)也是干貨滿滿，比如Think-on-Graph知識(shí)驅(qū)動(dòng)大模型、開(kāi)發(fā)者平臺(tái)MoonBit月兔、AI科研神器ReadPaper更新2.0、SPU機(jī)密計(jì)算協(xié)處理器、可控人像視頻生成平臺(tái)HiveNet等等。

最后，沈向洋還分享了過(guò)去幾年時(shí)間花時(shí)間最多的一個(gè)項(xiàng)目：低空經(jīng)濟(jì)。

我相信當(dāng)?shù)涂战?jīng)濟(jì)發(fā)展到相對(duì)成熟時(shí)，同一個(gè)時(shí)間點(diǎn)，在深圳的天空中每天有10萬(wàn)架無(wú)人機(jī)，每天飛起來(lái)的有百萬(wàn)架無(wú)人機(jī)。

用視覺(jué)來(lái)做Prompt

除了基礎(chǔ)的單輪提示功能，T-Rex還支持三種進(jìn)階模式。

  • 多輪正例模式

有點(diǎn)像多輪對(duì)話，以得出更為精確的結(jié)果，不至于出現(xiàn)漏檢的情況。

  • 正例+負(fù)例模式

適用于視覺(jué)提示帶有二義性造成誤檢的場(chǎng)景。

*　跨圖模式。

用單張參考圖提示，來(lái)檢測(cè)其他的圖。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

據(jù)介紹，T-Rex不會(huì)受到預(yù)定義類別限制，能夠利用視覺(jué)示例指定檢測(cè)目標(biāo)，這樣一來(lái)就克服有些物體難以用文字充分表達(dá)的問(wèn)題，以提高提示效率。尤其像一些工業(yè)場(chǎng)景中的復(fù)雜組件等。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

除此之外，通過(guò)與用戶交互的方式，也可以隨時(shí)快速地評(píng)估檢測(cè)結(jié)果，并進(jìn)行糾錯(cuò)等。

T-Rex主要由三個(gè)組件組成：圖像編碼器、提示編碼器以及框解碼器。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

這項(xiàng)工作來(lái)自IDEA研究院計(jì)算機(jī)視覺(jué)與機(jī)器人研究中心。

該團(tuán)隊(duì)此前開(kāi)源的目標(biāo)檢測(cè)模型DINO是首個(gè)在COCO目標(biāo)檢測(cè)上取得榜單第一的DETR類模型；在Github上大火（至今狂攬11K星）的零樣本檢測(cè)器Grounding DINO與能夠檢測(cè)、分割一切的Grounded SAM。更多技術(shù)細(xì)節(jié)可戳文末鏈接。

整場(chǎng)大會(huì)干貨滿滿

除此之外，IDEA大會(huì)上還重點(diǎn)分享了幾個(gè)研究成果。

比如Think-on-Graph知識(shí)驅(qū)動(dòng)大模型，簡(jiǎn)單來(lái)說(shuō)就是將大模型與知識(shí)圖譜結(jié)合。

大模型擅長(zhǎng)意圖理解和自主學(xué)習(xí)，而知識(shí)圖譜因其結(jié)構(gòu)化的知識(shí)存儲(chǔ)方式，更擅長(zhǎng)邏輯鏈條推理。

Think-on-Graph通過(guò)驅(qū)動(dòng)大模型agent在知識(shí)圖譜上“思考”，逐步搜索推理出最優(yōu)答案（在知識(shí)圖譜的關(guān)聯(lián)實(shí)體上一步一步搜索推理）。每一步推理中，大模型都親自參與，與知識(shí)圖譜相互取長(zhǎng)補(bǔ)短。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

MoonBit月兔，這是由Wasm驅(qū)動(dòng)，專為云計(jì)算與邊緣計(jì)算設(shè)計(jì)的開(kāi)發(fā)者平臺(tái)。

它不僅提供通用程序語(yǔ)言設(shè)計(jì)，還整合了編譯器、構(gòu)建系統(tǒng)、集成開(kāi)發(fā)環(huán)境（IDE）、部署工具等版塊，來(lái)提升開(kāi)發(fā)體驗(yàn)與效率。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

此前發(fā)布的科研神器ReadPaper也更新至2.0，發(fā)布會(huì)現(xiàn)場(chǎng)演示了閱讀copilot、潤(rùn)色copilot等新功能。

用視覺(jué)來(lái)做Prompt！沈向洋展示IDEA研究院新模型，無(wú)需訓(xùn)練或微調(diào)，開(kāi)箱即用

發(fā)布會(huì)最后，沈向洋發(fā)布《低空經(jīng)濟(jì)發(fā)展白皮書——深圳方案》，在其智能融合低空系統(tǒng)（Smart Integrated Lower Airspace System，SILAS）中，提出時(shí)空進(jìn)程（Temporal Spatial Process）新概念。

T-Rex鏈接：
https://trex-counting.github.io/

熱門課程推薦

熱門資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定