比特幣交易所 比特幣交易所
Ctrl+D 比特幣交易所
ads

最強組合HuggingFace+ChatGPT=「賈維斯」現在開放demo了!_HUG

Author:

Time:1900/1/1 0:00:00

來源:新智元

前段時間,浙大&微軟發布了一個大模型協作系統HuggingGPT直接爆火。

研究者提出了用ChatGPT作為控制器,連接HuggingFace社區中的各種AI模型,完成多模態復雜任務。

整個過程,只需要做的是:用自然語言將你的需求輸出。

英偉達科學家稱,這是我本周讀到的最有意思的論文。它的思想非常接近我之前說的「EverythingApp」,即萬物皆App,被AI直接讀取信息。

上手體驗

現在,HuggingGPT增加了Gradio演示。

項目地址:https://github.com/microsoft/JARVIS

有網友便上手體驗了一番,先來「識別圖上有幾個人」?

HuggingGPT根據推理結果,得出圖片中有2個人正在街道上行走。

DeFi研究員:Curve Finance漏洞“動搖了人們對DeFi的信心”,任何使用Vyper編寫的協議都可能面臨風險:金色財經報道,一位名為Ignas Defi Research 的DeFi研究員表示,Curve Finance漏洞“動搖了人們對DeFi的信心”。Ignas表示,如果一個運行了三年沒有問題的協議被利用,這會讓人們質疑 Aave、Compound 甚至Uniswap等其他藍籌協議的安全性,加密用戶已經擔心 Uniswap v4 具有單一的智能合約設計,如果遭到黑客攻擊,風險會更大,因為所有資金都會立即受到攻擊。

Ignas 表示,黑客利用的是 Vyper 編譯器,而不是 Curve 的智能合約本身,這一點令人擔憂,因為現在用 Vyper 編譯的任何協議都可能面臨風險。[2023/7/31 16:09:32]

具體過程如下:

首先使用圖像到文本模型nlpconnect/vit-gpt2-image-captioning進行圖像描述,生成的文本「2個女人在有火車的街道上行走」。

Kraken上的BTC期貨合約未平倉合約達到14個月高點:金色財經報道,Glassnodealerts數據顯示,BTC期貨未平倉合約剛剛在Kraken上達到117,612,139.52美元的14個月高點。[2023/7/14 10:54:14]

接著,使用了目標檢測模型facebook/detrresnet50來檢測圖片中的人數。模型檢測出7個物體,2個人。

再使用視覺問題回答模型dandelin/vilt-b32-finetuned-vqa得出結果。最后,系統提供了詳細的響應和用于解答問題的模型信息。

另外,讓它理解「我愛你」這句話的情感,并將其翻譯成泰米爾語。

HuggingGPT調用了以下模型:

首先,使用了模型「dslim/bert-base-NER」對文本「lloveyou」進行情感分類,是「浪漫」。

美國眾議院議長麥卡錫:債務協議仍有一些工作未完成:5月27日消息,美國眾議院議長麥卡錫對記者表示,我們還沒有就債務上限達成協議,仍有一些事情未解決。會在時機成熟時達成債務上限協議。美國財長耶倫提出的新的X日日期(6月5日)不會改變任何事情。麥卡錫還表示國會可在6月5日的截止日期前完成工作。[2023/5/28 9:46:34]

然后,使用「ChatGPT」將文本翻譯成泰米爾語,即「Nanunnaikadalikiren」。

在推理結果中沒有生成的圖片、音頻或視頻文件。

轉錄MP3文件時,HuggingGPT卻失敗了。網友表示,「不確定這是否是我的輸入文件的問題。」

再來看看圖像生成的能力。

輸入「一只貓跳舞」圖像上添加文字「ILOVEYOU」作為疊加層。

HuggingGPT首先使用了「runwayml/stable-diffusion-1-5」模型根據給定的文本生成「跳舞的貓」的圖片。

前Ripple顧問Michael Barr獲參議院提名為美聯儲監管副主席:金色財經消息,美國財政部前官員、前Ripple顧問Michael Barr周三獲參議院提名為美聯儲監管副主席。Barr在4月份獲得拜登總統提名,參議院周三以66票對28票確認了他的提名。他將負責領導美國主要的銀行業監管機構,在傳統金融體系如何與加密貨幣、包括穩定幣互動的方面將擁有重要發言權。

Barr目前是密歇根大學法學院的公共政策學院院長,曾在Ripple Labs的顧問委員會任職,他在2015年加入Ripple Labs時表示,“支付創新可以幫助使金融系統更安全,降低成本,并提高消費者和企業的準入和效率”。Barr也對加密貨幣發表過一些懷疑論調,他在2020年的一篇論文引用了一項研究,稱比特幣等資產“不僅會產生巨大的采礦成本,而且在長期設計中效率低下”。[2022/7/14 2:11:51]

然后,使用同一個模型根據給定的文本生成了「ILOVEYOU」的圖片。

風險投資公司Standard Crypto籌集5億美元新基金:金色財經報道,根據Axios的一份報告,風險投資公司StandardCrypto籌集了5億美元的新基金。據悉,該基金將投資于股票和加密貨幣。在今年早些時候接受采訪時,聯合創始人AlokVasudev討論了NFT和DAO等風險投資公司感興趣的領域,例如StandardCrypto。[2022/5/25 3:39:18]

最后,將2個圖片合并在一起,輸出如下圖:

賈維斯照進現實

項目公開沒幾天,賈維斯已經在GitHub上收獲了12.5k星,以及811個fork。

研究者指出解決大型語言模型當前的問題,可能是邁向AGI的第一步,也是關鍵的一步。

因為當前大型語言模型的技術仍然存在著一些缺陷,因此在構建AGI系統的道路上面臨著一些緊迫的挑戰。

為了處理復雜的人工智能任務,LLMs應該能夠與外部模型協調,以利用它們的能力。

因此,關鍵點在于如何選擇合適的中間件來橋接LLMs和AI模型。

在這篇研究論文中,研究者提出在HuggingGPT中語言是通用的接口。其工作流程主要分為四步:

論文地址:https://arxiv.org/pdf/2303.17580.pdf

首先是任務規劃,ChatGPT解析用戶請求,將其分解為多個任務,并根據其知識規劃任務順序和依賴關系。

接著,進行模型選擇。LLM根據HuggingFace中的模型描述將解析后的任務分配給專家模型。

然后執行任務。專家模型在推理端點上執行分配的任務,并將執行信息和推理結果記錄到LLM中。

最后是響應生成。LLM總結執行過程日志和推理結果,并將摘要返回給用戶。

假如給出這樣一個請求:

請生成一個女孩正在看書的圖片,她的姿勢與example.jpg "/>中的男孩相同。然后請用你的聲音描述新圖片。

可以看到HuggingGPT是如何將它拆解為6個子任務,并分別選定模型執行得到最終結果的。

通過將AI模型描述納入提示中,ChatGPT可以被視為管理人工智能模型的大腦。因此,這一方法可以讓ChatGPT能夠調用外部模型,來解決實際任務。

簡單來講,HuggingGPT是一個協作系統,并非是大模型。

它的作用就是連接ChatGPT和HuggingFace,進而處理不同模態的輸入,并解決眾多復雜的人工智能任務。

所以,HuggingFace社區中的每個AI模型,在HuggingGPT庫中都有相應的模型描述,并將其融合到提示中以建立與ChatGPT的連接。

隨后,HuggingGPT將ChatGPT作為大腦來確定問題的答案。

到目前為止,HuggingGPT已經圍繞ChatGPT在HuggingFace上集成了數百個模型,涵蓋了文本分類、目標檢測、語義分割、圖像生成、問答、文本到語音、文本到視頻等24個任務。

實驗結果證明,HuggingGPT可以在各種形式的復雜任務上表現出良好的性能。

網友熱評

有網友稱,HuggingGPT類似于微軟此前提出的VisualChatGPT,似乎他們把最初的想法擴展到了一組龐大的預訓練模型上。

VisualChatGPT是直接基于ChatGPT構建,并向其注入了許多可視化模型。文中提出了PromptManage。

在PM的幫助下,ChatGPT可以利用這些VFMs,并以迭代的方式接收其反饋,直到滿足用戶的要求或達到結束條件。

還有網友認為,這個想法確實與ChatGPT插件非常相似。以LLM為中心進行語義理解和任務規劃,可以無限提升LLM的能力邊界。通過將LLM與其他功能或領域專家相結合,我們可以創建更強大、更靈活的AI系統,能夠更好地適應各種任務和需求。

這就是我一直以來對AGI的看法,人工智能模型能夠理解復雜任務,然后將較小的任務分派給其他更專業的AI模型。

就像大腦一樣,它也有不同的部分來完成特定的任務,聽起來很符合邏輯。

參考資料:

https://twitter.com/1littlecoder/status/1644466883813408768

https://www.youtube.com/watch?v=3_5FRLYS-2A

https://huggingface.co/spaces/microsoft/HuggingGPT

中文推特:https://twitter.com/8BTC_OFFICIAL英文推特:https://twitter.com/btcinchinaDiscord社區:https://discord.gg/defidao電報頻道:https://t.me/Mute_8btc電報社區:https://t.me/news_8btc

Tags:GPTINGHUGGINBGPTSingular JapanSHUGGIGINTO價格

比特幣行情
Arbitrum:AIP-1事件的解釋說明_TRU

注:本文來自@arbitrum推特,MarsBit整理如下:感謝所有DAO參與者和代表對AIP-1的反饋。它很可能不會通過,我們將致力于處理來自社區的反饋.

1900/1/1 0:00:00
「冒險島+NFT」,注冊玩家超1.8億的經典游戲為什么要選擇上鏈?_NFT

當我開始寫這篇文章的時候,有太多太多與「冒險島MapleStory」相關的兒時記憶從我的腦海中浮現...第一次用ADSL小水管下載1G多的冒險島客戶端花費了我整整一個周末寶貴的玩電腦時間.

1900/1/1 0:00:00
領到Arbitrum 空投后,如何最大化收益?_BIT

3月23日,大約10億美元價值的Arbitrum本地治理代幣ARB將分發給該平臺的早期用戶。據歐科云鏈OKLink多鏈瀏覽器數據顯示,Arbitrum網絡TPS短時突破100筆/秒,達到106筆.

1900/1/1 0:00:00
以太坊上海升級,LSD 供應商質押飆升:分析潛力股和被低估的項目_EGR

注:本文來自@defi_mochi推特,MarsBit整理如下:隨著以太坊上海升級即將開放提現,多達185,205,463,000美元價值的$ETH將被質押給LSD提供商.

1900/1/1 0:00:00
美國證券交易委員會起訴孫宇晨:涉非法銷售證券、欺詐和操控市場_COI

SEC稱,孫宇晨試圖通過虛擬交易計劃人為增加TRX交易量,讓員工在其控制的兩個加密資產交易平臺賬戶之間進行了超過60萬次TRX虛擬交易。非法交易所用資產全部系孫宇晨本人提供.

1900/1/1 0:00:00
長推:復盤15個歷史上值得關注的“大空投”項目_VEN

你知道歷史上有哪些大空投嗎,了解一下空投規則和反女巫規則,看看單錢包的收益,讓你見識一下空投的魅力與殘酷,給自己打打雞血,繼續擼毛,相信總有一天你也會收空投收到手麻.

1900/1/1 0:00:00
ads