近期,OpenAI發布了ChatGPT,是一個可以對話的方式進行交互的模型,因為它的智能化,得到了很多用戶的歡迎。ChatGPT也是OpenAI之前發布的InstructGPT的親戚,ChatGPT模型的訓練是使用RLHF也許ChatGPT的到來,也是OpenAI的GPT-4正式推出之前的序章。
一、什么是GPT?
GenerativePre-trainedTransformer(GPT),是一種基于互聯網可用數據訓練的文本生成深度學習模型。它用于問答、文本摘要生成、機器翻譯、分類、代碼生成和對話AI。
2018年,NLP的預訓練模型元年,GPT-1誕生,此時的GPT-1僅是一個語言理解工具而非對話式AI。2019年GPT-2采用更多的網絡參數與更大的數據集進行訓練,此時的GPT-2展現出普世且較強的能力,并在多個特定的語言建模任務上實現了彼時的最佳性能。隨后,GPT-3出現,作為一個無監督模型,幾乎可以完成自然語言處理的絕大部分任務,例如面向問題的搜索、閱讀理解、語義推斷、機器翻譯、文章生成和自動問答等等。GPT-3的出現使人們看到了通用人工智能的希望。
Web3通信協議Push Protocol將推出錢包至錢包通信服務Push Chat:10月11日消息,據官方推特,Web3通信協議Push Protocol(原EPNS)將推出錢包至錢包通信服務Push Chat,可為用戶提供Web3原生安全、錢包至錢包的消息傳遞,允許任何擁有錢包或ENS的人直接與他人聊天,目前支持文本、圖片形式。Push Chat Alpha版本將于今日向在ETHBogota使用Push的開發者開放(可申請POAP以獲得alpha訪問權限)。[2022/10/11 10:30:46]
ChatGPT的到來,也被視為文本生成器GPT-3的下一個迭代,為GPT-4到來拉開序幕。
Chainge Finance發起提議收購Celsius資產與負債并將其立即去中心化以解決其流動性問題:據官方消息,跨鏈流動性協議Chainge Finance已于昨日向Celsius正式發起對其資產與負債的收購邀約,計劃在交易達成后通過Chainge向該協議注入流動性,并利用Chainge應用將所有用戶資產立即分配到用戶自己的地址,以解決目前所有Celsius用戶無法提幣的困局。[2022/6/22 4:44:37]
ChatGPT是一種大型語言模型,通過大量在線信息進行訓練并創建其響應。注冊ChatGPT后,用戶可以要求人工智能系統回答一系列問題,這些問題包括開放性問題:例“生命的意義是什么?”加密貨幣值得投資“?”“什么是HackerMovement”等。
API3增值服務Chain API集成Airnode,將提供無代碼Web3部署服務:6月22日消息,預言機解決方案API3增值服務Chain API集成Airnode,使API提供商能夠在更廣泛的區塊鏈空間中自我集成和部署預言機。據悉,Airnode作為一個開源網關,允許API直接連接到web3,而無需持續管理或使用第三方。因此,利用Chain API的企業將擁有對部署的預言機和鏈上數據的第一手控制權,從而獲得其Web3業務的完全權限。(CryptoNinjas)[2022/6/22 4:44:19]
二、ChatGPT如何工作?
談到ChatGPT的算法模型,其前身InstructGPT仍值得關注。
動態 | Blockchains.com宣布收購slock.it:據coindesk報道,區塊鏈孵化和投資公司Blockchains.com今天宣布收購slock.it,這是一家源于以太坊原始發展的德國公司。據報道Blockchains主要對slock.it的Incubed項目感興趣,該項目通過以太坊區塊鏈使人類和機器能夠安全地參與物聯網經濟。該聲明稱,該公司還計劃在未來幾個月內為以太坊開發者社區發布一系列開源工具。據悉,slock.it曾發起名為DAO的以太坊項目,該項目于2016年4月末開始眾籌,募得超過1200萬ETH,當時價值超過1.5億美元。但才過不到兩個月就被黑客利用漏洞發起攻擊,造成360萬ETH失竊。[2019/6/4]
2022年初,OpenAI發布了InstructGPT。開發人員通過結合監督學習+人類反饋強化學習,提高GPT-3的輸出質量。在這種學習中,人類對模型的潛在輸出進行排序,強化學習算法則對產生類似于高級輸出材料的模型進行獎勵。
訓練數據集以創建提示開始,其中一些提示是基于GPT-3用戶的輸入,比如“解釋什么是HackerMovement”或“給一個小學生解釋Hacker”。
開發人員將提示分為三個部分,并以不同的方式為每個部分創建響應:
1.人類作家會對第一組提示做出響應。開發人員微調了一個經過訓練的GPT-3,將它變成InstructGPT以生成每個提示的現有響應。
2.下一步是訓練一個模型,使其對更好的響應做出更高的獎勵。對于第二組提示,經過優化的模型會生成多個響應。人工評分者會對每個回復進行排名。在給出一個提示和兩個響應后,一個獎勵模型學會了為評分高的響應計算更高的獎勵,為評分低的回答計算更低的獎勵。
3.開發人員使用第三組提示和強化學習方法近端策略優化進一步微調了語言模型。給出提示后,語言模型會生成響應,而獎勵模型會給予相應獎勵。PPO使用獎勵來更新語言模型。
與其他AI聊天機器人不同,本著構建更加負責任的強人工智能原則,ChatGPT可以回答后續問題、承認錯誤、挑戰不正確的問題并拒絕不適當的請求。
三、ChatGPT等AIGC工具對內容生態的挑戰
不可置疑的是AIGC對很多領域產生了積極的影響。如,文本創作、音樂創作、游戲文本生成等。隨著AIGC工具的成熟,其甚至可自主編程、拼接生成新的協議。
但,此類工具向內容生態提出一個全新的問題即:如何應對AIGC的真實性。以ChatGPT為例:
1.在訓練的強化學習階段,對于問題,并沒有真相和問題標準答案的具體來源。
2.訓練模型更加謹慎,可能會拒絕回答。
3.監督訓練可能會誤導/偏向模型傾向于知道理想的答案,而不是模型生成一組隨機的響應并且只有人類評論者選擇好的/排名靠前的響應。
人工智能生成的答案有數千個,而這些答案通常需要具有專業知識的人詳細閱讀,才能確定答案實際上是錯誤的,這些錯誤信息很容易破壞以志愿者為基礎的高質量問答社區。
紙質新聞時代,每個事實都必須包含權威的一手或二手資料來源,但現在已經很少有出版物有事實核查員,這就把責任推給了記者和編輯。信息爆炸時代,以人為媒介傳播的虛假信息尚且讓審核機制“頭疼”,很難想象當人工智能開始傳播虛假信息,所帶來的挑戰。尤其是在這個輿論時常反轉的時代,只要一個消息聽起來合理,許多人就會認為這是正確的。
ForesightNews消息,據CoinDesk報道,美國聯邦調查局正在調查3Commas數據泄露事件.
1900/1/1 0:00:00在FTX和AlamedaResearch暴雷之后,跨鏈橋?RenProject?也陷入了危機,前者已經在?2021?年初收購了后者.
1900/1/1 0:00:00尊敬的用戶:Hotcoin將於(GMT8)2022年12月30日18:00開放PiNetwork/USDT交易業務,提幣業務,充值業務開放時間將以公告另行通知.
1900/1/1 0:00:0012月23日消息,據韓媒報道,鏈上數據確認,Terra創始人DoKwon最近進入塞爾維亞后,于11月8日將9.64枚BTC從LFG錢包轉移到幣安錢包.
1900/1/1 0:00:00原文作者:SolanaVentures?顧問?Justin.sol原文編譯:PANews,?Jordan對于?Solana?來說,?2022?年是非常重要的一年,既有高峰也有低谷.
1900/1/1 0:00:00DearHuobiUsers,HuobiwillbeopeningPi(PiNetwork)spottrading(PI/USDT)at09:00(UTC)onDecember29.Huobiw.
1900/1/1 0:00:00