OpenAI發布炸裂研究：讓AI解釋AI黑箱，人類無法理解，語言無法描述_PEN

來源：FounderPark

就算在新產品滿天飛，商業文明正在被AI重建的當下，我們仍然不知道，這些令人驚嘆的技術是如何運作的。

AI，語言模型，它是個黑箱，人類無法理解，我們甚至不知道怎樣研究才能夠理解。

但如果，研究這個黑箱的不是人類，而是AI自己呢？

這是一個令人好奇但又非常危險的想法。因為你甚至不知道，這一研究方法產生的結果，是否會徹底顛覆多年來人類對人腦和AI的理解。

但是有人這樣做了。幾小時前，OpenAI發布了最新的研究成果，他們用GPT-4解釋GPT-2的行為，獲得了初步的成果。

毫不夸張地說，人們震驚極了：「求求你們讓它離覺醒遠點吧！」

「AI理解AI，然后很快，AI訓練AI，然后再過幾年，AI創造新的AI。」

但客觀來說，學術界為之感到興奮：「瘋了，OpenAI剛剛搞定了可解釋性問題。」

人與機器之間是GPT-4

OpenAI剛剛在官網發布博客文章《語言模型可以解釋語言模型中的神經元》。

OpenSea Seaport以太坊鏈上交易量突破1000萬筆，交易額超35億美元:金色財經報道，據Dune Analytics最新數據顯示，基于開源NFT協議Seaport的OpenSea以太坊鏈上總交易量突破1000萬筆，截止目前達到10,006,368筆，交易總額約36.47億美元，獨立用戶量為1,323,582個。

此外，當前Polygon鏈上OpenSea Seaport交易額達到約1.7億美元，過去兩個月增幅達到236.4%，交易量已超400萬筆。[2023/3/5 12:43:01]

簡單來說，他們開發了一個工具，調用GPT-4來計算出其他架構更簡單的語言模型上神經元的行為，這次針對的是GPT-2，發布于4年前的開源大模型。

大模型和人腦一樣，由「神經元」組成，這些神經元會觀察文本中的特定規律，進而影響到模型本身生產的文本。

舉例來說，如果有一個針對「漫威超級英雄」的神經元，當用戶向模型提問「哪個超級英雄的能力最強」時，這個神經元就會提高模型在回答中說出漫威英雄的概率。

OpenAI開發的工具利用這種規則制定了一套評估流程。

OpenSea推出鏈上版稅強制執行工具，NFT銷售將限制在強制收取版稅的市場:11月6日消息，OpenSea在官方博客中宣布即將為新 NFT 系列推出可選的鏈上版稅強制執行工具，旨在通過賦予創造者更多的權力，讓他們擁有能夠控制自己的商業模式的工具來捍衛創作者權益。最初的鏈上工具是一個簡單的代碼片段，創建者可以添加到未來的 NFT 合約以及現有的可升級合約中。此代碼將 NFT 銷售限制在強制收取版稅的市場。

11月9日0:00開始，OpenSea將僅對使用鏈上版稅執行工具的新NFT系列征收版稅，若新系列未實施鏈上執行則不征收版稅。在未來幾個月內 OpenSea 將推出更多工具改善鏈上執行。OpenSea 表示，考慮到對現有 NFT 系列進行鏈上強制版稅費用執行的困難程度，至少在2022年12月8日之前不會對現有系列進行任何更改。[2022/11/6 12:21:47]

開始之前，先讓GPT-2運行文本序列，等待某個特定神經元被頻繁「激活」的情況。

然后有三個評估步驟：

第一步，讓GPT-4針對這段文本，生成解釋。比如在下面的案例中，神經元主要針對漫威內容。GPT-4接收到文本和激活情況后，判斷這與電影、角色和娛樂有關。

NFT市場OpenSea總交易量達到100億美元:金色財經報道，加密市場最大的NFT市場OpenSea的交易量首次超過100億美元。作為第一個在以太坊區塊鏈上建立的NFT市場，OpenSea的交易量在過去一年中隨著NFT的繁榮而激增。此前在8月份，該平臺的總交易量僅為10億美元。與其他主要平臺相比，OpenSea在交易量上遙遙領先。基于以太坊的平臺Rarible和SuperRare.co的總交易量分別僅為2.6397億美元和1.7795億美元。按交易量排名第二的平臺是加密游戲Axie Infinity，總交易量達30億美元。[2021/11/9 6:40:20]

第二步，用GPT-4模擬這個GPT-2的神經元接下來會做什么。下圖就是GPT-4生成的模擬內容。

最后一步，對比評估打分。對比4代模擬神經元和2代真實神經元的結果，看GPT-4猜的有多準。

Shyft Core推出FATF旅行規則的去中心化解決方案Veriscope:Shyft Core宣布與Binance、Deribit、Bitfinex、BitMEX、Tether、Huobi等虛擬資產服務提供商 (VASP) 合作，推出去中心化的合規框架和智能合約平臺Veriscope ，以實現旅行規則合規，參與的交易所正在共同評估和啟動Veriscope在Shyft網絡上的分階段部署。

Veriscope旨在為全球合規標準（包括FATF的旅行規則指南）合作構建一個去中心化的解決方案。 Veriscope的設計、構建和編程旨在通過促進地址發現和KYC數據交換，在不暴露用戶數據的情況下，幫助交易所滿足這些要求。[2021/8/18 22:20:29]

通過這樣的方法，OpenAI對每個神經元的行為作出了初步的自然語言解釋，并對這種解釋和實際行為的匹配程度進行了評分。

最終他們對GPT-2中307200個神經元全部進行了解釋，這些解釋匯編成數據集，與工具代碼一起在GitHub上發布。

動態 | 受監管的數字資產交易平臺Openfinance上線對沖基金代幣Protos:受監管的數字資產交易平臺Openfinance已將對沖基金代幣Protos添加到其平臺，代幣符號為PRTS。這是最早在替代交易系統（ATS）上交易的加密對沖基金之一。（coindesk）[2019/7/10]

超越語言的機器，人類無法理解的機器

據OpenAI在博客文章中表示，目前GPT-4生成的解釋還不完美，尤其要解釋比GPT-2更大的模型時，表現效果很差，「可能是因為后面的layer更難解釋」。

對于GPT-2解釋的評分大多也非常低，僅有1000個左右的解釋獲得了較高的評分。

OpenAI可拓展對齊團隊的JeffWu表示，「大多數解釋的得分很低，或者無法解釋實際神經元那么多的行為。比如，許多神經元以一種難以判斷的方式保持活躍，它們在五六件事上保持激活，但卻沒有可以辨別的模式。有時候存在明顯的模式，但GPT-4有無法找到它。」

雖然現階段成績不好，但是OpenAI卻比較有信心，他們認為可以使用機器學習的方式提高GPT-4產出解釋的能力。

比如通過反復產出解釋，并根據激活情況修改解釋；或者使用更大的模型作出解釋；以及調整解釋模型的結構等等。

OpenAI還提到，這一方法目前還有很多局限性。

使用簡短的自然語言進行解釋，也許并不匹配神經元可能非常復雜的行為，不能簡潔地進行描述。神經元可能會具備多個不同概念，也可能，會具備一個人類沒有語言描述甚至無法理解的概念。

最終OpenAI希望能夠自動化找到并解釋能夠實現復雜行為的整個神經回路，而目前的方法只解釋了神經元的行為，并沒有涉及下游影響。

解釋了神經元的行為，但沒有解釋產生這種行為的機制。這意味著即使是拿了高分的解釋，也只能描述相關性。

整個過程是計算密集型的。

在論文中，OpenAI表示：「語言模型可能代表了人類無法用語言表達的陌生概念。這可能是因為語言模型關心不同的事情，比如統計結構對下一個token預測任務有用，或者因為模型已經發現了人類尚未發現的自然的抽象，例如在不同領域的類似概念家族。」

它把LLM的這種屬性，稱為AlienFeature，在生物領域翻譯為「異類特征」。

FounderPark微信后臺回復「解釋神經元論文」，獲取論文鏈接和中英對照PDF鏈接。

把對齊問題也交給AI

「我們正試圖開發預測『AI系統會出現什么問題』的方法，」OpenAI可解釋性團隊負責人WilliamSaunders對媒體說，「我們希望能夠真正做到，讓這些模型的行為和生產的回答是可以被信任的。」

SamAltman也轉發博客文章稱：GPT-4對GPT-2做了一些可解釋性工作。

可解釋性是機器學習的研究子領域，指的是對模型的行為有清晰的理解和對模型結果的理解能力。

簡單來說，目的就是解釋機器學習模型「如何做到」。

2019年開始，可解釋性成為機器學習的重要領域，相關研究有助于開發人員對模型進行優化和調整。針對當下AI模型大規模應用時，亟需解決的可信度、安全性和決策參考等問題。

如果我們不知道AI是如何作出決策的，始終把它當做一個黑箱，那么就算AI在各種場景下表現得再完美，也無法解決部分人類的信任問題。

OpenAI這次使用GPT-4來解決可解釋性的問題，就是希望能夠使用自動化的方式，讓機器完成AI研究。

「這是我們對齊研究的第三支柱的一部分：我們希望自動化對齊研究。令人期待的是，這一方向能讓它與AI發展的步伐相匹配。」

在2022年夏天，OpenAI曾發布文章《我們做對齊研究的方法》。

文中提到，宏觀來看，OpenAI的對齊研究將由三大支柱支撐：

1、利用人工反饋訓練AI

2、訓練AI系統協助人類評估

3、訓練AI系統進行對齊研究

「語言模型非常適合自動化對齊研究，因為它們通過閱讀互聯網『預裝』了大量有關人類價值觀的知識和信息。開箱即用，它們不是獨立代理，因此不會在世界上追求自己的目標。」

太快了，連認知都范式革命了

雖然OpenAI本意很好，但是這樣的研究成果著實嚇壞了網友。

OpenAI的推文下梗圖橫飛，有不少人在認真地建議OpenAI搞慢點。

「用我們不理解的東西，解釋另一個我們不理解的東西，這合理嗎？」

「護欄都被你撤了」

「這太迷人了，但也讓我感到極度不適。」

「自然創造了人類來理解自然。我們創造了GPT-4來理解自己。」

「我們要怎么判斷解釋者是好的？這就像...誰監督著監督者？」（whowatchesthewatchers)

還有人看到了更深的一層：

「大模型很快就能比人類更好地解釋他們自己的思維過程，我想知道我們未來要創造多少新的詞匯，來描述那些AI發現的概念？我們還沒有一個合適的詞描述它們。或者，我們是否會覺得這些概念有意義？它們又能教會我們如何認識自己呢？」

另一網友回應道：「人類本身對自己行為的解釋，大多是謊言、捏造、幻覺、錯誤的記憶、事后推理，就像AI一樣。」

Tags：OPENPENGPTNAIOPENX價格pendle幣最新消息AIGPTOPENAIERC幣

以太坊