一文了解 ChatGPT 等 LLMs 得到明顯改進的 3 個變化_GPT

原文作者：TanyaMalhotra

來源：Marktechpost

近年來，大型語言模型在全世界受到了廣泛贊賞，并在自然語言處理領域備受歡迎。這使我們能夠使用比以往任何時候都更好、更清晰的語言理解來描述智能系統。

諸如GPT-3、T5、PaLM等LLMs的性能有了顯著提高，并且這些模型將繼續存在，因為它們可以完成從通過學習閱讀來模仿人類，到生成文本和總結長段落內容的所有工作。而根據一些深入的研究，如果LLM的規模很大，那么它的表現就會很好。通過在大量數據上訓練這些模型，它們可以理解人類語言的語法、語義和語用學。?

華盛頓九家游說團體正試圖代表加密公司影響立法:金色財經報道，隨著美國證券交易委員會（SEC）和商品期貨交易委員會（CFTC）等監管機構對加密貨幣公司的打擊，加密貨幣公司在華盛頓尋求一席之地，九家幫助加密貨幣公司獲得他們想要的東西的游說團體，正試圖代表加密公司影響立法、監管和其他政府事務。

據OpenSecrets稱，去年是加密行業游說的標志性一年，美國聯邦游說支出總額是前年的兩倍多。今年，由于Binance和Coinbase因面臨美SEC的訴訟，支出甚至更高。與此同時，美國落后于英國和歐盟等其他國家和地區，這些國家和地區已經在實施加密貨幣公司監管指南方面取得了進展。游說公司正在尋求為加密貨幣公司贏得討論此類問題的席位。[2023/7/30 16:06:46]

由OpenAI開發的流行的大型語言模型ChatGPT之所以發展得如此之快，正是因為采用了人類反饋強化學習等先進技術。通過RLHF，機器學習算法結合并使用人工輸入提高了模型的性能。它針對預訓練的LLM進行了微調，用于開發聊天機器人、虛擬助手等任務。

Web3風險投資基金BFF獲得Octava數字資產投資:金色財經報道，專注于全球早期Web3創業公司的風險投資基金Blockchain Founders Fund（BFF）已經獲得了Octava數字資產的投資，Octava是新加坡家族辦公室的數字資產團隊，投資范圍包括從種子到公開交易的加密貨幣。

這筆資金將用于投資有前途的早期初創公司，這些初創公司正在 Web3 中構建基礎設施和應用程序。BFF 是許多非常成功的區塊鏈公司的早期投資者，包括Altered State Machine (ASM)、Splinterlands、Magna、Dogami和Krayon。?????[2022/10/9 12:50:41]

此外，ChatGPT等LLMs所基于的預訓練基礎模型也得到了明顯的改進。這主要是由于三個方面的變化：

美國銀行：預計歐洲央行2022年至少進行兩次50個基點的加息:6月3日消息，美國銀行預計歐洲央行將在7月和9月加息50個基點，然后在10月和12月分別再加息25個基點。這一預測比經濟學家的共識要鷹派得多。美國銀行經濟學家們表示，堅信2022年將加息150個基點，但對加息50個基點的確切時間沒有那么確信；預計歐洲央行將在2023年停止加息。此前預測為今年加息四次，明年加息兩次。經濟學家們指出，他們擔心歐洲央行“行動得太多/太快，對經濟增長、息差或兩者都造成了問題。”并表示，盡管他們預測是鷹派的，但仍看空宏觀前景。（金十）[2022/6/3 4:01:04]

1.實踐證明，模型的擴展性對提高其性能很有幫助。以Pathways語言模型為例，該模型通過擴展小樣本學習大大影響了其性能，小樣本學習可以減少根據具體應用調整模型所需的特定任務訓練實例的數量。

通過使用Pathways語言模型在6144TPUv4芯片上擴展和訓練5400億個參數，PaLM展示了重復擴展的好處，其表現超過了各種傳統模型，并顯示出很大的進步。因此，深度和寬度的擴展都是提高基礎模型性能的一個重要因素。

2.另一個變化是在預訓練時增加標記數量的過程。像Chinchilla這樣的模型已經證明，通過增加預訓練數據，大型語言模型的表現會更好。

Chinchilla是一個計算最優模型。在相同的計算預算下，在70B參數和比Gopher模型多四倍的數據上進行訓練，Chinchilla的表現一致優于Gopher，它甚至比GPT-3、Jurassic-1和Megatron-TuringNLG等LLMs效果更好。這清楚地描述了對于每一個計算最優的訓練，標記的數量應該相應地縮放——即模型大小的兩倍，因此訓練標記的數量應該是兩倍。?

3.第三個變化是使用干凈和多樣化的預訓練數據。Galactica的性能證明了這一點，它是一種存儲、混合和推理科學知識的大型語言模型。經過幾篇科學論文文本的訓練，Galactica的表現優于GPT-3、Chinchilla等模型。另一個大型語言模型BioMedLM是一種針對生物醫學文本的特定領域LLM，在針對特定領域數據進行訓練時，它表現出了巨大的性能提升。它清楚地表明，在特定領域的數據上進行的預訓練勝過在通用數據上的訓練。

結論

LLMs的成功無疑歸功于多種因素的混合，包括RLHF的使用和預訓練基礎模型的發展。這三個變化極大地影響了LLMs的性能。此外，GLaM通過使用稀疏激活的混合專家架構，以更少的訓練成本擴展模型的容量，從而顯著提高了性能。因此，這些變化為更高級的語言模型開辟了道路，而這些模型將繼續讓我們的生活變得輕松。??

Tags：CHI加密貨幣CHINGPTCHIBI價格加密貨幣市場總市值數量級是多少CHINUarbgpt幣上架幾家交易所

比特幣交易所