兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_AMA

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

Findora首席產品官：可擴展性和隱私是阻止區塊鏈大規模應用的的兩大問題:金色財經報道，在1月29日舉辦的《金色百家談 | 平衡隱私和可審計 Findora的探索之路》的直播節目中，針對“Findora的定位是開放金融、保密網絡（Open Finance、Confidential Network），為什么是這個定位？”的問題，Findora CMO Lemon Lin、Findora首席產品官Henry表示，Findora是來自硅谷的科技公司，愿景是打造金融隱私公鏈，成為Web 3.0的金融基礎設施，提供稀缺的高擴展性和隱私。

Findora的創始人是Lily Chao與John Powers，John Powers是斯坦福250億美金捐贈基金的前CEO、瑞士信貸對沖基金部門的聯席主席。兩位創始人在組建他們的長青基金的過程中，被另類投資市場的痛點啟發，開始研究區塊鏈可能對金融業的影響。但是他們很快發現現有的區塊鏈的兩個大問題將阻止區塊鏈的大規模應用：可擴展性和隱私。沒有這兩種資源，金融無法真正和區塊鏈結合。同時，他們看到區塊鏈成為下一代全球金融基礎設施的潛力，這個基礎設施可以民主運作。現有的區塊鏈技術無法滿足大多數金融應用的需求，它們的可擴展性不足，并且沒有隱私管理。我們在這里看到了巨大的機會，Findora開始著手解決這兩個問題。我們很幸運找到一套完整的理論和實施方案，包括零知識證明和MPC在內的先進加密技術以及先進的分布式系統技術，來幫助將金融向區塊鏈轉移。[2021/1/29 14:19:56]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

ETC兩大客戶端OpenEthereum和MultiGeth宣布停止支持ETC:Parity開發者Wei Tang剛剛發布推特稱，ETC兩大客戶端OpenEthereum和MultiGeth今日宣布停止支持ETC。而由于這兩個客戶端仍然共享ETC網絡節點總數的70%，這是一個要求ETC用戶采取適當行動的公共服務公告。而根據Wei Tang此后公布的文章，兩大客戶端停止支持ETC的原因和Wei Tang停止支持ETC的原因一樣。此前6月10日，Wei Tang宣布停止支持ETC，原因是在Phoenix硬分叉后，ETC網絡打破了以太坊一致性的邏輯，特別是在不變性方面。[2020/7/17]

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

火幣公鏈汪毅江：CeFi相比于DeFi有兩大問題:4月21日晚間，在主題為“繁榮與契機，技術與機制構建DeFi未來”的線上論壇活動中，火幣公鏈技術專家汪毅江表示，CeFi是通過把自己藏起來，讓別人找不到弱點的隱私保護系統安全，這是非常傳統的解決方案，并有兩個重大問題。第一，數據不透明，不公開，用戶既不能對公平性做出判斷，也不能對系統風險性做出判斷；第二，從長期看CeFi相比于DeFi不利于市場的繁榮，CeFi是通過長期品牌經營，資產規模建立和維護長期信譽。而DeFi通過智能合約代碼，建立信譽，更鼓勵產品創新，并降低中介費用，由技術驅動的行業發展，更具有發展前景。DeFi目前處于早期階段，但隨著時間的推移，DeFi會在困難和問題中成長，并逐漸走向成熟。[2020/4/21]

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

兩大交易所將發行比特幣期貨，美國政府嚴陣以待:以美國國會和特朗普麾下團隊為首的美國監管機構目前看來將開始進行加密貨幣的立法。美國政府對于加密貨幣的注意開始于出現在立法委員會的一項法案，旨在對任何沒有披露加密貨幣資產所有權的行為定罪。這一動議在美國政界受到廣泛的支持。[2017/12/7]

在各類性能評估中，與原版LLaMA不相上下。

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMAEFILlamaETCamazingkinggameIC DeFiLlamaverseETC價格

火必下載