TL;DR
將非核心數據從主鏈上分離并存入DSN已經成為了解決擴容、提升互操作性和隱私保護的主流方案。Filecoin在礦工網絡和存儲成本上擁有極大的優勢,但是Arweave的永久性存儲可以給NFT或社交類應用提供更加可靠的解決方案。L1擴展存儲網絡可以提供相比DSN互操作性更高的新方案,但是仍然需要時間驗證模式。未來的去中心化存儲場景會包括完整的互操作性、數據可用性、安全性以及通過中間件和API提供用戶/開發者友好的鏈下計算。去中心化存儲的發展歷程
數據存儲板塊一直以來都是科技界發展的基石和重點關注領域。從基于亞馬遜、微軟、阿里巴巴等提供了中心化云存儲服務以來,云存儲市場已經基本形成了1000億美元以上(2021年)的市場規模且頭部效應明顯。而隨著Web3的爆發,一批去中心化存儲的供應商開始滿足傳統云存儲市場滿足不了的需求。
雖然目前大多數的dApp仍然部署在AWS上,而以太坊的節點在merge前也有超過50%在AWS上運行,但是Web3項目卻逐漸發現了將后端和元數據與去中心化存儲連接的重要性和必然性。根據Ethereum.org的定義,去中心化存儲是一個由p2p網絡構成的,每個運營者擁有整體數據的一部分并可以通過算法復原的數據分享系統。
去中心化存儲雖然可以解決諸多問題,例如數據隱私性保護、抗審查等,但目前的去中心化系統發展還不成熟且有諸多亟待解決的問題。經過鏈上存儲方案的不斷嘗試,DSN是目前的主流解決方案,這種方案可以最大程度上將存儲容量提升到接近于無限,并且對數據的安全性和隱私性有所保障。
表1區塊鏈數據存儲方案比較
具體鏈上擴容方案可以參考文章:https://zhuanlan.zhihu.com/p/48078642
筆者認為,鏈下的存儲層終將會成為Web3生態中的重要基礎設施,并通過熱存儲、冷存儲的方式解決任何協議層、運行層的數據存儲問題。
美亞利桑那州州長否決減輕區塊鏈節點運營商的稅收壓力的法案:4月14日消息,據Cointelegraph報道,美國亞利桑那州州長Katie Hobbs否決了一項第1236號法案,該法案旨在僅讓州當局對運行區塊鏈節點的個人和企業實施監管和征稅,而不是在城市和縣一級,這在很大程度上減少或消除州一級節點運營商的監管和稅收。[2023/4/14 14:03:26]
在未來,“不可能三角”中的擴容問題可以通過將存儲層完全剝離但維持互操作性的方式來解決,并通過建立于冷存儲層之上的中間件、API等服務提升數據計算、調用、推送的效率。
去中心化存儲的發展現狀:分類與規模
去中心化存儲本質上服務于Web3生態的應用層,因此在解決方案上更加傾向于滿足終端用戶的需求,也就是用更高效、更低成本的方式執行數據存儲、計算與調用的需求。從分類上來看,Arweave、Filecoin和Storj已經形成了獨立的三個頭部去中心化存儲網絡,其中Filecoin和Storj是更加去中心化的P2P存儲網絡,而Arweave是更緊密組織的存儲節點網絡。
另一方面,不同類型的存儲聚合網絡因為滿足用戶費用優化、存儲方便等需求,逐漸成為更有吸引力的gateway,但仍然架構在Arweave或Filecoin之上。另外,以EthStorage為代表的L1擴展網絡則專注于可直接調用主鏈DA層且提供額外的算力的設計,與L1深度鏈接。
來源:PuzzleVentures
另外還有建立于底層存儲網絡之上或獨立的計算網絡和協調型中間件也是去中心化存儲生態的補充部分,但以生態dApp為主,本文不重點討論。
從發展規模角度來看,Filecoin無論在收入、FDV還是市場份額角度來看都遙遙領先,并且用戶存儲使用度仍然在不斷增加。然而,三百多萬美元的季度收入無論在Web2還是Web3領域都不能算多,并且還是在幾乎壟斷的情況下。所以整個去中心化存儲賽道仍然有著很大的發展空間。
比特幣全網未確認交易數量為15053筆:金色財經報道,據BTC.com數據顯示,目前比特幣全網未確認交易數量為15053筆,全網算力為328.81 EH/s,24小時交易速率為3.39交易/s,目前全網難度為43.05 T,預測下次難度上調0.48%至43.26 T,距離調整還剩4天19小時。[2023/3/6 12:43:56]
表2去中心化存儲Q32022收入與規模
來源:FundamentalLabs
從最新的技術發展進程來看,Filecoinversion17“Shark”主要建立了存儲協議的可編程性,也就是在存儲層上增加了智能合約的互動層,并計劃于明年二月推出FEVM系統。Filecoin上的數據可用性和活躍度將有所提升,并可以支持更多元化的互操作性,這也是Filecoin相比Arweave的靈活性優勢。而Arweave仍然在數據安全性、節點激勵穩定性和存儲入口上著力發展,對于永久性存儲這一理念持續“充值信仰”。因此,雖然很難斷言哪一種方案更有優勢,但無論如何這兩個去中心化存儲協議已經在各項功能上發展的比較完善來滿足去中心化存儲的基本需求。
2)費用
同樣,Filecoin和Arweave在費用方面也很難直觀的比較,本文旨在盡可能合理的方式來對兩者的費用形成一定的感知。為了形成數據可比性,本文采用同等存儲大小在200年的存儲時間內的價格作為比較對象。
表3云存儲費用比較
來源:Amazon.com,Arweavefees.com,File.app,Filfox.info
?從表3中可以看出,AWS最基礎的S3Standard套餐的價格約為$0.023perGBpermonth,則存儲200年需要$55.2perGB,而相對更適合長期冷存儲的GlacierDeepArchive方案可以把價格壓低至$2.38perGB,但是每年的歸檔次數有限制。而Arweave隨著ARtoken的價格波動會產生不同的價格,2022年12月的價格是$1.42perGB,也就是說存儲5年左右就可以和S3standard的存儲成本持平。
Yuga Labs為“MetaRPG”申請商標:9月17日消息,據知識產權律師Eliana在社交媒體上透露,BAYC母公司Yuga Labs已為“MetaRPG”申請了商標,涉及游戲、服裝、音頻、NFT、各種Token、市場、創作者工具、硬件(包括控制器、手持設備和耳機、掌機等)。MetaRPG是Yuga Labs今年三月推出的游戲,該游戲已與更多NFT項目兼容,并開啟生態內應用商店來交易代幣及NFT資產。[2022/9/17 7:02:46]
另一方面,Filecoin的價格計算較為復雜,因為不同的礦工給到的價格有差別且FILtoken價格、存儲時間和數據調用的頻率都會對價格造成影響。但無論如何Filecoin的存儲成本相比Arweave和S3來說已經便宜了好幾個數量級,可以幾乎被認為是零成本存儲。
但價格是最主要的因素嗎?Arweave的永久性存儲對于Web3的意義是更加重大的。例如NFT如果丟失了元數據和圖片數據就會瞬間失去價值而變成一個點不開的連接,而在Filecoin的存儲協議中,由于過于去中心化的管理方式會造成GarbageCollection的風險,也就是其存儲文件的節點中如果對某些文檔沒有標星的話會有被誤刪的風險。
同時,當Filecoin存儲的時間到期時需要更新存儲方,這個過程中也容易形成風險。反觀Arweave,通過AR的激勵機制鼓勵節點存儲數據到200年,并且針對AR未來的貶值也做出了相應的補償激勵,同時在存儲過程中會通過周期性的隨機檢查來確保節點仍然完整的存儲數據。這些措施都是為了確保每一個節點都能通過完整的存儲數據來獲得激勵,也保障了被存儲數據的安全性和可靠性。在已經黑客事件頻發的Web3世界中,數據存儲的可靠性帶來的價值不是用簡單的存儲價格來衡量的。
3)生態
去中心化存儲的生態包括礦工/節點和生態dApps。
表4?Filecoin與Arweave的生態數據比較
以太坊網絡當前已銷毀253.72萬枚ETH:金色財經報道,據Ultrasound數據顯示,截止目前,以太坊網絡總共銷毀2537212.55枚ETH。其中,ETHtransfers銷毀233935.71枚ETH,OpenSea銷毀230049.44枚ETH,UniswapV2銷毀134939.24枚。
注:自以太坊倫敦升級引入EIP-1559后,以太坊網絡會根據交易需求和區塊大小動態調整每筆交易的BaseFee,而這部分的費用將直接燃燒銷毀。[2022/7/15 2:15:12]
來源:Filscan.io,Messari
Filecoin由于社區建設較早且關注度較高,目前的存儲力在18.9EB左右,是Arweave的17萬倍。但是Arweave在3年多的發展時間內已經形成了比Filecoin高2.5倍的存儲力增長率,而且Filecoin的增長率實際上已經趨近于穩定的直線。從市值的角度來說,Arweave目前的FDV是Filecoin的40%左右,我們可以判斷Arweave在未來會快速追趕Filecoin的存儲力生態。
根據Filecoin今年11月發布的未來計劃,Filecoin未來會致力于滿足computation和更大范圍的dataonboarding這兩個需求,從而真正成為Web3世界的Layer0。從存儲力擴展的角度來說,Filecoin通過向FIL+和ESPABootcamps這樣的激勵計劃來促進更多的礦工來參與節點建設。
而在dataonboarding和computation上,Filecoin會關注一些具體的細分市場,例如NFT元數據、Web2數據源等等,然后通過FilecoinVirtualMachine建立鏈上的算力,讓這些數據可以更加方便地被使用。從最新的一些Filecoin提案中也可以看出dataonboarding是目前的發展重點。
反觀Arweave,最新的2.6版本中主要的關注點是降本增效,也就是通過迭代硬件等方式降低整體存儲成本和存儲價格,同時提升數據存儲、調用的效率。所以Arweave實際上是希望通過建立更好的基礎環境來吸引更多的開發者和用戶,同時通過生態項目來滿足例如gateways,computation等進一步的用例。
公鏈Flow推出無需許可智能合約,支持任何開發人員部署智能合約而無需審查:7月6日消息,公鏈Flow宣布推出無需許可智能合約,旨在支持任何人都可以無需許可地在主網上部署合約,而無需強制性審查。據悉,該合約支持開發人員不再強制需要通過審查流程來部署智能合約,支持開發人員從在測試網上測試到在主網上部署其智能合約整個過程。[2022/7/6 1:53:58]
所以Filecoin的邏輯是提供大一統、專注于存儲業務且依賴于礦工生態的去中心化存儲網絡;而Arweave更像是一個標準的Web3生態,通過提供完善的底層架構和激勵機制營造一個適合開發和用戶友好的環境,實現用戶數量和dApp數量的有機增長。
從生態項目角度來說,Arweave上已經孵化出了包括Bundlr,Kyve,ArDrive,KwilDB等一批針對技術優化、存儲入口、應用擴展方向的優質項目,并且大部分項目負責人都是年輕的創業者為主,發展潛力較大。Filecoin的生態項目數量上有著基數大的優勢,Filecoin生態更像是一個開源環境,可以滿足更廣闊的存儲相關需求但并沒有重點的發展方向。
新方案:聚合網絡與L1拓展網絡
1)聚合網絡
聚合網絡的概念實際上早在Filecoin上線之初就有了,例如Coldstack等早期項目。然而Coldstack并沒有獲得巨大成功,究其原因主要是純粹的、Uber式的聚合器并不能真正提升存儲效率,而且除此之外無法提供進一步的價值。存儲協議的聚合網絡的確可以解決用戶存儲效率和成本上的痛點,但是做法卻可以有多種。
首先,這些聚合網絡得比Filecoin和Arweave自身的gateway要做的好才能獲得市場認可。隨著Filecoin往FVM鏈上計算的方向發展,很可能會擠掉一批建立在Filecoin之上,提供額外computation能力的聚合網絡。其次,不同的聚合協議要解決Filecoin或Arweave本身很難實現的問題,而不是做大一統的聚合流量入口,因為大一統的流量入口最終將會由Filecoin和Arweave自身把控。
Jackal就是建立在Filecoin之上且專注于提升數據隱私性和安全性的聚合器方案。它提供了一套給已存文件進一步AES-256加密的方案,并通過Cosmos建立PoS共識的L1鏈來管理和收費,相當于在Filecoin之上又建立了一層私有云存儲協議。
同時,Jackal還將通過其Proof-of-Persistence算法來提供3倍的文件拷貝,并在存儲價格上進行優化。Redundancy和cost并不是去中心化存儲的核心問題,但是數據隱私和安全的提升是Filecoin本身在短時間內較難做到的。4EVERLAND是另一個聚合了Filecoin,Arweave和Dfinity作為底層存儲層的云計算平臺,主要專注于給dApp提供去中心化存儲、計算和網絡的核心能力,打造底層去中心化存儲層和應用層之間的連接層。
從目前來看,Webhosting和Bucket是其主要的兩個產品,hosting在4EVERLAND全球200多個網關加速的情況下可以完成前端托管,而Bucket則是一個聚合gateway。這兩個產品都從用戶友好性上大幅提升了去中心化存儲的實際使用度,并且解決了例如多幣種付費、數據面板等細節層面的優化問題。
2)L1存儲擴展網絡
L1存儲擴展網絡本質上和現有的Layer2相同,都是提升L1性能和可擴展性的解決方案的總稱。而EthStorage則是第一個以存儲擴展為核心的Layer2解決方案,主要包括三大類的功能:ProofofPublication,ExternalDataRetention,AccessProtocol。
ProofofPublication即通過其特制的KZGCommitment和Reed-SolomonCode來實現存儲數據的CRUD功能,而Filecoin和Arweave目前只能做到CRD。在增加了Update功能以后,再結合AccessProtocol這樣的可直接渲染以太坊合約上面托管的資源的Web3URL功能,就可以輕松實現例如Web3Email、Web3Blog、Web3Drive等鏈上活動,這些嘗試都有助于未來的Web3大規模應用。
另一方面,由于其EVM兼容和鏈上存儲的特性,相比Filecoin和Arweave來說交互路徑更短,所以可組合性也更高。舉例來說,EthStorage可以將NFT的元數據鏈上存儲在EVM環境中,并可通過智能合約完成NFT組合等需要可編程性才可以實現的新玩法,改善用戶體驗,而鏈上數據的可編程性在未來也會衍生出更多的新Defi、Gamefi、Socialfi應用。目前來看,L1存儲擴展網絡和DSN網絡是互補且競爭的,要在EVM生態中生存并且將其存儲范式演化成官方標準,需要時間來驗證。
未來發展的可能性
總的來說,Filecoin和Arweave發展至今已經成為了去中心化存儲的代表性項目,也代表著去中心化存儲的0到1過程基本完成。在發展理念上,將非鏈上核心數據拆分到存儲層已經成為了以太坊擴容的主要手段。
與此同時,存儲聚合網絡和L1擴展網絡作為補充和延展,可以更高效、低成本的滿足用戶的具體需求,而基礎的DSN網絡還有很多需要解決的問題:生態應用偏少、存儲與計算分離、Web2onboarding較難等問題都阻礙了DSN邁向下一波增長。在未來,本文判斷以下幾種類型的項目有可能成為下一波增長的引擎:
1.DSN聚合器:建立在不同/相同DSN網絡上的聚合入口,并提供費用最優化的選擇、統一代幣支付、數據可用/調用服務等提升用戶友好性的工具。類似項目:Lighthouse,4EVERLAND
2.鏈下計算:雖然Filecoin已經在鏈上的去中心化計算布局,但純粹的鏈上計算并不能滿足更復雜的計算要求。結合鏈上數據和鏈下計算的綜合性解決方案可可以通過完成更復雜的計算來提升數據的使用價值,擴展用例。類似項目:KwilDB,Tableland
3.L1存儲擴展網絡:L1存儲和算力擴展的優勢是可以直接與L1生態產生深度連接,即使滿足類似social、gaming這樣數據存儲需求較大的項目,同時還可以在獲得官方認可后快速大規模實現integration。類似項目:EthStorage
4.第三方數據安全網絡:對現有的DSN中存儲的數據進行安全保護,對存儲節點進行審查、備份和阻擋黑客攻擊,提供相關賠償保險方案。類似項目:Jackal
參考文獻:
https://cointelegraph.com/news/3-cloud-providers-accounting-for-over-two-thirds-of-ethereum-nodes-data
https://ethereum.org/en/developers/docs/storage/
https://6pjecoitbb3mbacc67rvmct3gbugplnty5ptok4rgunlo24tvq.arweave.net/89JBORMIdsCAQvfjVgp7MGhnrbPHXzcrk_TUat2uTrA
https://filecoin.io/blog/posts/the-filecoin-masterplan/
https://arweave.news/arweave-2-6-major-upgrade-more-data-less-energy/
熊市如何尋找NFTAlpha?這是昨晚SpaceDao的第一次圓桌討論推特Space,給我安排的題目。對此我做了一些分享.
1900/1/1 0:00:00SBF、AIPAC和親特朗普的億萬富翁是如何協調壓制左派的?當我調查SBF的捐贈以寫上周的后續文章時,我想我知道我在尋找什么。這是我以前寫過的一個主題.
1900/1/1 0:00:00注:本文來自@thecryptoskanda推特,MarsBit整理如下:經歷了一輪輪黑天鵝的洗禮,又到了KOLfud天fud地,大肆討論合規監管這樣喜聞樂見的環節了.
1900/1/1 0:00:00注:本文來自@LouisCooper_推特,MarsBit編譯整理如下:理解和識別新的敘事是在加密貨幣中賺錢的最簡單方法.
1900/1/1 0:00:00以下是a16z今年冬天正在閱讀的一些書籍和正在玩的游戲,內容涉及潛水、半導體和間諜......而且大多是小說.
1900/1/1 0:00:00本周,我們將查看自FTX內爆以來一直在上升的DeFi指標,并推斷這些趨勢對加密貨幣和你的未來戰略意味著什么.
1900/1/1 0:00:00