一文詳解連續型數據高效存儲之道_BLOCK

在《打破K/V存儲的性能瓶頸》中，我們提到區塊鏈中的數據可以分為「連續型數據」和「K/V型數據」，并對K/V型數據的特點及讀寫進行了闡述。我們以leveldb為例，了解到K/V數據在存儲時采用LSM-Tree的組織形式，存儲方式相對而言比較復雜，數據讀寫的復雜度也較高，且在數據量大的情況下會遇到性能下降的問題。針對這些問題，我們已經提出了一些優化思路，但這種數據格式讀寫的性能存在天然的缺陷。而優化思路里也提到，leveldb的歸并操作是為了讓SSLTable的key變得有序，說明有序的數據在讀寫方面有天然優勢。

區塊鏈中也有很多數據是有序的。因此，本文將重點討論連續型數據的特點和連續型數據的讀寫方式，并根據實際場景中會遇到的問題提出我們的優化思路。

連續型數據，顧名思義，最大的特點就是連續。我們可以把連續型數據當做一種特殊的K/V數據，只不過其key值是單調遞增的。

“那么在區塊鏈中，什么樣的數據是連續的呢？”

區塊鏈中有一個重要的概念：區塊號，就是單調遞增的。區塊鏈是一個賬本，記下來的賬是只增不減的，區塊也是不斷向后追加的。因此，以區塊號為單位存儲的數據就可以認為是連續型數據。在上一篇推文中，我們提到除了區塊數據以外，回執數據、修改集數據也是連續型數據，這是因為每一條回執，每一條世界狀態修改記錄，都對應于一筆交易，而交易是區塊的組成部分，因此這些數據也可以以區塊為單位來存儲。

任何數據存儲的目的都是為了查詢，因此我們在存儲連續型數據的同時，需要考慮對這些數據的查詢需求。一般來說，對于區塊和交易數據，會有以下查詢需求：

鮑威爾：將通過逐次會議決定利率的結果:金色財經報道，美聯儲主席鮑威爾表示：今天沒有做出暫停加息的決定。我們將通過逐次會議決定利率的結果。如果需要，我們準備采取更多措施。降低通脹可能需要一段低于趨勢的增長和勞動力市場較為疲軟的時期。必須及時提高債務上限。我的預測是美國經濟以和緩速度增長，而非衰退。如果沒有達成債務上限協議，經濟后果將“高度不確定”。本次利率決定未考慮債務上限僵局。美聯儲提及債務上限會對經濟前景構成風險。沒有人應該認為美聯儲能夠保護經濟免受政府未按時支付債務的影響。[2023/5/4 14:41:04]

1）給定一個區塊號，查詢對應的整個區塊數據；

2）給定一個區塊哈希，查詢對應的整個區塊數據；

3）給定一個交易哈希，查詢這筆交易的詳細信息；

面對這樣的查詢需求，我們在設計數據庫時需要考慮如何支持這些查詢。

▲?以太坊

連續型數據作為一種特殊的K/V型數據，自然也可以用K/V數據庫來存儲，例如以太坊就是這樣存的。在以太坊中，所有數據均存儲在leveldb中，區塊和交易相關的數據存儲方式如下：

(H)+BlockHash->BlockNumber

(h)+BlockNumber+(n)->BlockHash

(h)+BlockNumber+BlockHash->BlockHeader

(b)+BlockNumber+BlockHash->BlockBody

(l)+TxHash->BlockNumber

美國前財務部長：預計硅谷銀行的暴雷不會對金融體系構成系統性風險:3月11日消息，美國前財務部長勞倫斯·薩默斯在接受彭博社采訪時表示，其認為硅谷銀行的暴雷不會對金融體系構成系統性風險。[2023/3/11 12:56:13]

區塊數據直接存儲在leveldb當中，以區塊號和區塊哈希為key來進行查詢。這樣的存儲方式很方便，可以根據區塊哈希或區塊號快速查詢到區塊內容。但這種方式存儲下，leveldb的數據量會很大，數據的讀寫速度也會受到影響。

▲?HyperledgerFabric

超級賬本也是使用鍵值對數據庫存儲檢索信息，但是額外使用了文件存儲系統管理區塊數據。通過內存映射文件的方式提高了數據查詢的性能，但在多個索引或撤消歷史記錄的功能上存在局限。對于Fabric的數據存儲來說，一般都包含兩種方式，如下圖所示：

?文件形式存儲，用于記錄交易日志信息，所有的交易都是有序地連接在一起；

?NoSQL形式存儲，使用LevelDB數據庫實現保存索引信息的歷史記錄。

HyperledgerFabric中，賬本目錄中由blockfile_000000、blockfile_000001命名格式的文件名組成。為了快速檢索區塊數據，每個文件的大小是64M。每個區塊的數據都會序列化成字節碼的形式追加寫入blockfile文件中。在Fabric中，其索引組織格式如下：

(h)+BlockHash->BlockLoc

比特幣全網未確認交易數量為10156筆:金色財經報道，BTC.com數據顯示，目前比特幣全網未確認交易數量為10156筆，全網算力為274.18 EH/s，24小時交易速率為3.58交易/s。目前全網難度為37.59 T，預測下次難度上調1.29%至38.08 T，距離調整還剩10天19小時。[2023/1/19 11:20:07]

(n)+BlockNumber->BlockLoc

(t)+len(TxID)+TxID+BlockNumber+TxNumber->TxIDIndexValue

這里的BlockLoc表示數據在哪個blockfile中以及其偏移量。在Fabric中要根據區塊號或區塊哈希查詢一個區塊，將先在leveldb中查詢索引，獲取BlockLoc之后在文件系統中查詢區塊。

相比于以太坊而言，Fabric將區塊數據存在文件中，大大降低了NoSQL數據庫的存儲壓力，且索引中直接標識數據位置，可以很快在文件中讀取到區塊數據。

事實上，無論是以太坊還是Fabric，都沒有完全利用連續型數據的特點：根據key值來計算偏移量。例如我們知道key為100的數據的位置，就能夠推斷出，key為200的數據與該位置相差100條數據，這個特點有利于我們快速查找數據。因此，根據偏移量的特點，我們可以進一步減少讀寫數據的開銷。

連續型數據庫的整體結構圖

Vitalik Buterin提出“L3愿景”：不能通過在Rollups上堆疊Rollups來擴展網絡:金色財經報道，以太坊聯合創始人 Vitalik Buterin 發文《什么樣的Layer 3有意義？》（What kind of layer 3s make sense?），文章指出不能通過在Rollups上堆疊Rollups來擴展網絡，比如SNARK幾乎可以無限擴展，可以繼續制作“許多SNARK的 SNARK”， 以將更多計算縮減為單個證明。但數據不一樣，數據可以壓縮一次，但不能再次壓縮，因此“在Rollups上再Rollups” ”實際上并不能在可擴展性方面提供巨大效益。因此，Vitalik Buterin提出了“L3愿景”，主要包括：

1、L2 用于擴展，L3 用于定制功能，例如隱私。

2、L2 用于通用擴展，L3 用于自定義擴展。

3、L2 用于無信任擴展（Rollups），L3 用于弱信任擴展（驗證）。[2022/9/17 7:03:27]

數據庫由多個logsegment組成，每一個logsegment由一個后綴為.log和一個后綴為.idx的文件組成，分別用于存儲數據和對應的索引數據。

logsegment的結構圖

數據以文件的方式記錄到磁盤中，log為后綴的文件記錄原數據的信息，idx為后綴的文件記錄以log文件為單位的文件索引信息，用于快速定位需要查找的數據位置，每一個log文件都配套有一個相同前綴的idx文件。文件名前綴均為文件中存儲的第一條數據的偏移量數值。每一個log文件都有大小限制，當文件超過該限制時，新打開一個文件用于后續數據寫入。

Okada以NFT形式掛牌出售的辦公樓因采用以太坊報價導致價格下跌1200萬美元:6月16日消息，美國房地產公司 Okada 于約兩周前將其名下一棟紐約辦公樓以 2900 萬美元的價格掛牌出售。由于 Okada 將其以 NFT 的形式掛牌出售并采用以太坊報價而導致該辦公樓的價格下跌超過了 1200 萬美元。Okada 首席執行官 Chris Okada 表示將很快調整價格，并將在調整時決定報價繼續使用以太坊還是改為 USDC。（CoinDesk）[2022/6/16 4:30:47]

我們采用logsegment里的第一條數據的key值作為文件名，也是利用到了數據有序這個特點，使用時間復雜度更低的二分查找來快速確認某一條數據位于哪個logsegment中。在這樣的數據結構下，數據的讀寫效率將變得非常高。

對于一次寫入操作，就根據數據構造一條LogEntity和一條IndexEntity，直接追加寫入到最后一個文件末尾即可。對于一次讀取操作，首先根據要讀取的數據的key值，使用二分查找找到該數據所在的log文件中，然后根據該key值相對于文件名的偏移量，計算索引所在位置。計算方式如下：

索引位置=偏移量*IndexEntitySize

其中IndexEntitySize的值是一個常量，在我們的設計里大小為17byte，偏移量表示key值相對于文件名的差值。通過計算，可以快速定位到當前key對應數據在文件中位置。通過位置信息，可以讀取IndexEntity，得到其中的position字段，找到log文件中的真實讀取位置，然后根據log字段中的size得到應該讀取的字節范圍。

在這樣的設計之下，一次數據寫入操作只需要兩次磁盤IO，一次讀取操作只需要三次磁盤IO。相比于LeveDB復雜的數據組織格式，讀寫效率大大提高。此外，數據量的增大只會增加文件個數，即稍微增加二分查找的時間，但這點計算時間幾乎可以忽略不計，也就是說，該數據庫隨著數據的增大性能不會衰減。

下圖為我們設計的連續型數據庫相比于LevelDB，可以看出連續型數據庫的讀寫性能遠高于LevelDB。

設計這樣一個數據庫時，初衷是為了能更高效地存儲區塊數據，讓我們的平臺擁有更高的性能。隨著平臺逐漸成熟，我們也不斷完善數據庫，使其不僅讀寫效率高，還具有很好的魯棒性和健壯性，因此我們還從多個角度對我們的數據庫進行功能完善和優化，期望能夠適應更復雜的存儲環境以及更安全地存儲數據。

▲?句柄池

在數據庫使用過程中，不知道大家會不會經常遇到toomanyopenfiles的問題？那是因為，我們的操作系統對程序中可打開的「句柄數量」是有限制的。為了解決內存中打開的文件句柄過多的問題，更高效地利用句柄，我們引入了一種句柄池的機制來解決上述問題。句柄池的設置能夠保證單位時間內句柄的占用內存小，在并發讀取下也是線程安全的。

整體架構設計

圖中每個句柄entry維護文件名、句柄以及一個引用計數。我們用引用計數表示在當前時間，該句柄在多少個地方正在被使用。只有沒有進程在使用該句柄，即句柄引用計數為0的時候句柄才能被關閉。句柄池對外只提供句柄的申請與歸還接口。

實際使用過程中，句柄的申請和歸還是一個頻繁的并發操作，單個句柄池難以同時維護高并發情況下各個句柄的申請與歸還。例如剛好要清理句柄時，又出現了該句柄的申請請求，單個句柄池只能通過加讀寫鎖來控制并發，但這勢必會降低性能。因此句柄的打開和清理最好分離，所以我們句柄池的設計采用了兩個列表輪替的形式，其中一個處于活躍狀態，另一個處于清理狀態。活躍狀態的列表負責維護當前正在使用的句柄，而清理狀態的列表則負責將無用句柄關閉。新打開的句柄全部放入活躍列表中，清理列表則負責將所以引用計數為0的句柄關閉。當外部需要獲取句柄時，首先在句柄池中查看該句柄是否已經被打開：

如果已經打開，則將其引用計數加1；如果沒有打開，則打開句柄，也將引用計數加1，并把句柄放入活躍列表中；外部使用完畢后，歸還句柄至句柄池，即句柄的引用計數減1。每隔固定時間，數據庫將切換兩個列表，原本處于活躍狀態的列表將進入后臺進行清理，被清理過的列表則轉為活躍列表，負責下一階段里數據庫中要使用的句柄的維護。

與此同時，處于清理狀態的列表在后臺遍歷列表，對于引用計數為0的句柄進行關閉。這樣的設計能夠保證內存不會泄露的同時，更加高效地利用句柄，在頻繁讀取的情況下保證數據庫的性能。

▲?文件完整性

一般來說，成熟的數據庫都會保證存入數據的完整性，以防止數據庫被篡改或丟失數據卻不被發現。在區塊鏈系統中，這一點尤為重要。因此，在上述數據庫結構設計的基礎上，我們還設計了文件完整性的保證方案。數據庫在運行過程中會記錄數據狀態，當數據庫重啟時，我們會對數據狀態進行校驗，以防止數據被篡改。

單條數據的完整性我們已經通過CRC校驗碼保證了，但單個文件的完整性，我們需要設計其他的機制來保證。我們使用一個EDITLOG文件，用于持久記錄存儲文件發生的更改。當一個文件寫滿或者發生變更時，在該文件里追加寫入一條記錄。記錄的格式如下：

文件名變更類型哈希校驗碼CRC校驗碼

其中變更類別表示該條記錄對應的文件變更操作，由于數據庫支持數據歸檔，因而文件有可能會被新增、刪除或切分。

而哈希校驗碼，我們并沒有采用對整個文件內容進行哈希，而是采用對文件名、文件大小和文件修改時間這些信息做哈希計算。因為文件的內容較大，一次哈希的時間會很長，而事實上，防止文件損壞或被篡改，用這幾個文件屬性就可以基本滿足。

CRC校驗碼則進一步對對文件名和文件變化位計算CRC值，用于保證該條記錄不被修改。

本文是存儲系列推文的延續，對區塊鏈中連續型數據存儲的講解，著重介紹K/V型數據的存儲特點和優化思路，分析了連續型數據的特點，結合以太坊、Fabric存儲區塊和交易數據的模式，介紹我們設計的連續型數據存儲引擎。

通過研究發現，如果利用好連續型數據的特點，其讀寫效率將遠遠高于K/V型數據。由此受到啟發，在設計或選擇數據庫的時候，一定要分析我們需要存儲的數據特點，根據其特點來設計數據庫，才能將性能發揮到極致。

當然，我們在為區塊鏈設計特定的數據庫的同時，也希望該數據庫能夠更加完備與通用，因此也在以一個成熟數據庫的標準來優化拓展我們的功能，希望能夠應用在更多的場景中。

作者簡介

金鵬、王晨璐趣鏈科技基礎平臺部區塊鏈存儲研究小組

參考文獻

https://github.com/ethereum/go-ethereum

https://github.com/hyperledger/fabric

Tags：LOCBLOCKLOCKBLOCANY BlocknetBlockportblocktokenblock幣發行總量

USDC