Tech at Klaytn技術系列：確認產生Cache問題的原因_CHE

KlaytnStateTrieCacheSeries#1:?確認產生Cache問題的原因

Klaytn為了提高區塊鏈平臺的性能，做了許多方面的努力。我們將通過下列文章介紹statetriecache性能改善過程。

??確認Cache問題的原因

??尋找最佳的Cache

??計算Statetriecachemiss

??進行?CacheSizeTuning

本篇將介紹進行Klaytn有關測試時出現的問題以及這些問題的來源-Go語言GC(GarbageCollector)。在進行Klaytn有關測試時，出現了下列問題。

<imgalt=""class="tuvhyaj-qobx"?src="https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6"width="482"height="321"srcSet="https://miro.medium.com/max/552/0*KSFKadBeRExUlkA6276w,https://miro.medium.com/max/964/0*KSFKadBeRExUlkA6482w"sizes="482px"/>

Glassnode：BTC HODLer凈頭寸指標數值達到3個月低點:4月12日消息，據 Glassnode 數據顯示，BTC HODLer 凈頭寸指標數值達到 3 個月低點，截止發稿時為 14,596.304[2023/4/12 13:59:47]

利用Prometheus提供的API測試內存使用量

在Klaytnbinary中，以3500TPS處理transaction時，大約需要用到100G的內存。我們為了確認具體是哪里在消耗大量內存，利用Go語言所提供的內存分析工具，進行了確認。

??gotoolpprofcn-mem0.prof

File:kcn

BuildID:7b45b11c163a99518095ffb64083e4aa61fd321f

Type:inuse_space

Time:Mar26,2020at8:56am(KST)

Enteringinteractivemode(type"help"forcommands,"o"foroptions)

(pprof)top

Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal

Dropped382nodes(cum<=0.22GB)

Showingtop10nodesoutof77

ETH 2.0總質押數已超1708.18萬:金色財經報道，數據顯示，ETH 2.0總質押數已超1708.18萬，為17081815個，按當前市場價格，價值約273.85億美元。此外，目前ETH 2.0質押總地址數已超54.71萬，為547062個。[2023/2/27 12:30:52]

?flatflat%sum%cumcum%

?30GB68.97%68.97%30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue

?5.65GB12.98%81.95%5.65GB12.99%github.com/allegro/bigcache.(*cacheShard).set

?1.53GB3.52%85.47%1.53GB3.52%reflect.New

?1.25GB2.87%88.35%2.60GB5.97%github.com/klaytn/klaytn/ser/rlp.decodeBigInt

通過內存分析工具，我們可以看到每個部分所消耗的內存。在上述結果中，可以通過?Showingnodesaccountingfor41.91GB,96.33%of43.50GBtotal看到kcnbinary占了43.5GB，還可以看到其中的96.33%，即41.91GB具體用在哪里。不僅如此，通過30GB68.97%github.com/allegro/bigcache/queue.NewBytesQueue，可以看到有30GB(68.97%)用于bigcache上。

法院裁定Yuga Labs的兩位領導人被免職:金色財經報道，加利福尼亞州的一家聯邦法院裁定，Yuga Labs的兩位創始人Wylie Aronow和Greg Solano不是最高證人，因此必須被免職。

證詞是指個人在審判前提交問題和回答。但現在，本案被告Ryder Ripps在推特上聲稱Aronow不會出庭作證。Ripps說，“如果他沒有出現，Yuga將負責支付與失敗的證詞相關的任何費用。雙方必須在方便的時候盡快開會并真誠地商定Aranow先生的證詞替代日期，”本案始于2022年6月，當時Yuga Labs提起訴訟，聲稱Ryder Ripps通過“模仿”NFT侵犯了Yuga的知識產權。Ripps律師提出反訴，稱每個NFT在設計上都是獨一無二的，因此NFT不能被復制。[2023/1/10 11:03:21]

??

這兩個測試結果中，我們發現了問題。根據Prometheus所提供的內存使用library，kcn大約占了100GB，但內存分析結果(43.50GBtotal)表明，kcnbinary只占了?43.5GB。我們無法確認其余56.5GB(=100GB-43.5GB)的內存去了哪里。?

于是我們猜測應該是Bigcache占據了大部分內存。為了確認Bigcache是否占據了內存，我們在相同環境的2臺服務器上設置了不同的cachesize進行測試，設置分別為30GB和0GB。2臺服務器的top和內存分析結果如下。

(Top命令結果是GiB，Prometheus所提供的library的結果是GB，兩者為相同的量)

Binance Custody集成區塊鏈分析公司TRM Labs風險管理工具:10月24日消息，據區塊鏈智能和分析公司 TRM Labs 官方報道，機構級數字資產托管解決方案 Binance Custody 已集成 TRM Labs 的風險管理工具，確保客戶監管合規和風險管理計劃，旨在減輕金融犯罪風險，Binance Custody將使用TRM 篩選高風險錢包，并監控和調查可疑交易，解決機構投資者在數字資產領域面臨的安全、監管和運營挑戰。[2022/10/24 16:36:33]

Cypresssynctest

AWSInstance:m5.8xlarge

memorysize:128G

cachesize:30G,0G

<imgalt=""class="tuvhyaj-qobx"src="https://miro.medium.com/max/1484/1*BUBXxboSlBArnNSfLo4KDw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*BUBXxboSlBArnNSfLo4KDw.png276w,https://miro.medium.com/max/1000/1*BUBXxboSlBArnNSfLo4KDw.png500w"sizes="500px"/>

數據：ETH/BTC比率上周創下自去年12月中旬以來新高:9月12日消息，據Tradingview數據顯示，ETH/BTC比率在9月8日達到0.084647，創下自2021年12月中旬以來新高，目前該比率小幅回落至0.079附近。[2022/9/12 13:24:01]

<imgalt=""class="tuvhyaj-qobx"src="https://miro.medium.com/max/1484/1*KydRE8pnP0G5-3s5h9KVSw.png"width="742"height="366"srcSet="https://miro.medium.com/max/552/1*KydRE8pnP0G5-3s5h9KVSw.png276w,https://miro.medium.com/max/1000/1*KydRE8pnP0G5-3s5h9KVSw.png500w"sizes="500px"/>

top命令結果(左：cache30G；右：cache0GB)

<imgalt=""class="tuvhyaj-qobx"src="https://miro.medium.com/max/2156/1*pKdGJgwuIBTPgAjBH_JLNQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*pKdGJgwuIBTPgAjBH_JLNQ.png276w,https://miro.medium.com/max/1000/1*pKdGJgwuIBTPgAjBH_JLNQ.png500w"sizes="500px"/>

<imgalt=""class="tuvhyaj-qobx"src="https://miro.medium.com/max/2156/1*0VudYV4vE8HnwT0bXF6CiQ.png"width="1078"height="564"srcSet="https://miro.medium.com/max/552/1*0VudYV4vE8HnwT0bXF6CiQ.png276w,https://miro.medium.com/max/1000/1*0VudYV4vE8HnwT0bXF6CiQ.png500w"sizes="500px"/>

GoMemoryProfiling結果(左：cache30G；右：cache0GB)

我們可以看到，被分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為70GB和35GB，有35GB的內存追蹤不到。而沒有分配Bigcache的服務器其Top和內存分析結果中內存使用量分別為5GB和2GB，有3GB的內存追蹤不到。?

通過以上測試，我們可以推斷，若使用Bigcache，會占用大于分配額的內存。而就算不使用Bigcache，也會出現3GB左右的遺漏。當然，GC(GarbageCollector)的運作，可能令不管使用什么樣的Go程序都有機會出現內存分析結果和實際使用量的誤差。

而且，我們通過這篇文章可以得知，長時間占據大量的heap內存，并在分配時使用pointer的話，會消耗非常大的內存。

<imgalt=""class="tuvhyaj-qobx"src="https://miro.medium.com/max/3200/0*E7gDbvMeS8E_YPgO"width="1600"height="572"srcSet="https://miro.medium.com/max/552/0*E7gDbvMeS8E_YPgO276w,https://miro.medium.com/max/1104/0*E7gDbvMeS8E_YPgO552w,https://miro.medium.com/max/1280/0*E7gDbvMeS8E_YPgO640w,https://miro.medium.com/max/1400/0*E7gDbvMeS8E_YPgO700w"sizes="700px"/>

GC(GarbageCollector)可尋找程序動態分配的內存中不再運作的部分，收回該部分的內存并分配給其他區域。為此，Go語言的GC(GarbageCollector)會對沒有運作的區域進行確認，看是否被分配了內存。這時，用于確認的標志就是pointer，如果某個區域有很多pointer或占據了大量內存，GC在搜查過程中會消耗較大內存。

話句話說，在運行GC(GarbageCollector)之前，內存使用量為44GB，一旦開始運行，內存使用量就會增加100GB。再加上進行內存分析的時間剛好在GC完成運轉后，所以只看到了運轉前的內存使用量，即44GB。由于Klaytn分配的Bigcache量很大，所以GC一直在消耗更多的內存。

這類情況會導致系統突然出現內存不足的情況。因為Klaytn需要長時間運轉，必須避免由于占用過多內存導致系統突然崩潰的情況。在下一篇文章內，我們將會介紹解決該內存遺漏問題的過程。

關于Klaytn

項目名稱:Klaytn

英文縮寫:KLAY

官方網站:https://www.klaytn.com/??

項目簡介：Klaytn是以服務為中心的企業級分布式信任區塊鏈平臺，通過高效的“混合”設計，結合了公有鏈和私有鏈的最優功能。Klaytn與全球眾多知名品牌的參與合作，通過共同的不懈努力，創建可靠的去中心化業務平臺。Klaytn治理委員會是一個由跨國企業和組織組成的聯盟，負責運營共識節點網絡，推動生態系統發展。Kakao的區塊鏈開發部門「GroundX」已正式推出Klaytn，并可用于商業用途。

來源：金色財經

Tags：COMCHEACHCACCommunity TokenSCORCHERHACHI價格cachain

POL幣最新價格