速讀 Evmos 升級失敗官方分析報告及解決方案_MOS

作者：Evmos官方團隊

編譯：Lukie

3月7日上午，CosmosEVM兼容中心Evmos在Discord官方群表示，網絡升級失敗，并將暫停24-48小時。3月8日下午，CosmosEVM兼容中心Evmos在推特發文稱，「鑒于社區反饋，Evmos至少在接下來的幾天內都不會上線」。

今日15：27時，Evmos團隊在Github上發表了升級失敗報告，對網絡升級失敗的核心問題進行了解讀。

為什么鏈停止運行了？

?核心團隊在主網上發布了部分測試的升級程序代碼

?發生共識錯誤之后協調失誤，團隊安排的時間太緊湊，只有幾個小時可用于進行升級部署

?升級的復雜性達到了一個極端——需要徹底重啟整個網絡并完成同步

?5個驗證者雙簽，導致它們被tombstoned

1）當驗證者被tombstone后，他們將不能再次成為驗證節點。

2）這是一個嚴重的錯誤。tombstone本質上是永久封禁，所有的委托都需要手動解除綁定，這對委托人來說也是一個可怕的場景。

Beosin發現Move VM嚴重級別漏洞:金色財經報道，近日，區塊鏈安全公司Beosin發現Move VM嚴重級別漏洞。Beosin安全研究團隊在Move虛擬機中發現了一個沒有限制遞歸調用深度而導致的棧溢出漏洞，這個漏洞可以導致整個網絡崩潰（total network shutdown），還會讓新的validator節點無法加入到網絡中，甚至有可能導致硬分叉（hard fork）。Sui mainnet_v1.2.1、Aptos mainnet_v1.4.3以前的版本都受此漏洞影響。目前該漏洞已被官方修復。Suimainnet_v1.2.1、Aptosmainnet_v1.4.3、Move-language 2023年6月10日之后的版本修復了此漏洞。[2023/6/15 21:37:59]

?考慮到受影響的驗證節點和用戶，暫停這條鏈是可以接受的。

?在嘗試恢復網絡數小時后，我們目睹了多個驗證節點被tombstone。驗證者社區和核心團隊認為這是不對的，于是決定停止網絡，直到新版本測試達到可用于生產的狀況后再重啟。

為什么會出現5個驗證者雙簽？

鄭州出臺元宇宙產業方案：擬設100億基金，元宇宙企業主板上市獎2000萬:金色財經報道，鄭州市發改委24日就《鄭州市元宇宙產業發展實施方案（征求意見稿）》和《鄭州市元宇宙產業發展若干政策（征求意見稿）》向社會公開征求意見。其中《鄭州市元宇宙產業發展實施方案（2023-2025年）（征求意見稿）》提出發展目標：到2025年，元宇宙核心產業規模突破500億元，帶動相關產業規模超過2000億元。引進培育“100+”元宇宙領先企業，培育“300+”家創新型中小企業，打造“50+”典型應用場景。力爭經過三年努力，把鄭州市打造成為全國一流元宇宙創新之城、產業之城、融合應用之城。（大河報）[2023/5/27 9:45:35]

?他們在共識停止期間運行unsafe-reset-all，導致他們破壞了priv_validator_state.json文件。此外，一些節點在遷移到其他機器的過程中，并忘記拷貝遷移priv_validator_state.json文件

?他們不知道必須備份并遷移priv_validator_state.json，因為當鏈正常運行時這通常都不是問題，大多數塊將在一輪內達成共識，并且在說明手冊中沒有明確說明一定要這樣做。

《財富》雜志將于4月9日啟動新NFT發售拍賣:4月5日消息，《財富》雜志在官推宣布將于2023年4月9日通過Foundation平臺啟動新NFT系列發售拍賣，這也是《財富》雜志舉行的第二次NFT拍賣活動。據悉，該NFT基于《財富：加密貨幣從有史以來最糟糕的一年中復蘇》（Fortune: Crypto Climbs Back From The Worst Year Ever）文章封面制作，起拍價或將定為0.1 ETH。[2023/4/5 13:46:12]

為什么有這么多驗證者運行unsafe-reset-all而不保留他們的priv_validator_state.json?

?驗證者必須從快照中恢復，因為如果他們在升級期間重新啟動節點，他們將不再參與共識，所以在這樣做時，它們要么完全刪除$EVMOSD_home/data，要么運行unsafe-reset-all。在共識停止期間執行此操作時，它是不安全的，并且如果沒有備份priv_validator_state.json，則不完全了解如何恢復。

?關于priv_validator_state.json有很多誤解

韓國政務委員會將于月底提出并討論“虛擬資產相關法案”:金色財經報道，韓國政務委員會將于3月28日開始召開第1議案審議分會，提出并討論“虛擬資產相關法案”的立法，4月將舉行公開聽證會，聽取專家意見。

韓國國會政務委員會目前有18項待決的虛擬資產相關法案，包括11項與虛擬資產相關的立法法案、4項電子金融交易法修正案、2項特定金融信息法修正案和1項關于設立金融服務委員會的法案。（MoneyToday）[2023/3/22 13:19:20]

?關于這個文件在重新同步時的影響，沒有明確的答案

為什么驗證者必須從快照中恢復？

?當鏈停止運行并且人們在停止期間重新啟動他們的驗證節點時，驗證節點不會自動恢復參與共識流程。

?因此，解決方案是使用快照重新啟動一個新的數據庫。

?在這段時間里，許多人超量訪問Polkachu端點，但是在從頭開始下載或同步節點之后，操作人員設法啟動了Polkachu快照的鏡像。

?雙簽的人和該區塊提交者有很強的關聯性。

以下是在區塊高度58701的共識流程中違反拜占庭規則的行為：

工信部首屆中國算力大會發布紀念款數字藏品:金色財經報道，工信部首屆中國算力大會發布紀念款數字藏品，限量9999份，免費發行。中國算力大會由工業和信息化部與山東省人民政府共同主辦,旨在展示我國算力基礎設施發展最新成就,加強與國內外算力相關的技術和產業交流合作,搭建政產學研對接平臺,推動算力賦能千行百業,助力經濟社會全面數字化轉型。（鳳凰網）[2022/6/29 1:37:55]

BF5FC06E32A4168817A16D69692F36C8F7A5DA37,proposedround0,anddoublesignedround0.

FF9F24A7DB626386EBA92D1E8D058474CEC40C26,proposedround2,anddoublesignedround2.

4F8EDD442959D0BB78F8CE0012BAD23AFEE6E08C,proposedround4,anddoublesignedround4.

76692115F93AE444FA857C7BA963F125D8C2E6C6,proposedround8,anddoublesignedround8.

9BA4035E5B58DAB71B6573791FDAA3D9E1C78A00,proposedround10,anddoublesignedround10.

為什么驗證者要重新啟動它們的節點？

?一些節點重新啟動，因為它「看起來卡住了」。

?其他節點重新啟動，因為沒有人能夠保持一組可靠的peer。

?本次升級比大多數驗證者所習慣的升級都要復雜。

為什么沒有一群穩定同步的peer呢？

?我們懷疑許多節點并沒有進行升級，導致升級重新啟動后的節點連接到一些沒有升級的無效節點。許多節點的addrbook.json因為沒有升級導致他們與新版本無法兼容。

?人們很可能連接到沒有升級的seed，并可能傳播他們大量無效的addrbook.jsonpeer。

?當人們在升級過程中關閉他們的節點，導致peer的狀況變得更糟。

?有幾個關鍵節點直到后來才升級，這意味著許多關鍵節點都在運行舊版本。

?我們在解決，并創建了一個穩定的peer列表。

為什么我們需要在v2.0.1之前緊急發布v1.1.2版本？

?在高度58,700它需要一個升級處理程序緊急升級鏈。我們不想通過治理進行升級，因為有一個安全漏洞還沒有被修復，否則需要等待至少5天的時間，這會導致大量的人利用漏洞竊取他人的資產。

為什么我們沒有發現v2.0.0早期升級失敗的問題？

?沒有自動化的測試套件來捕捉錯誤，因此測試必須從頭開始構建測試工具或手動完成。手動測試一直持續到交付的最后時刻，但是并非所有團隊成員都能擁有在遷移期間快速手動測試需求的能力。

?因為我們在最后一分鐘更改了遷移邏輯以嘗試通過模塊遷移進行升級，所以我們在升級前測試了這大約300個塊。我們沒有足夠的時間在幾個小時前召集可用人員并準備好進行測試，因為這是手動測試，需要對升級有深入的了解。

?當我們使用舊的升級處理邏輯時，在指定塊高度使用cosmovisor進行升級時已經通過測試并可以正常工作，但它不符合最佳實踐，因為設置新的參數應該在模塊本身的遷移處理程序中完成。在編寫遷移處理程序時，我們試圖獲取現有參數并進行設置，當你在遷移過程中時GetParam將返回空字節。所以解決方法是在遷移中設置所有新參數，而不從存儲中檢索舊參數。

?當我們測試遷移邏輯并發現故障、其他Evmos工程師重新上線時，它已經落后了300個塊。到那時，已經來不及了，Evmos不得不接受在區塊高度58700升級的命運。

為什么這個升級對于驗證者來說變得如此復雜？

Evmos團隊在協調緊急升級時出現了幾個錯誤：

?沒有對v2.0.0進行測試導致了第二次更新。如果沒有經過測試，則應該推遲升級。

?由于漏洞的嚴重性，發布時間很緊迫。

1）通知應至少提前24小時發出，區塊高度有所推遲，但在升級前幾個小時發布的版本被限制了，這意味著驗證者必須在線交換二進制文件。

2）升級非常激進。

3）時間線是在修復之前選擇的，這不是安全事件的處理方式。

4）即使用戶資金存在風險，也應該在公開之前找到解決方案，即使是更?廣泛的驗證者組。

?在不可行的時間線上為此使用cosmovisor，當原始設計使狀態機兼容直到分叉高度時，需要手動升級。團隊在節點運營商中過度估計了cosmovisor的重要性。

為什么要花這么多輪來嘗試升級？

?因為升級版本是最后一刻發布的，而且升級失敗了，是不能立即恢復的。

?投票權不在我們這里，我們在爭取了66%的投票權，在10輪回合中，也就是說持續了數小時。

為什么人們需要依賴快照和重新同步v1.1.2來重新應用升級v2.0.1？

當驗證者開始使用v2.0.1版本時，許多人認為peer存在問題，因為這在Cosmos生態系統中很常見。在停止運行其節點以修改對peer列表和/或增加peer數量之后，他們重新啟動了節點。我們認為這導致了Tendermint的一種不確定狀態。正如我們所說的，這種不確定狀態導致Tendermint不知道它應該處于塊同步模式還是共識模式，從而導致節點處于閑置狀態。要從這種不穩定狀態中恢復，用戶需要刪除他們的數據庫并從升級前的快照中恢復并同步到升級高度，然后更改到v2.0.1.

此外，Evmos團隊還在Github上發布了補救文件供開發者和驗證者參考。

Tags：MOSUNDEDRDROMOSTSound CoingreatsanhedrinDropil

BNB