海量不止是容量曙光問鼎MassStor100榜首_TOR

北京2021年2月1日/美通社/--眾所周知，如今我們正身處信息爆炸的時代，隨著新基建的逐步深入，各行各業都在快速推進數字化轉型，隨之誕生的各類創新技術層出不窮。這些新技術的發展，大多都圍繞著海量數據這個主題展開。如人工智能，就是以海量數據為生產要素；5G技術的成熟應用，為海量數據快速生成與傳輸筑造了通路基礎，區塊鏈又為海量數據的去中心化交易提供了技術支撐。此類新技術的應用與推廣必然帶來海量數據的規模化聚集，數十甚至數百PB的存儲系統，將成為業界常態。應對海量存儲壓力，絕是不僅僅靠設備堆砌來解決容量問題這樣簡單。容量的上的疊加也將引發技術的質變，存儲系統面臨諸多關鍵技術上的挑戰。

曙光是國內第一家專注海量存儲系統研制的廠商，2009年第一代全自研ParaStor分布式存儲系統誕生，奠定了構建海量數據存儲最佳解決方案的基石。同年，曙光為用戶構建了當時國內最大的16PB單一存儲系統。在10多年的發展過程中，曙光始終圍繞海量分布式存儲系統進行架構的深度優化甚至局部重構，以應對云、人工智能、區塊鏈等技術帶來的海量數據新的挑戰。今天，曙光ParaStor在科研教育、氣象環保、生命科學、能源、區塊鏈等領域打造了一個又一個海量存儲最佳實踐，完成了從單套系統23PB、56PB到百PB級別的自我技術超越，獲得了市場的高度認可。

比特幣閃電網絡容量跌破5000枚BTC，過去30天減少9%:7月23日消息，1ML數據顯示，比特幣閃電網絡容量跌破5000枚BTC（截至發稿時為4,940.31 BTC），過去30天跌幅為9%；節點數量為16,412，通道數量為69,274。

歷史數據顯示，比特幣閃電網絡容量于2022年10月突破5000枚，此后大部分時間維持在5000枚之上并一度超過5300枚。[2023/7/23 15:53:38]

基于多年技術積累以及多套百PB級別超大規模存儲系統研制和運維經驗，曙光公司認為，只有擁有如下核心技術研發實力，才能更好的應對各行業海量數據存儲的挑戰。

先進、創新的底層存儲技術基座

在基礎架構層面，傳統集中式存儲架構由于Scale-up擴展方式的局限性，無法對海量數據的容量與性能需求實現良好的支撐，天然適合此類場景分布式存儲架構逐漸成為市場主流。為了應對海量存儲的挑戰，曙光ParaStor除了采用分布式架構之外，還可靈活選擇對稱與非對稱部署兩種模式，以更具性價比的硬件構建成本，支撐千億級別文件、EB級存儲空間的擴展需要。

XRP Ledger分類賬數量突破7900萬:金色財經報道，XRP分類帳區塊鏈瀏覽器XRP Scan在社交媒體宣布XRP Ledger實現了其增長軌跡中的一個里程碑，當前平臺分類賬總量已突破7900萬，本文撰寫時達到79,138,636個，其中交易量351,332筆，成功的支付交易數量為59,245筆。截至目前，累計已銷毀的XRP數量達到11,017,524.42枚。[2023/4/16 14:06:52]

除了架構之外，決定存儲系統先進性的另一關鍵要素是底層數據管理技術。目前業界分布式存儲系統，大多采用ext4、xfs等開源文件系統進行底層磁盤管理，以降低代碼開發量，縮短產品研發周期。但這種間接的磁盤管理方式，無法更直接、高效地發揮磁盤性能。特別是在配置了數千甚至上萬塊磁盤的海量存儲系統中，單個磁盤的性能衰減會成指數級放大，最終影響存儲系統的整體性能和可靠性。為解決這個難題，曙光在ParaStor上創新性地開發了OBS本地對象管理系統。利用OBS可以精細化控制磁盤IO，使應用層的多個小隨機IO智能組合為大的順序IO，減少磁盤操作，使數據布局和負載更均衡，顯著提升多事務并發、IO異步處理等海量數據應用場景的系統性能。并為熱點數據加速、自動分層、重刪壓縮等進階數據管理服務的高效運行打下了良好的基礎。

《雪崩》作者：用戶生成的內容可以穩定數字經濟:3月6日消息，《雪崩》作者Neal Stephenson表示，用戶生成的內容可以穩定數字經濟，他認為數字資產金融化是建立繁榮版本的元宇宙的關鍵，在元宇宙中，人們賦予數字資產的價值超出了它們可以出售的價值。

據悉，Neal Stephenson1992年的科幻小說《雪崩》（SnowCrash）首創了“元宇宙”一詞，將其描述為一個3D虛擬領域，人類在其中參與并擁有物品。Neal Stephenson于2022年6月啟動一個以元宇宙為重點的區塊鏈項目Lamina1。[2023/3/6 12:44:09]

海量并發應用場景下的深度性能優化

海量數據應用場景下，應用IO模型復雜多樣、文件粒度差異很大，為了匹配不同應用對帶寬、IOPS、延時的個性化需求，要求存儲系統具備從磁盤管理、網絡層到協議層整個IO路徑上的深度優化能力。同時，隨著參與數據存儲和處理節點數量的增加，由此帶來的資源開銷也會攀升，同樣需要針對性的優化設計。

過去90天美元Stablecoin USDC市值已蒸發超50億美元:9月13日消息，據CoinGecko數據顯示，過去90天美元Stablecoin USDC市值一直呈減少趨勢，已蒸發超50億美元。歷史數據顯示，USDC市值在6月20日觸及90天高點564.01億美元，今日觸及513.82億美元低點，縮水幅度達到50.19億美元，目前USDC市值為51,382,886,350美元。[2022/9/13 13:27:05]

從建設成本角度考量，海量存儲系統仍以機械磁盤為主角。機械磁盤由于尋址方式的物理設計，在處理隨機小文件IO時會有先天的性能劣勢，單純依靠硬盤數量的增加無法應對海量小文件的性能挑戰。曙光ParaStor基于底層OBS管理系統實現與閃存介質的深度融合，使用少量閃存高效覆蓋熱點IO需求，另一方面通過小IO合并、元數據緩存、動態智能預讀等多種方式，顯著提升海量大、小文件混合應用場景的整體用戶性能體驗。

以太坊研究員：在強審查狀態下，被審查交易將永久失敗:8月31日消息，Justin Drake 做客播客Bankless，并對以太坊 PoS 狀態下的監管問題進行了解答。Justin 將可能的監管分為“弱監管”與“強監管”，在弱監管狀態下，假設網絡出塊節點中的 90% 面臨審查，10% 的節點將可能打包被監管交易，但由于概率問題，交易通過時間將延遲數倍；而在強監管狀態下，Justin 假設監管機構會針對“驗證節點”進行審查，一旦驗證節點大規模投票反對被審查交易，交易將永遠不可能成功。[2022/8/31 13:00:19]

同時，曙光ParaStor通過高性能網絡InfinibandRDMA協議支持、專屬高性能POSIX客戶端等技術，針對具體的應用場景，單流帶寬可優化至18GB/s，在首屆中國海量存儲系統MassStor100排行榜中，一套裸容量為100PB的存儲系統，其系統聚合帶寬高達1TB/s，代表了業界最高水準。

隨著存儲系統規模的擴大，存儲客戶端對于CPU等資源的占用、數據網絡的負載和管理壓力也會增加，一旦某個節點由于上述原因出現阻塞，將對存儲系統的性能甚至可用性造成重大影響。曙光ParaStor分布式存儲系統，針對大規模集群的資源占用進行了多重細粒度的優化措施，保障了存儲系統性能的恒定發揮和數據訪問的可用性。

超大規模下的數據一致性和可靠性保障

在數據一致性保證層面，海量存儲系統必然伴隨著大量客戶端的并發訪問需求。通過軟件層面的高效調度，保障所有客戶端數據訪問的強一致性，避免對同一文件的并發讀寫對彼此數據的破壞，是一個成熟海量存儲系統的必備素質。ParaStor存儲在分布式鎖的使用與優化方面投入了大量精力，不斷提升大規模分布式鎖獲取與釋放的性能與可用性，并增加了可重入、非阻塞等特性，有效保障高并發共享訪問場景的順序、秩序與效率，在氣象環保、能源地質等海量數據處理場景得到了廣泛的應用。

在可靠性保障方面，硬件單點故障的防范只是海量存儲系統的初級需求，智能化故障預處理與高效無感知的系統自愈才能讓系統真正可靠穩定運行。以磁盤為例，對于磁盤的單點故障，我們可以通過成熟的多副本、糾刪碼、RAID等技術實現數據重構，對于中小規模存儲系統，磁盤故障屬于小概率事件，用戶只需要在某一段時間內對前端業務性能與重構性能做簡單取舍即可。但對于一個管理著上萬塊磁盤的百PB級海量存儲系統而言，意味著平均每天會有約2-5塊磁盤故障，存儲系統大部分時間內都處于業務與重構的資源爭用狀態。如果沒有妥善的處理方式，用戶每天都會面臨著要保障生產業務性能還是保障數據安全的靈魂拷問。曙光ParaStor存儲系統為大集群場景定向開發了內部資源動態調度管理算法，在充分發揮硬件處理能力的基礎上有效避免資源爭搶，同時通過多重技術顯著縮短故障數據重建時間，解決了性能與可靠性沖突這個海量存儲故障處理的主要矛盾。

智能化運維挑戰上千節點的管理

在運維管理方面，維護由數百甚至數千節點構成的海量存儲系統，僅靠傳統的管理方式顯然是不可行的，各節點間的信息實時同步開銷會成為存儲系統的不可承受之重。曙光ParaStor在集群通信管理模塊中，將節點按照不同角色抽象成多個管理分組，以分組為單位進行管理信令交互，增大了信息傳遞顆粒度以降低通信頻度，實現管理流量的去中心化錯峰交互，集群信息秒級同步，使系統中所有節點都能“統一思想，明確目標”，提升存儲系統的整體戰斗力。

積土成山，風雨興焉；積水成淵，蛟龍生焉。正如常規軟件處理方式無法應對巨量數據集合的捕捉、管理與計算，而必須引入大數據等新型數據處理模式一樣，海量數據存儲在基礎架構、數據管理、性能優化、數據一致性、可靠性保障、運維管理等需求也需要全方位的定向深度優化才可能完美承載。曙光ParaStor在海量存儲領域持續深耕，正在為全國數千家用戶管理著超過10EB的核心數據，為云計算、軌道交通、氣象環保、基因測序、能源勘探等行業用戶的海量數據管理提供了堅實穩定的保障。放眼未來，曙光存儲將繼續總結與吸收海量數據存儲系統優化與運維過程中積累的寶貴經驗，并在數據全生命周期管理，在線實時數據處理，以及與區塊鏈、AI、容器等新興技術深度融合等方面加強投入，為用戶提供更快速、更可靠、更智能、更便捷的一站式數據管理服務。

來源：金色財經

Tags：RASTORSTOSTORRASTA價格TORCCrypto Legions BloodstoneSTORJ

火幣APP