Web3 可以從 Twitter 的時間線架構中學到什么_TER

簡介

11月13日，ElonMusk為Twitter進行了1000多次RPC來呈現用戶的主頁時間線而道歉。乍一看，如此大量的RPC似乎很荒謬。如今，Twitter每月為2.6億活躍用戶提供服務，并且可以近乎實時地提供服務。為了解決亞秒級延遲的大規模采用問題，Twitter率先推出了許多解決方案，包括ApacheStorm、Heron、DistributedLog和Aurora。他是Scala的主要貢獻者，包括finagleRPC框架，以及lambda架構、SnowflakeID和Segcache等創新。那么，為什么像Twitter這樣的創新型全球化公司需要如此多的調用來獲取用戶的時間線數據？

Twitter所面臨的問題讓我們想起了當前Web3中不斷增長的煩惱：開發者常常被迫一個接一個地連續調用許多API來獲取組裝業務邏輯的數據。這會導致性能不可靠且不可預測，即使對于最簡單的用例也是如此，例如獲取用戶的交易歷史記錄。就增長而言，前十大公鏈的交易量在兩年內翻了100倍。在圖1中，我們展示了每秒推文數量和每秒Web3交易數量之間的比較。如果Web3繼續沿著圖中描繪的軌跡發展，那么當今大多數Web3數據基礎設施解決方案將無法應對增長。

圖1：推文與Web3排名前10的鏈早期寫流量QPS對比。

Pudgy Toys上架亞馬遜兩天內已售出超2萬個，銷售額突破50萬美元:5月21日消息，NFT項目“胖企鵝” Pudgy Penguins首席執行官Luca Netz表示，Pudgy Toys在亞馬遜推出后頭兩天的銷售額超過50萬美元，已有超過2萬個獨立玩具售出。昨天，Netz在Twitter Space中表示，該團隊的主題是“希望Pudgy Penguins獲得成功，但也希望推動該領域向前發展”，并補充說，他們專注于以創新方式將數百萬用戶帶入Web3領域。[2023/5/21 15:16:36]

在這篇博文中，我們將重點介紹Web3可以從Twitter的擴展解決方案中學到什么。具體來說，我們討論以下內容:

?我們概述了Twitter的時間線基礎設施之旅，認為他們當前的架構確實對特定用例有意義，并得出結論，一些批評可能是錯誤的，例如ElonMusk最近的推文為渲染主頁時間線的大量RPC道歉。

?我們深入研究Twitter和Web3之間的技術相似性，并探索前者的解決方案如何使后者的解決方案受益。

?我們分析了當前的Web3增長趨勢，以及缺乏現有的高性能數據基礎設施解決方案，并得出結論，如果我們想要支持實時Web3數據訪問，則需要進行重大升級，以及ZettaBlock解決方案如何幫助開發人員減少70%的開發時間，并將性能提高10倍，演示可以在這里找到

Twitter的數據基礎架構之旅

一開始，Twitter使用VanillaMySQL。這很快成為了一個問題，因為在最初的幾年里，推文的數量每年增長10倍。從2007年到2012年，Twitter的月活躍用戶從幾千人增長到超過1.38億。已知的水平和垂直切分的知識無法為Twitter處理高流量的性能，尤其是在渲染主頁時間線方面。

Web3社區管理平臺TYB加入Shopify APP Store:金色財經報道，Web3社區管理平臺TYB宣布加入Shopify APP Store，TYB（Try Your Best）建立在 Avalanche 區塊鏈之上，為品牌提供工具來擴展其客戶忠誠度計劃，允許其品牌名單將 TYB 小部件連接到他們的 Shopify 結賬體驗。（coindesk）[2023/3/22 13:20:05]

時間線是Twitter的主要平臺功能之一。一般來說，Twitter的時間線主要有兩個操作，具體如下:

1.寫入路徑：該路徑用于用戶發布推文。2012年，Twitter平均每秒處理4.6萬個寫入請求，在高峰時段處理1.2萬個RPS。

2.讀取路徑：此路徑用于用戶請求他們的時間線。2012年，Twitter每秒處理大約30萬次讀取請求。

為了更好地理解Twitter如何呈現時間線，讓我們更深入地研究呈現流程，如圖2所示。當Twitter用戶今天發布一條推文時，Twitter首先將其寫入Manhattan，一個分布式鍵值數據庫，用于存儲用戶推文、直接消息、帳戶詳細信息等。該推文在時間線緩存中向該用戶的所有關注者展開。雖然這將寫入放大從每秒4.6k請求增加到每秒345k請求，但它也大大降低了用戶的讀取延遲。因此，時間線渲染不是在關注者和推文之間做一個連接表，而是從緩存中的單個表中獲取推文。這些操作通常在不到5秒的時間內完成。通過分布正在寫入的數據，系統可以通過刪除表連接來避免過度增長。因此，讀取延遲被改進到幾百毫秒。

加密交易所Kraken已解決取款延遲問題:金色財經報道，加密貨幣交易平臺 Kraken 于 UTC 時間 3 月 16 日 11:20（北京時間 3 月 16 日 19:20）表示客戶連接和取款問題已得到解決。[2023/3/16 13:08:38]

圖2：Twitter的時間線渲染流程。請注意，時間線中的每條推文都需要至少一個RPC。

前面提到的渲染流程對于絕大多數用戶來說可能已經足夠了，但是“超級中心用戶”呢？超級中心用戶是指擁有眾多粉絲的用戶。所描述的扇出模式，在超級中心用戶的情況下，可以放大1.2億倍！這就是為什么在Twitter的早期，有專門為賈斯汀·比伯(JustinBieber)提供的專用服務器機架。為了容納超級中心用戶，使用了一種稱為Earlybird的特殊服務。在Earlybird中，超級中心用戶和普通用戶分別獲取不同的推文。這個過程如下面的圖3所示。

圖3：左側描繪了Twitter用戶混合時間線的抽象說明，右側描繪了相應的讀取SQL。

既然我們已經描述了提供實時推文時間線背后的復雜性，那么為什么單個時間線渲染需要許多RPC就很清楚了。例如，對于只有100條推文的時間線，RPC調用很容易超過1000次，因為僅僅獲取一條推文就需要多次RPC調用。該解決方案乍一看可能并不直觀，但它是一種經過深思熟慮的權衡，旨在為最終用戶提供優化且可預測的讀取性能。

瑞士信貸股票在瑞士交易所的盤前交易中上漲21%:金色財經報道，在瑞士央行提供流動性后，瑞士信貸股票在瑞士交易所的盤前交易中上漲21%。(金十)[2023/3/16 13:07:40]

Twitter實現的最終結果非常積極：99%的延遲只有幾百毫秒左右。在過去的10年里，這種基礎架構已經被證明是可靠的，可以在沒有重大變化的情況下處理Twitter流量的高速增長。

請注意，我們忽略了Twitter時間線的其他方面，包括評分、排名等。有關這方面的更多詳細信息，請參閱本文末尾列出的參考資料。

Web3和Twitter數據的相似之處

圖4：Twitter和Web3數據的相似之處

Twitter和Web3生態系統有很多相似之處：

1.Web3是一個社交圖譜，推文類似于交易，回復類似于日志。圖4描述了這一點，其中比較了順序時間線渲染和順序區塊鏈的塊。

2.Web3協議和Twitter存在超級中心效應。最受歡迎的NFT平臺的交易量是第10個平臺的1000倍。

3.Web3和twitter都是開放平臺，對所有用戶可見，并允許某些API訪問。

如果我們放大一點，Twitter和Web3之間的數據訪問模式有更多相似之處：

Scroll成為ETH Beijing黑客松的協辦方及贊助方:據官方消息，以太坊 zk-rollup 擴容項目 Scroll 成為 ETH Beijing 黑客松的協辦方及贊助方，用戶可以從官方鏈接報名參與 ETH Beijing 黑客松。[2023/3/10 12:53:48]

1.讀取量大，但每條記錄很小。在EVM鏈上，日志和交易的平均大小只有幾KB。

2.最新數據將被更頻繁地查看，其中大部分查看來自發布后的前幾個小時。

3.數據在短時間是不可變的。鏈上數據可以通過reorg恢復最新的區塊。同樣，現在用戶可以在發布后的一段時間內編輯推文。

Web3可以從Twitter的架構中學到什么

與2020年初相比，前10大鏈的交易量已經增長了近100倍。Web3數據基礎設施的現狀類似于2008年前后的Twitter早期，當時大部分流量依賴于來自不同提供商的水平分片數據庫。因此，隨著Web3的持續增長，現有的Web3數據基礎設施將很難提供對數據的高性能訪問。

來自Twitter的扇出服務是將相關數據同時放在同一位置。這樣，當一個請求到來時，系統可以很容易地在一個地方找到相關數據，這導致數據已經被預處理并可以使用。這使得系統具有可擴展性，和可預測的性能。

遵循當前現狀的Web3應用程序缺少一個重要的組件來有效地聚合相關數據。具體來說，開發者必須一個一個地調用API來獲取數據。即使對于最簡單的用例，例如獲取用戶的交易歷史記錄，這也會導致性能不可靠且不可預測。

圖5：當前的Web3應用程序需要如何連續調用許多不同的API，即使是簡單的事務聚合。

由于所有Web3數據都是公開可用的，ZettaBlock構建了最先進的數據基礎設施來處理所有Web3開發人員的扇出部分。應用程序開發人員只需通過一個API指定他們想要查詢哪些相關數據，然后讓ZettaBlock聚合所有相關數據。如圖6所示。通過使用ZettaBlock，開發時間和API延遲分別減少了70%和90%。在https://demo.zettablock.dev/查看我們的演示。更多的技術細節將在未來分享。

圖6：與圖5相比，ZettaBlock將多個Web3數據集抽象為一個簡單、用戶友好且高效的API。

結論

在這篇博文中，我們剖析了Twitter的架構，并將其數據模型與Web3進行了比較，發現了許多相似之處。如果我們能得到一個信息，那就是許多現有的Web3數據基礎設施解決方案，就像早期的Twitter一樣，將無法跟上即將到來的數據需求。

這就是我們構建ZettaBlock的原因。ZettaBlock是一個全棧式Web3數據基礎設施平臺，可提供實時、可靠的API和分析，在幾分鐘內為您的應用程序提供支持。前面提到的扇出過程，這只是ZettaBlock上開發人員和企業可用的眾多功能之一。我們受到領先的web3公司的信任，如Polygon,Crypto.com,Circle等。我們的愿景是成為web3數據基礎設施的首選平臺。

請查看我們的演示/視頻了解詳細信息。

鳴謝

我想借此機會向所有在這篇文章中幫助過我的人表示衷心的感謝。特別感謝KevinRos、ChiZhang、MariaAdamjee、RaphaelSerrano、ZhenzhongXu、PaulTluczek、TianzhouChen、HemanthSoni、NitishSharma、RyanKim、AlexXu、VivekGopalan、NazihKalo、NirmalKrishnan、TimothyChen、MinHao、BoYang

參考

1.TimelinesatScale:

https://www.infoq.com/presentations/Twitter-Timeline-Scalability/

2.HowTwitterusesredistoscale105TBRAM:

http://highscalability.com/blog/2014/9/8/how-twitter-uses-redis-to-scale-105tb-ram-39mm-qps-10000-ins.html

3.WhatDatabasedoesTwitteruse?

https://scaleyourapp.com/what-database-does-twitter-use-a-deep-dive/

4.TwitterDataStorageandProcessing:

https://ankush-chavan.medium.com/twitter-data-storage-and-processing-dd13fd0fdb30#:~:text=That%20equals%20to%20the%2084,time%20the%20request%20is%20made

?責任編輯：Kate

Tags：WITTTEITTTERgowithmiLATTEVitteeyCOPTER幣

DYDX