比特幣交易所 比特幣交易所
Ctrl+D 比特幣交易所
ads
首頁 > TUSD > Info

世界上最快的圖數據庫開源了!它會改變什么?_Graph

Author:

Time:1900/1/1 0:00:00

18世紀初,在普魯士的哥尼斯堡上有一條河,這條河流沿經兩個小島,當地人們建了七座橋把兩個島與河岸聯系起來。有個人經過這條河時提出了一個問題:一個步行者怎樣才能不重復、不遺漏地一次走完七座橋,最后回到出發點。

問題提出后,很多人對此很感興趣,紛紛進行試驗,但在相當長的時間里,始終未能解決。這就是著名的“哥尼斯堡七橋問題”。

1735年,有幾名大學生寫信給當時正在俄羅斯彼得斯堡科學院任職的天才數學家歐拉,請他幫忙解決這一問題。經過一年的研究之后,29歲的歐拉提交了《哥尼斯堡七橋》論文,圓滿解決了這一問題。

歐拉把每一塊陸地考慮成一個點,連接兩塊陸地的橋以線表示。每一次當一個人由一座橋進入一塊陸地時,他同時也由另一座橋離開此點。所以每行經一點時,計算為兩座橋,從起點離開的線與最后回到始點的線亦計算為兩座橋,因此每一個陸地與其他陸地連接的橋數必為偶數。

但七橋所成之圖形中,沒有一點含有偶數條數,因此上述的任務無法完成。

歐拉把一個實際問題抽象成“圖形數學模型”。“圖”由節點和邊組成,這個節點代表實體,邊代表它們之間的關系,由此開創了數學新一分支——圖論。

200多年后,隨著計算機技術的發展,圖論成為了數學家和計算機學家們解決很多實際問題的底層能力。

放在互聯網的場景下,如果把微博用戶關系抽象成一個圖,賬號抽象成圖上的點,關注關系則是圖上的邊。那么,這些圖數據就可以很好地描述賬號之間的聯系,包括描述聯系的方向和屬性。這種圖可能非常大,社交網絡賬號之間構成的圖,它可能是有幾億節點,幾百億邊的巨大規模。

利用圖形結構描述事物聯系的數據建模方式就是圖計算。但你可能不知道的是,全世界最快的單機圖計算平臺、最快的分布式圖計算平臺來自于一家中國企業。

分析師:如果你擁有0.28枚btc 那你已經超過了世界上99%的人:加密分析師The Moon發推表示,如果你擁有0.28枚btc,那你已經超過了世界上99%的人[2021/1/11 15:49:30]

作為中國最早研究圖計算技術的企業之一,螞蟻集團開發的大規模圖計算系統是業內首個在大規模圖上提供實時服務的圖計算平臺,擁有世界規模領先的圖數據庫集群。

在2022世界人工智能大會新一代圖智能技術發展與實踐論壇上,螞蟻集團宣布開源其大規模圖計算系統中的TuGraph圖數據庫單機版。

這是螞蟻集團圖計算技術一個非常重要的里程碑。TuGraph單機版的開源也為推動中國乃至全球的圖計算規模化和商業化應用奠定了重要的基礎。

圖計算,大型科技公司逐浪的“新風口”

圖計算是一種能夠研究客觀世界當中任何事物和事物之間關系,并對其進行完整的刻畫、計算和分析的技術。

在Gartner發布的《2021年十大數據和分析技術趨勢》報告中顯示,自2018年10月至2020年10月,Gartner有關圖計算技術領域的查詢量和興趣增長了280%。Gartner認為,通過圖計算分析和洞察數據之間的關聯關系能夠提高社會運行效率,成為大數據與AI領域下一個戰略制高點。

在數據庫流行度排行榜網站DB-Engines上也可以看到,近10年來,人們對于圖數據庫的關注度,在過去十年內比其他的數據庫都要高。

相比關系數據庫,圖形數據庫是NoSQL數據庫中的一種,是表示和查詢連接數據的最佳方式。

而相對其他非關系型數據庫,采用的數據結構和分布式架構,適合離散、關聯關系弱的數據存儲管理。圖數據庫可以實現更好、更快地查詢和分析,更簡化地數據建模,由點及面地挖掘知識體系,面向對象的思維,以及更強大的問題解決能力等。

Bitcoin Advisory創始人:比特幣是世界上最好的財政儲備資產:比特幣咨詢公司Bitcoin Advisory創始人Pierre Rochard在推特表示,比特幣是世界上最好的財政儲備資產,因為它提供了長期持有的自由。如果你專注于短期或規避風險,你可以用衍生品進行對沖。如果你關注長線,比特幣每四年才減半一次。[2020/12/24 16:22:03]

最常見例子就是社會網絡中人與人之間的關系,傳統數據庫效果并不好,查詢復雜、緩慢、超出預期,而圖形數據庫的設計恰恰彌補了這一缺陷。

目前,圖數據庫主要適應的場景需求有兩類:一是對時間有要求,希望快速分析并得到結果的場景;二是對分析深度有要求的場景,如一些區塊鏈金融客戶希望對數字貨幣交易可追蹤不只深入到幾十步,而是上百步甚至上千步。

根據CBInsights預計,到2027年,圖數據庫市場將以17.7%的復合年增長率增長,達到46億美元。

全球主要研究圖計算的廠商,包括了許多大型科技公司,亞馬遜和谷歌是最早推出了自己的圖數據庫的大廠,隨后,微軟、IBM、Twitter、Facebook等也開始采用圖數據庫。

另外,一些初創公司也在跟隨,如NeoTechnology開發了主流圖數據庫Neo4j,以及TigerGraph等初創公司等。

而中國,近幾年圖數據庫市場已經引起了一定的關注。首先是互聯網廠商已經開始推出自研的圖數據庫,初創公司在后跟隨,并出現了原生圖數據庫領域的初創企業。

比如螞蟻集團的TuGraph,阿里云圖數據庫GDB,百度的BGraph和HugeGraph等。還有初創公司費馬科技的LightGraph,這家公司成立于2016年,由多位清華大學博士創立,在2020年與螞蟻集團圖計算系統整合,發展成為了螞蟻集團大規模圖計算系統。

這些全球知名的大型科技公司正在大力投入圖計算研發創新,顯而易見是看到了圖計算對未來業務驅動的巨大潛力。

實際上,Gartner也預測過,到2025年,圖技術將應用于80%的數據和分析創新,能夠促進企業的快速決策。因為圖計算鏈接著所有數據,它們構成了許多現代數據分析的基石。通過對分析數據和人工智能數據的高效管理,包括對圖結構的分析,能夠為過于復雜而難以解決的傳統業務難題提供解決方案。

分析 | Facebook穩定幣選擇印度市場因其是世界上最大的匯款接收國:據offthechain消息,針對“Facebook為WhatsApp用戶開發穩定幣”一事,有分析指出,印度是世界上最大的匯款接收國,有700億美元流入該國,占據全球匯款市場總額的12%以上。該國擁有超過2億WhatsApp用戶。大多數用戶已經放棄了傳統的SMS消息傳遞并且只使用WhatsApp。2016年,印度儲備銀行廢除面值為500和1000盧比的紙幣,導致超過99%的紙幣被存入銀行,對之前依賴現金的社會造成了重大打擊。此外,印度加密貨幣禁令遭到了許多公民的強烈反對,他們也希望參與一個更加開放的全球金融體系。[2018/12/23]

目前圖計算已被應用于金融安全、互聯網、工業、生物醫藥、公共安全、智慧城市等多個領域,成為全球研發機構、新興創業公司,以及大型科技公司逐浪的“新風口”。

螞蟻的嘗試、探索和創新

中國企業對圖計算的研發應用要從2015年左右開始說起。

那一年,螞蟻集團開始組建自己的圖數據庫團隊。螞蟻研究圖計算的初衷源于其業務的驅動。

在一個典型的金融場景模型中,有著多種不同類型的關系,形成了數十億的結點和邊,有些是相對靜態的,如企業之間的股權關系、個人客戶之間的親屬關系,有些則是不斷地在動態變化,如轉賬關系、貿易關系等。這些靜態或者動態的關系背后,隱藏著許多未知風險,比如金融信貸風險等。

過去,風險分析通常都是從個體本身的角度出發,去分析個體與個體之間的差異,很少從個體之間的關聯關系角度去分析。

而圖計算和基于圖的認知分析正是能夠彌補傳統分析技術的不足,它可以完整刻畫企業客戶之間、企業與自然人之間的社會關系、經濟往來關系,由此構建全方位的風險關聯網絡。

基于對金融模型的圖數據分析,2016年螞蟻集團發布自研圖數據庫版本GeaBase,并接入支付寶,正式投入應用。在2018年雙十一,圖計算真正證明了自己的價值。在大促極端流量高峰情況下,圖計算動態識別了超過六度關系鏈、隱蔽性較強的異常資金風險,顯著提高了支付寶的風控能力。

歷史上的今天 2013年5月美國圣地亞哥推出世界上第一臺比特幣ATM:2013年5月,由BitcoinATM公司研發的比特幣ATM(Bitcoin ATM)在美國加利福尼亞州第二大城市圣地亞哥亮相。BitcoinATM公司是一家位于美國加州圣地亞哥的創業公司。此外,BitcoinATM公司也是第一家將比特幣ATM商業化運營的公司,早在2011年,BitcoinATM公司創始人及比特幣ATM發明人托德·貝瑟爾(Todd Bethall )即在加州做了一些產品的市場推廣活動,只是當年比特幣未像如今這般受到公眾及全球金融市場的關注,因此兩年前BitcoinATM公司的市場營銷并未達到預期。[2018/5/24]

在螞蟻發布GeaBase的同一年,由清華大學計算機系教授陳文光帶領的清華師生團隊成立了費馬科技。并在一年后開發出了自己的圖數據庫產品LightGraph,支持完整的圖數據庫事務和企業級的高效圖數據存儲、查詢。

到了2020年,費馬科技就成為了中國第一家通過圖數據庫國際標準基準測試程序LDBC-SNB官方審計測試的企業,研發實力強硬,發展非常迅速。

但不管怎么樣,費馬科技還是一家以學術研發驅動為主的創業團隊,他們對技術如何大規模投入到真實的應用場景當中仍然缺乏抓手。

在陳文光看來,圖計算要想真正發展起來,需要技術加場景的雙輪驅動,才能實現從“有人用”到“大規模使用”。

而對于當時的螞蟻集團來說,其圖計算團隊更偏向于業務驅動,也就是業務有什么需求就去做什么需求。

費馬科技聯合創始人、現螞蟻集團圖數據庫負責人洪春濤博士介紹道,這種由需求帶來的產品設計邏輯有優有劣。優點是業務要求的產品性能較高,比如支付寶業務要求實時在線,不能有任何的中斷,那么圖數據庫就要有非常高的穩定性和吞吐率。此外,業務對數據查詢延遲時間也有限制,比如發一個請求到服務器反饋時間要在20毫秒之內等。這些都是由真實業務中鍛煉出來的性能要求。

歷史上的今天 世界上最大的黃金和白銀交易公司接受比特幣支付購買黃金:2014年5月,Euro Pacific宣布將和比特幣支付處理商BitPay合作,允許投資者們以比特幣通過Euro Pacific來購買黃金和白銀。歐洲太平洋貴金屬公司(Euro Pacific Precious Metals)是世界上最大的黃金和白銀交易公司之一,Euro Pacific成為了第一個接受比特幣的大黃金交易商,其營銷主管Finger希望比特幣的投資者們能認識到這是一個非常實際的機會。[2018/5/23]

但這也在另一方面上導致了產品架構缺乏標準化,可能某種功能臨時滿足了業務上線的需求,但對于產品架構來說卻不一定是最優的解決方案。

如何從長遠的角度來把握圖計算未來的設計方向,是螞蟻集團要靜下心來思考的核心問題。

在這樣的業務痛點下,螞蟻意識到如果能與學術界科研實力打通并形成合力,將能更深度拓展圖計算的潛力,而螞蟻的實際應用場景又能不斷對圖計算技術進行訓練升級。

2020年,螞蟻集團正式將自有圖計算技術系統GeaBase與費馬科技的產品和技術進行整合,隨后升級形成了一套完整的圖計算系統,并正式更名為TuGraph。

這套系統集成了螞蟻集團以及清華大學原有優勢,無論從功能的完整性,吞吐率、響應時間等技術指標,還是應用領域,都達到了世界領先水平。2020年,TuGraph成為圖數據庫基準性能測試LDBC-SNB世界紀錄保持者,性能領先第二名7.6倍,并獲得了2021“世界互聯網領先科技成果”獎。

隨著TuGraph在技術上不斷精進,2022年8月,TuGraph在最新一次的LDBC-SNB測試中,再一次打破世界紀錄,吞吐率較上一次官方紀錄提升了52%,也超過了兩年前由自身保持的世界紀錄1倍以上,再次體現了TuGraph高并發低延遲的強大性能優勢。

圖計算“開源”,它會改變什么?

圖計算對于數字化時代大規模、復雜的數據處理來說十分關鍵。經過7年多研究和探討,螞蟻圖計算技術已經具備業界領先的技術能力和非常豐富的應用經驗。

以企業擔保場景為例,比如金融機構要給一個企業A貸款,這個企業找B企業擔保,然后B企業找了C企業擔保,但C又找A擔保過,最后發現他們形成了一個環。那么這個擔保等于是無效的,因為一層一層地下來,它回到了最初的這個公司。這可以都把它抽象成在圖上找環的問題。

過去有些銀行用MapReduce大數據處理的方法,但在企業擔保場景里,大概只能找到長度為6的環,更長的環就找不到了。又比如像套現分析的場景,不僅是需要找環,而且速度還要非常快。因為用戶去刷一個信用卡,肯定不希望后臺算上兩個小時才說有風險。

利用圖計算系統,就可以在金融的場景中實現實時地找到最完整的路徑。比如在螞蟻的數字支付、數字服務、數字金融等核心業務中,利用圖技術就可以顯著提升風險行為的實時識別和調查分析效率。根據螞蟻的數據顯示,基于圖數據庫,支撐支付寶的重要風險識別能力提升了近10倍,風險審理分析效率提升90%。

螞蟻已經在復雜的用戶交易行為中印證了大規模圖計算的高效性能。秉承“成熟一個開放一個”的理念,螞蟻希望圖計算技術也能夠走入更多大眾的視野。

TuGraph單機版開源主要是開放其圖數據庫的工具和技術性能,解決圖譜應用項目中圖數據庫成本過高,易用性差,性能低下的問題。實際上,大量的應用場景下用戶更關心成本、性能和易用性。TuGraph能夠實現單機部署,使用成本更低,并且性能優秀、通用易學。

但此次開源的更關鍵意義,在于螞蟻希望通過開源去拓展圖計算應用的生態,來帶動整個市場發展。

在洪春濤博士看來,圖計算的應用要經歷三個階段。

第一個階段是解決傳統大數據分析沒法做的事情。比如金融反套現,常規的大數據手段很難快速地找到異常的套現環路,但圖數據庫能夠做到實時監控。許多企業的圖計算應用都處于這一階段。

第二個階段是有些場景既需要傳統大數據分析,又需要圖數據庫查詢。大部分企業的做法是使用關系數據庫和圖數據庫分別操作分析,但如果圖數據庫做得足夠好,實際上只需要一個圖數據庫,即一個系統就能夠滿足以上需求。這對于用戶而言是一個更加簡潔的工具。目前螞蟻則處于這個階段。

第三個階段則是對傳統關系數據庫的替代。圖數據庫的數據抽象比關系數據抽象更貼近自然和符合人類直覺,因此圖數據庫是比關系數據庫更容易理解的。長遠來講,這種表達上的便利性會讓人們傾向于使用圖數據庫來解決問題,從而使圖數據庫替代關系數據庫成為一種主流。這是一種思維方式上的改變。

“這是圖數據庫從一個配角走到主角的過程,它要取代原來已經很成熟的數據庫系統,那么就意味著它要建造一個更成熟、更穩定的技術和商業生態。”洪春濤說。

生態不僅需要囊括圖計算產業鏈上下游,更應該覆蓋各種各樣的行業領域。

技術開源后,對圖計算的學術研究也具備重要的意義。

一方面,開源的數據庫工具能夠提供給學術界繼續作為技術研究的基礎,讓研究人員在TuGraph代碼的基礎上更便捷地做自己的研究創新。

另一方面,讓越來越多的生態和業務場景參與進來后,也有助于反哺技術的改進升級。

螞蟻技術研究院圖計算實驗室研究員朱曉偉博士介紹說,最開始做圖計算方面學術研究的時候,發現大部分分布式圖計算系統的論文認為通信是技術的瓶頸,所以主要研究如何讓網絡通信盡可能快。深入探索之后,我們發現很多工作過于側重“通信”的優化,而忽略了“計算”部分因此引入的開銷,反倒沒有達到想要的效果。尤其隨著網絡條件越來越好,我們應該把重心放回“計算”上,優化的目標從“通信”為中心變成“計算”為中心,這是我們當時做的這個研究工作輸出的核心觀點,也是我們的產品能夠取得相比之前系統很大幅度提升的關鍵。但后來當我們試圖把它變成一個商業化產品來打磨的時候,發現“計算”也不一定是最關鍵的事情。比如在雙十一大流量沖擊的情況下,服務器的內存就變得更為重要,必須要保證整個計算過程在足夠的內存下跑起來,不能斷掉。這就從“計算”為中心變成以“空間或者成本”為中心。

把學術原型系統產品化的過程,除了不斷改進計算性能,更重要的是如何通過業務場景的反饋將產品做得更加實用,由此更好地驅動業務發展。

在螞蟻的業務板塊中,目前圖計算的應用不僅在金融上,在復雜電網的故障分析,電商產品的智能推薦,疫情期間的密接、次密接以及時空伴隨者發現都有重要的應用,包括大家日常生活中在螞蟻森林偷能量,現在也是用圖數據庫來管理。

實際上,不管是人們的日常生活,還是新興產業發展,如今都離不開高性能計算,比如天氣預報、新藥研發、新型材料、安全系數更高的汽車、高鐵和飛機等都需要高性能計算作支撐。圖計算作為一個高維的數據結構,能夠更好地挖掘數據之間的關聯特性,為行業提供精準高效的決策。

所以,螞蟻期待通過TuGraph開源把這套技術共享到更多行業。在螞蟻看來,只有當大家都參與到圖計算當中,才能夠一起把整個生態做好,從而讓圖計算技術的商業化真正滾動起來。

Tags:GraphDBCLDBCGraph幣是什么幣DBC幣DBC價格LDBC幣是什么幣

TUSD
比特幣以太坊晚間行情分析 新一輪反彈行情開啟_比特幣

比特幣四小時級別在觸及下方低點支撐線后進入新一輪的反彈過程,并已突破23400壓力,后面將繼續挑戰23700壓力.

1900/1/1 0:00:00
隨著 LTC 提速,萊特幣突破 64 美元的水平_萊特幣

萊特幣價格顯示出極其看漲的軌跡,因為它的目標是突破64.02美元大關。萊特幣非常看漲,因為它的目標是突破64.02美元大關。支撐位在60.87美元。價格在64.32美元區域面臨障礙.

1900/1/1 0:00:00
莫塞:元宇宙島居,一種文明重構_元宇宙

閱讀提示:元宇宙本質上其實是一個人類從傳統宇宙即可觀測宇宙到數字宇宙也就是可計算宇宙遷徙的過程。從這個角度出發看,目前仍處于元宇宙發展的早期.

1900/1/1 0:00:00
以太坊2.0:稱為幣圈之光,有望帶領幣圈熊轉牛?_元宇宙

近期的以太坊的漲幅比較可觀,這樣的行情讓大家情緒高漲,有種以太坊能帶動這次牛市的錯覺。你也看到了我說的是錯覺,那說明事實不是這樣一回事,有幣圈的資深人士明確的表示,這種短暫的回彈并不能開啟牛市.

1900/1/1 0:00:00
醫美填充針劑行業專題研究:從發展路徑和生命周期看機會_CAG

1.溯本追源,醫美填充針劑大有可為根據《醫療美容服務管理辦法》,醫療美容是指運用手術、藥物、醫療器械以及其他具有創傷性或者侵入性的醫學技術方法對人的容貌和人體各部位形態進行的修復與再塑.

1900/1/1 0:00:00
24節氣金銀紀念幣來了,想要嗎?_300

中國人民銀行定于2022年8月7日發行二十四節氣金銀紀念幣一套。該套金銀紀念幣共28枚,其中金質紀念幣4枚,銀質紀念幣24枚,均為中華人民共和國法定貨幣。 一、紀念幣圖案 正面圖案.

1900/1/1 0:00:00
ads