您的位置：首頁 >新聞 >

中山大學(xué)聯(lián)合創(chuàng)鄰科技Galaxybase破萬億數(shù)據(jù)挖掘世界記錄

來源：晶報網(wǎng) 時間：2022-01-27 14:53:14

數(shù)字經(jīng)濟(jì)時代，數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素。企業(yè)從海量數(shù)據(jù)中挖掘商業(yè)價值的需求越發(fā)迫切。但這些高維、異構(gòu)、復(fù)雜關(guān)聯(lián)的數(shù)據(jù)給傳統(tǒng)大數(shù)據(jù)處理和關(guān)系型數(shù)據(jù)庫產(chǎn)品帶來了極大挑戰(zhàn)。中山大學(xué)聯(lián)合創(chuàng)鄰科技 “Galaxybase”圖數(shù)據(jù)庫，完成了萬億規(guī)模交易數(shù)據(jù)智能挖掘性能測試，為圖數(shù)據(jù)庫賦能的智慧互聯(lián)數(shù)字化未來開啟了新紀(jì)元。

“超級算力+創(chuàng)新存儲技術(shù)”，推動大數(shù)據(jù)智能革命

2021年11月底工信部印發(fā)《“十四五”軟件和信息技術(shù)服務(wù)業(yè)發(fā)展規(guī)劃》，明確提出“突破大規(guī)模并行圖數(shù)據(jù)處理關(guān)鍵技術(shù)”，推動高性能數(shù)據(jù)庫在金融、電信、能源、制造等重點行業(yè)關(guān)鍵業(yè)務(wù)系統(tǒng)應(yīng)用。圖數(shù)據(jù)庫作為以圖論為設(shè)計原理的數(shù)據(jù)庫管理系統(tǒng)，將現(xiàn)實世界的實體和實體關(guān)系抽象表達(dá)為頂點和邊，擅長海量圖數(shù)據(jù)的高效存儲、查詢、計算、分析，能有效解決傳統(tǒng)數(shù)據(jù)庫技術(shù)無法解決的大數(shù)據(jù)關(guān)聯(lián)難題，在金融風(fēng)險、精準(zhǔn)零售、物流優(yōu)化、能源調(diào)度、生物制藥、智能交通、疫情防控等多種新興領(lǐng)域有巨大的應(yīng)用價值。其解決了傳統(tǒng)技術(shù)關(guān)聯(lián)查詢效率低、成本高的問題，具有豐富、高效和敏捷的數(shù)據(jù)處理能力。而伴隨全球數(shù)字化競賽日趨白熱化，這將直接影響企業(yè)數(shù)字化、智能化進(jìn)程。

在此背景下，如何建立高性能的圖計算理論及分布式存儲技術(shù)，是一個兼具重要性和挑戰(zhàn)性、并亟待解決的重要議題。基于中山大學(xué)牽頭的廣東省重點領(lǐng)域研發(fā)計劃“軟件、芯片與計算”重大專項項目“軟件定義的圖計算關(guān)鍵技術(shù)”，中山大學(xué)團(tuán)隊聯(lián)合創(chuàng)鄰科技團(tuán)隊依托國家超級計算廣州中心環(huán)境，完成全自主研發(fā)的國產(chǎn)高性能圖數(shù)據(jù)庫Galaxybase的安裝部署、萬億規(guī)模超級大圖數(shù)據(jù)的導(dǎo)入，實現(xiàn)實時大圖數(shù)據(jù)增刪改查，并完成多跳查詢、模式挖掘等典型圖查詢、計算操作。

基于超算集群環(huán)境，Galaxybase圖數(shù)據(jù)庫構(gòu)建了一套基于多級最優(yōu)圖分片理論、動態(tài)任務(wù)調(diào)度模式及節(jié)點間混合通訊機(jī)制的分布式并行圖處理體系，通過提供了一個高性能、可擴(kuò)展、高可靠的圖處理平臺，支撐萬億節(jié)點大圖的分布式存儲、實時在線查詢。在自研數(shù)據(jù)生成器所模擬的萬億級真實金融交易場景數(shù)據(jù)集上(包含50億條賬戶信息及5萬億條帶屬性的交易信息，涵蓋了最小為10 到最大超過1000萬出入度的超級節(jié)點)，將賬號、資金、交易信息以交易網(wǎng)絡(luò)的形式組織在一起，高效實現(xiàn)了資金流向查詢、資金環(huán)路以及嫌疑賬戶間的最短關(guān)聯(lián)路徑查詢等深度圖查詢及圖計算，其中，通過交易時間進(jìn)行過濾的六度的深鏈查詢平均耗時僅6.7秒。本項目僅用50臺機(jī)器集群實現(xiàn)了當(dāng)前全球商業(yè)圖數(shù)據(jù)庫支持的最大規(guī)模圖數(shù)據(jù)處理，打破了美國頭部圖技術(shù)廠商于2021年6月用1000臺機(jī)器集群創(chuàng)造的1.2萬億規(guī)模大圖處理的世界紀(jì)錄。

高性能圖數(shù)據(jù)庫Galaxybase，為更深入的數(shù)字化未來做好準(zhǔn)備

2021年12月12日，國務(wù)院印發(fā)的《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》正式發(fā)布, 標(biāo)志著我國數(shù)字經(jīng)濟(jì)轉(zhuǎn)向深化應(yīng)用、規(guī)范發(fā)展、普惠共享的新階段。

中山大學(xué)與創(chuàng)鄰科技的此次合作，充分體現(xiàn)了超級計算與創(chuàng)新存儲技術(shù)結(jié)合對行業(yè)數(shù)字化智能的賦能之力，開啟了圖技術(shù)賦能行業(yè)數(shù)字互聯(lián)新紀(jì)元，為實現(xiàn)“十四五”規(guī)劃提出的數(shù)字中國偉大目標(biāo)添磚加瓦。

免責(zé)聲明：市場有風(fēng)險，選擇需謹(jǐn)慎!此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：萬億數(shù)據(jù)挖掘世界

中山大學(xué)聯(lián)合創(chuàng)鄰科技Galaxybase破萬億數(shù)據(jù)挖掘世界記錄

熱點

文章排行

娛樂圖賞