奧推網

選單
科技

【重磅】eb級資料分析系統:企業如何快速精準地找到合理的資料資源

隨著數字經濟的發展,企業數字化轉型的不斷推進,企業資料規模正在以前所未有的速度迅速擴大,大資料、雲計算、AI分析等諸多技術應用得到了快速應用。同時,計算量和儲存量不匹配而影響執行效率的問題日漸凸顯。由此,計算與儲存分離的架構(如分散式架構)漸漸成為主流,算力的按需使用成為可能。

但新的問題也隨之出現:如今,企業擁有PB級資料已經成為常態,EB級資料時代也將很快到來,但是面對複雜、多元的海量資料,企業快速、精準地找到有效資料,合理分配相應的算力資源的難度也越來越大,相應的企業投入的用於資料進行管理、處理、分析的人力、財力也越來越多,希望透過技術手段最佳化資料管理,提升資料使用率的需求也越來越大。

為了應對這些問題,36氪曾報道過的「Alluxio」構建了一個計算層和儲存層之間的橋樑,在二者之間抽象出一個易使用、標準化的資料編排層(Data Orchestration),來遮蔽異構的儲存和複雜的部署。這是面向雲環境的的開源資料編排軟體,能夠跨叢集、跨區域和跨國家將資料從儲存層移動到距離資料驅動型應用(如資料分析、AI /ML應用程式)更近的位置,從而能夠更容易被訪問,從而使得資料的訪問速度能比現有方案快幾個數量級。

“資料編排平臺就好比構建了一個數據‘滴滴’平臺,一方面將各型別、儲存在各個不同地方的資料,也就是各個型號的‘車’進行虛擬化統一到平臺中;另一方面,接受各類應用的需求,按需快速匹配相應的資料(車)。”Alluxio創始人李浩源告訴36氪,“如此,資料編排平臺簡化應用程式訪問其資料的方式,其最大的價值就是提升了企業從資料中提取有效資訊的效率,從而加速了資料應用的市場化速度,以AI應用為例,Alluxio可以幫助提升4倍以上的市場化效率。而對於雲廠商而言,Alluxio也可助其突破I/O瓶頸,提升效能。”

比如,幾家雲EMR團隊與Alluxio社群合作,探索出了開箱即用的計算儲存分離最佳化版本,大幅最佳化網路頻寬,頻寬削峰10%-95%,節省總頻寬10%-50%,同時能在IO密集型場景提升效能10倍;雲端一站式資料管理與分析平臺 Kyligence 整合 Alluxio 架構後,查詢響應效能提升了大概在50%以上,雲上 API Call 的次數也減少了70%。

此前,36氪曾詳細介紹過Alluxio的成立背景、產品原理、特徵優勢及其相關應用的情況。經過近6年的發展,如今,Alluxio已在全球Web規模的現代化資料服務的生產環境中得到驗證,在包括阿里巴巴,Facebook,微軟,騰訊等諸多行業領導者的生產環境中落地,Alluxio的智慧資料分層和資料管理的功能已經為金融、高科技、零售、電信領域和基因製藥的客戶提供了服務。

今年2月初,Alluxio公佈了其2021財年的報告,其中顯示2021財年(2020年2月-2021年1月)營收比2020財年增長3。5倍,實現正現金流。在這一年中,Alluxio實現了為全球排名前六公有云中的五家提供資料編排層,客戶總數相較於2020年翻了一番,其中70%為世界財富五百強。2020年某頂級手機制造公司在大規模環境部署中採用了3,000個節點的Alluxio叢集;某網際網路科技公司(財富50強)使用Alluxio部署管理的資料量超過了1 ZetaByte。

“這些成績反映出Alluxio在商業上的價值。以開源為基礎,開發專業級企業軟體,並以收取license 授權年費為主要收入來源是我們的商業模式。”李浩源說,“而核心競爭力和壁壘則來源於活躍開源社群構建的生態。”

據透露,目前Alluxio開源社群在Github的專案貢獻者數量已超過1100個,在社群Slack頻道上有超過6000名成員,包括阿里巴巴、 Alluxio、 百度、 CMU、Google、 IBM、 Intel、 南京大學、 Red Hat、 騰訊、 UC Berkeley和 Yahoo在內的已經300多個組織機構也是社群成員。另外有超過5,000名開發者和資料工程師參加了包括Alluxio Day和Data Orchestration Summit在內的Alluxio的線上會議。

產品方面,去年10月,Alluxio的2。4版本中已經配置了Alluxio的全新一代資料編排創新技術,提供增強的元資料服務,以及用於混合雲和多雲部署的全新管理控制檯,同時支援整合Vault來安全管理敏感資訊,支援更多的雲原生部署方式。

接下來,Alluxio還將繼續最佳化產品,繼續增加細分功能支撐更大規模叢集規模的部署。在商業化方面,李浩源還透露,將進一步擴大公司的商務銷售團隊,在中國、歐洲、美國等地區設定商業化服務團隊,以進一步推動銷售。

“在大資料、機器學習持續發展的大趨勢下,智慧計算的需求也在不斷擴大。另外,全球科技競賽的大背景下,世界主要KA對開源IP擁抱趨勢也日益明確,這都是我們需要抓住的機會。”李浩源說。

據悉,Alluxio由Tachyon開源專案的建立者在加州大學伯克利分校AMPLab創立,以 Apache License 2。0 協議的方式開源,由Andreessen Horowitz,Seven Seas Partners和Volcanics Venture等提供風險投資支援。