奧推網

選單
科技

re:Invent給人一種儲存更新比較少的錯覺,錯覺而已

本文為re:Invent 2021亮點解讀的第三部分,此前介紹了關於Graviton、機器學習的內容,請移步往期閱讀。

正文:

或許是儲存部分太過於成熟了,以至於許多新的釋出都被媒體有意無意的忽視了,2021亞馬遜雲科技(以下簡稱AWS)re:Invent給人一種儲存產品技術釋出的比較少的錯覺。

其實不然,re:Invent大會上關於儲存的動態一共有十條,關於計算的才8條,關於網路的才3條。

AWS副總裁Peter DeSantis的主題演講中,最先談的就是儲存,2021年,AWS將Amazon S3儲存的七個儲存層級升級到了9個層級,最經典的儲存仍在不斷進化。

作為看資料儲存更多的媒體,自然免不了聊點略顯枯燥的儲存,為了看起來沒那麼枯燥,我儘量找幾個有意思的說說,不得不說,AWS儲存還是有挺多騷操作的。

降本增效新舉措,自研Amazon Nitro SSD

首先第一個就是釋出關於Nitro SSD的,亞馬遜雲科技大中華區產品部計算與儲存總監周舸在面向中國媒體的有限時間裡,也花較多篇幅介紹過快閃記憶體產品,新的Nitro SSD。此前我們也單獨聊過。

AWS自研SSD一方面在於可以更可控地輸出一致性能,更大的意義就是掌握了NAND SSD Firmware韌體自由更新的權利,此次釋出,意味著AWS對基礎架構的掌控力進一步提升。

其實,SSD根據使用場景不同,對效能和成本的最佳化空間很大,也能帶來降本增效的效果。比如,有一些雲廠商透過極致的操作可以省下OP的空間,也有的雲廠商開始使用更具經濟性的QLC NAND,更細緻的操作還有很多。

總之,SSD的技術創新對於雲廠商也非常重要。AWS不是第一家自研SSD的雲廠商,也不會是最後一家。

磁帶資料也能快遞上雲了——Amazon Snowball Edge

大家對於AWS的硬體都格外關注,比如1U和2U的Amazon Outposts就很吸引眼球,Snow家族,包括Snowball,Snowmobile,Snowball Edge,Snowcone都是物理資料搬遷服務,Snowball Edge支援把資料從磁帶裡遷移到AWS資料中心裡的S3上。

連磁帶歸檔都照顧到了,AWS為所有可能上雲的資料都打開了大門。

磁帶資料上雲後,存在Amazon S3 Glacier上,企業仍可以沿用原來基於磁帶的資料備份和恢復工作流程,因為,它能在AWS的儲存閘道器上來建立虛擬磁帶庫,能照顧使用者原有的使用習慣。

Snow家族的遷移服務目前只在部分割槽域可用,在中國市場也特別值得期待。因為中國快遞物流的效率比較高,可能實際使用者體驗會比美國本土更好,這可能是極少數落地中國,能水土更服的雲服務了。

值得一提的是,Snow家族的遷移不只是從本地遷移到AWS資料中心,也能反向交還資料,這是容易被忽視,被使用者擔心的點,使用者可以放心,雲上的資料不會隨便被風吹跑。

Amazon S3智慧分層,讓歸檔儲存層也支援立即訪問

Amazon S3 Glacier是著名的雲上低成本歸檔儲存,歸檔儲存就像是擺在書架最高最裡面的那排書,可能幾年都不會拿出來看一次的那種,想拿出來看一次也需要等很長時間,原來的S3 Glacier的資料訪問時間大概是幾分鐘到幾小時之間。

而S3 Glacier Instant Retrieval儲存層級要做的是那種既能低成本地做歸檔,同時,也能毫秒級響應的這種特別的場景,它是S3的一個新的儲存層級,它利用了S3智慧分層技術,它能降低儲存成本,它為歸檔儲存提供了立即訪問的能力。

它的延遲和頻寬效能表現與標準的S3和S3 標準IA(不經常訪問)儲存層級一樣,而且,與S3 標準IA相比,S3 Glacier Instant Retrieval能最多節省68%的成本。

新老使用者都可以直接使用新的儲存層級。新上傳的物件可以直接選這一層,而原來S3裡的物件可以轉向S3 Glacier Instant Retrieval,隨後,自動分層技術會自動幫使用者在層級間遷移資料。

AWS表示,S3 Glacier Instant Retrieval適用於那些有不可預測訪問模型和不斷變化訪問模型的場景,比如資料湖、資料分析等場景。

檔案儲存Amazon FSx的新功能

第一個更新關於Amazon FSx for Lustre,它支援讓使用者本地檔案系統與S3物件儲存進行雙向資料同步,把S3桶與本地檔案儲存關聯後,FSx for Lustre能讓系統把S3當成檔案儲存來用,把資料直接寫到S3裡。

有許多應用的工作負載都需要不同的儲存型別,S3物件儲存適合用來做資料轉換、準備或匯入/匯出任務,而有些則需要用POSIX檔案系統的方式來訪問資料,而Amazon FSx for Lustre可以讓儲存在S3上的物件與Lustre檔案系統同步,滿足多樣儲存需求。

第二個,Amazon FSx家族新增了OpenZFS檔案系統,OpenZFS是又一個比較流行的檔案儲存系統,OpenZFS有幾個功能特性非常吸引人:透明壓縮、持續完整性驗證、快照和寫時複製。

FSx for OpenZFS是執行在Graviton處理器之上,支援行業標準的NFS協議和NFS的一些高階特性,OpenZFS的效能不錯,支援最高達100的IOPS,延遲為100-200微秒之間,高達12 GB/s的壓縮傳輸頻寬。

適用於對儲存要求比較高的場景,比如機器學習、EDA(電子設計自動化)、媒體處理、財務分析、程式碼儲存庫、DevOps 和 Web 內容管理工作負載等場景。

AWS資料保護方案Amazon Backup宣佈支援S3和VMware虛擬機器

Amazon Backup是AWS的雲上資料保護解決方案,這是一個全託管、基於策略的服務,可以跨多個雲服務對應用資料進行集中化的備份和恢復操作。

目前支援包括AmazonEC2、 Amazon EBS、 Amazon RDS、 Amazon DynamoDB、 Amazon Neptune資料庫、 Amazon EFS、 Amazon FSx、AWS儲存閘道器等十二個AWS雲服務。

Amazon Backup最新添加了對於S3的支援,也就是Amazon Backup for S3,它的意義在於,不僅能跨多種服務進行集中備份和恢復,還能滿足使用者對於備份合規性的要求。

AWS Backup for S3支援連續的基於時間點的備份,也支援定期備份操作,第一次備份是全量備份,後續都是增量備份,如果發生中斷時候,則可以從備份中挑一個來進行恢復,可以恢復到原來的S3桶裡,也可以恢復到新的桶裡。

AWS Backup是AWS近幾年新推出的服務,AWS Backup的操作邏輯與原來本地的資料備份和恢復方案基本一致,目前AWS Backup for S3還處於預覽版狀態。

虛擬機器備份是資料保護系統的一個非常重要的方面。AWS釋出的還有AWS Backup for VMware 和 VMware Cloud on AWS,支援對VMware本地虛擬機器和執行在AWS雲上的VMware虛擬機器進行備份。

AWS的資料保護方案基本成型。

塊儲存Amazon EBS的新功能

第一個是EBS快照功能,建立快照簡單,刪除也簡單,一不小心刪除之後想要恢復可就難了,為了給使用者一次後悔的機會,EBS加入了快照回收站,原理跟桌面作業系統相比,不能說一模一樣,簡直一樣。

第二個是EBS快照歸檔功能,出於安全和合規性的要求,經常需要會給EBS做很多快照並長期儲存這些快照,快照歸檔功能可以把快照歸檔到Amazon Glacier上來降低成本。

結束語

以上就是AWS在re:Invent 期間釋出的關於儲存產品的動向,儲存作為基礎服務仍在不斷延展,雖然看著不如Graviton那麼吸引眼球,但也非常非常重要。

2021年上半年,關於《AWS已經成了全球最大的儲存公司》的說法引起了不小轟動,如果把AWS看成一家大型儲存公司,也不是不行。

過去幾年來,AWS儲存在服務型別以及效能方面不斷提升,隨著資料保護方案的加入,基本補充了AWS在資料儲存領域的最後一塊短板,本地儲存能做到的,雲端儲存基本都能做到了。

本文為re:Invent 2021亮點解讀的第三部分,此前介紹了關於Graviton、機器學習的內容,請移步往期閱讀。