浮點效能提高2倍、每秒資料包轉發效能提升50%、提供高達4倍的吞吐量……這是亞馬遜雲科技部分EC2例項一次迭代帶來的效能提升。這些遠超普通產品迭代的進步背後，是亞馬遜雲科技不斷進步的自研晶片技術實力。
在2022 re：Invent全球大會上，亞馬遜雲科技用英國著名探險家斯科特船長和挪威船長阿蒙森挑戰南極點的故事，說明了自研晶片的重要性，並宣佈推出了三種新的自研晶片：第五代虛擬化晶片Amazon Nitro v5、Amazon Graviton3E處理器、Amazon Inferentia2機器學習加速推理晶片，並帶來了由新的自研晶片支援的三種例項：Hpc7g、C7gn以及Inf2。
三款新的自研晶片，分屬於亞馬遜雲科技自研晶片的三個主要方向：構成雲服務技術底層核心的虛擬化晶片Nitro、用於應對多種工作負載的ARM架構CPU，以及用於機器學習和人工智慧的專用加速晶片。可以說，在經過十年的持續投入後，亞馬遜雲科技的自研晶片正在不斷結出碩果，支撐其不斷降低成本，實現更高的效能和可擴充套件性。
2013年的嘗試：Amazon Nitro
在IaaS市場，價效比就是核心競爭力。雲服務商一直致力於降低服務成本提升價效比，在計算平臺基本一致的情況下，降低底層虛擬化的資源消耗成為了關鍵。
亞馬遜雲科技在早期使用定製版的Xen作為虛擬化管理程式，虛擬化本身的效能消耗制約了服務能力的提升。從2013年開始，亞馬遜雲科技嘗試將網路、儲存、虛擬化管理等解除安裝到專用系統上，以讓EC2例項提供儘可能接近裸機的體驗和效能。而這個承載底層服務的系統，就是Amazon Nitro。
2017年，亞馬遜雲科技釋出第三代Amazon Nitro系統，並首次使用自研專用晶片，將功能從軟體轉移到硬體，把伺服器效能完全透過全新的虛擬化技術解放出來，消除伺服器虛擬化效能損耗，使用者可獲取全部物理伺服器資源。
經過10年的發展，Amazon Nitro系統已經成為了業界領先的雲伺服器虛擬化引擎。其採用獨立模組執行輕量級的Hypervisor，可以將虛擬化的效能損耗降低到1％，同時提供硬體級別的安全機制，實現網路、儲存隔離的獨立安全通道，在資料傳輸的所有環節都可以實現硬體級別加密。如今，Amazon Nitro架構已經成為Amazon EC2所有例項的基礎支撐。
Amazon Nitro系統的創新之處在於將架構演進與技術複雜性進行了解耦，這與軟體架構雲原生化的概念頗為類似。功能細分、內容封裝、介面標準化，這一套操作可以將複雜的、高耦合的系統，拆解為低耦合、結構化的系統。Amazon Nitro系統獨立承接了大量虛擬化及管理排程的底層工作，從而大大降低了雲服務系統的複雜性，提升了服務的可擴充套件性和靈活性。
在Amazon Nitro系統出現之後，亞馬遜雲科技推出EC2新例項其實可以拆分成兩個部分：資源平臺的更新和虛擬化系統的更新，兩部分彼此解耦降低了EC2例項更新的複雜度。一個最直觀的結果就是，在2016年之前EC2例項的型別增長都比較平緩，而從2017年開始EC2例項型別出現了爆發性增長，到現在亞馬遜雲科技可以提供超過600種EC2例項。
2015年的成功收購：Annapurna Labs
將虛擬化底層架構硬體化，離不開專用硬體的支援。Amazon Nitro系統最初採用了通用晶片搭建硬體平臺，後續基於價效比的考慮逐漸轉向專業定製晶片。在這個過程中，2015年收購Annapurna Labs成為了關鍵事件。
2015年，亞馬遜雲科技花費3。5億美元收購了以色列晶片公司Annapurna Labs，後者承擔了亞馬遜雲科技自研晶片的重任。經過兩年的合作開發，在2017年推出了第一代成熟的Nitro晶片。亞馬遜雲科技的例項數量在2017年之後大幅增加，採用自主專用晶片的Amazon Nitro系統功不可沒。
依託Annapurna Labs的持續創新，亞馬遜雲科技已經形成了三條自研晶片的產品線：虛擬化定製晶片Nitro、基於ARM 架構的通用處理器晶片Graviton、用於機器學習的訓練和推理的Trainium晶片和Inferentia晶片。定製化的晶片設計可以應對更高的工作負載要求，包括更快的處理速度、更高的記憶體容量、更快的儲存輸入/輸出（I/O）和更高的網路頻寬。
（一）Nitro：支撐虛擬化基礎
截至目前，亞馬遜雲科技已經推出了5代Nitro，每一代都在重新整理延遲、吞吐量、每秒資料包處理等指標。初代的Nitro只能提供10Gbps的網路吞吐量和每秒120萬的包轉發能力，第四代Nitro的網路效能已經提高到100Gbps，每秒轉發1500萬個資料包。
此次新發布的Nitro v5晶片，電晶體數量大約是上一代Nitro晶片的兩倍，提供了更高的計算效能，同時帶來50%的記憶體效能提升和2倍的PCle頻寬提升。相比上一代產品，其每秒資料包能力提高60%，延遲減少30%，每瓦特效能提升40%。
（二）Graviton：強化通用計算
ARM架構CPU在單核效能方面相比x86架構CPU仍有差距，不過其低成本、高核心密度的特點在高計算密度領域優勢明顯。加上ARM架構開放的特性，使得越來越多的大型雲服務商選擇基於ARM架構開發自研CPU。
2018年，亞馬遜雲科技推出其首款ARM架構CPU晶片Amazon Graviton。2019年又推出了7nm工藝的Amazon Graviton2，相比同時代的x86處理器，基於Amazon Graviton2的同規格例項效能高40%，成本卻低20%。Amazon Graviton2的推出，標誌著亞馬遜的ARM架構自研處理器進入規模化應用階段。
2021年，亞馬遜雲科技推出了第三代ARM架構CPU晶片Graviton3。Amazon Graviton3採用5nm工藝，擁有64個核心、配備了DDR5記憶體，支援PCIe 5。0介面，相比Graviton 2浮點效能提高2倍，加密效能提高2倍，機器學習工作負載效能提高3倍。在同樣效能下，Amazon Graviton3與x86例項相比可節省60%的能耗。
最新推出的Graviton 3E同屬於Graviton 3家族，但是專門為浮點和向量指令運算進行最佳化，尤其適合高效能計算工作負載。相比於Graviton 3例項，Graviton3E在HPL（線性代數的測量工具）上效能提升35%，在GROMACS（分子運動）上效能提升12%，在金融期權定價的工作負載上效能提升30%。
目前，亞馬遜雲科技已經有20多種託管服務執行在Graviton平臺上，其中就包括使用者經常使用到的Amazon RDS、Amazon Aurora、Amazon ElastiCache、MemoryDB、Amazon OpenSearch、Amazon EMR、Amazon EKS和Amazon Lambda等。
（三）Trainium/Inferentia：加速機器學習
機器學習包括兩個主要方向：一個是訓練，也就是建立模型並訓練迭代；一個是推理，是使用訓練後的模型來進行預測推理判斷。針對這兩個方面，亞馬遜雲科技推出了自研晶片的第三條產品線：機器學習晶片，包括用於訓練的Trainium和用於推理的Inferentia。
亞馬遜雲科技選擇推出機器學習晶片，主要是為了滿足人工智慧技術飛速發展，對大規模訓練和預測模型的需求。傳統的機器學習晶片效能提升，已經無法跟上模型複雜度的提升幅度，只能透過分散式多處理器方式，將一個模型透過網路協同計算來處理，這對網路效能和儲存效能提出來更高的要求。
亞馬遜雲科技在2022年10月份推出了Trn1例項，最多可以搭載16顆Trainium1晶片，提供512GB的高頻寬記憶體和800Gbps的網路頻寬，其在訓練具備萬億級引數的大模型GPT3時可以降低1/4的資源消耗。而基於自研推理晶片Inferentia1的Inf1例項，和GPU例項相比每次推理成本可以降低70%。
在2022 re：Invent全球大會上推出了Inferentia2晶片和Inf2例項。Inf2例項專門針對大型transformer模型的分散式推理，和Inf1例項相比每瓦效能提升45%，吞吐量提升4倍，延時只有1/10，支援GPT-3、Mask R-CNN、VIT等超大型複雜模型。
三、晶片支撐例項效能全面提升
（一）C7gn例項
配備了新一代Nitro V5和Graviton 3E的Amazon EC2 C7gn例項，具有高網路頻寬和資料包處理效能，而且功耗更低。與當前一代網路最佳化型例項相比，C7gn例項可以提供200Gbps的網路頻寬，提高50%的資料包處理效能，最適合網路密集型工作負載，如網路虛擬化裝置（包括防火牆、虛擬路由器和負載均衡器等）和資料加密業務等。
（二）Hpc7g例項
Amazon EC2 Hpc7g例項採用了Amazon Graviton3E晶片，與前一代Amazon EC2 C6gn例項相比，浮點效能提高了2倍；與前一代Amazon EC2 Hpc6a例項相比，效能提高了20%。
（三）Inf2例項
Amazon EC2 Inf2例項面向大型Transformer模型分散式推理建立的例項，可以執行多達1750億個引數的大型深度學習模型。與前一代的Inf1例項相比，可提供4倍的吞吐量，降低10倍延遲；與基於GPU的例項相比，每瓦效能提升高達45%。Inf2例項支援GPT-3、Mask-RCNN、ViT等大型複雜模型，且成本更優，延遲更低。
寫在最後
在數字化時代，雲計算是社會數字化轉型的核心基礎設施，而硬體晶片則是雲計算基礎設施的基石。包括亞馬遜、谷歌、微軟、阿里、華為在內，目前主要的雲服務商基本上都已經結合自身的業務特點，推出了定製化的自研晶片。當雲計算的業務規模足以支撐晶片迭代後，自研晶片就成為了雲計算持續創新的核心引擎，不斷加速雲計算服務的迭代。根據業務明確需求，根據需求定製開發，再用更聚焦的特性支撐業務，自研晶片正在逐步完善雲計算基礎設施的基石。
更高的可控性、更高的安全性、更高的靈活性、更高的價效比，對於持續引領雲計算產業發展的亞馬遜雲科技來說，經過十年努力構建的完整自研晶片體系，成為其加速雲計算底層技術創新的重要動力來源。