智東西（公眾號：zhidxcom）

作者 | 雲鵬

編輯 | 漠影

曾經，一部相機基本只能用來拍照，但當相機放在了智慧手機上以後，它便擁有了“認識你”的能力。

而今天，在智慧手機之外，包括攝像頭、麥克風以及各類感測器在內的硬體被用在各式各樣的硬體產品中，智慧終端的概念開始被更多人所認知。

電視攝像頭可以捕捉你的健身動作並給予指導、耳機可以聽懂你原本陌生的語言並實時翻譯……

在這些智慧、便捷的體驗背後，AI技術已經潤物細無聲般地走入了我們每個人的生活，而這些

終端裝置，藉助AI技術，擁有了理解環境、進行判斷，並進一步行動的能力。

今天各類裝置都在變得越來越智慧，圖片來源：高通

從曾經遠在雲端的AI，到今天走入邊緣側，逐漸落地於我們身邊各類終端裝置側的AI，一場正新的變革正在AI產業中醞釀。

就在最近的WAIC世界人工智慧大會上，高通透過一系列軟硬體層的技術突破，在證明自身AI技術實力的同時，向業內傳遞了一個明確的資訊：

端側AI將依然是AI發展的主要方向之一，而AI在終端側的應用，已經成為高通AI技術落地的核心突破口。

高通對於端側AI的發展是如何思考的？未來端側AI的發展將面臨哪些挑戰，我們又將如何破局？高通產品管理副總裁Ziad Asghar已經給出了答案。而由這些深入思考，我們可以更好地把脈端側AI未來的發展。

高通產品管理副總裁Ziad Asghar

一、端側AI優勢凸顯，如何“吃的更少幹活更多”是難點

究竟什麼是端側AI？其實小到我們日常用的智慧手機、智慧耳機、智慧手錶，大到智慧汽車，這些智慧終端產品本身，就是端側AI很好的應用案例。

近五年來，全球雲服務和伺服器市場的增速都有明顯的放緩趨勢，重金建立伺服器機房、大規模擴張雲服務的時代或許已經過去。

在這樣的大背景下，

雲端AI也開始加速走向邊緣和終端側，AI在各類產品、行業中的應用，開始進入“精耕細作”模式。

為什麼AI在終端側應用開始愈發受到青睞？其實相比放在雲端或者邊緣的伺服器中，AI在終端側應用的優勢還是比較明顯的。

首先最明顯、與我們關係最為密切的一點就是

資料隱私安全。

AI運行於端側，可以讓資料留在端側成為可能。整個AI處理鏈路中的資料都可以放在本地計算、儲存，這對於資料安全和隱私保護無疑是有利的。

此外，端側AI讓AI處理任務的

及時性

得到保障，可以最大限度的降低時延，實現快速響應並反饋輸出。

AI處理的重心正在向邊緣轉移，圖片來源：高通

最典型的就是車載場景，汽車對於路面情況的判斷，需要做到毫秒級，因此端側處理的重要性就更加凸顯了出來。

當然，AI於端側執行也會讓整個方案更加

靈活，

支援更多定製化功能，針對使用者面對的具體場景做出調整。

既然端側AI這麼“香”，大家直接用不就好了？事實當然沒有這麼簡單，端側AI發展面臨的最核心挑戰，就是如何讓AI模組

在既定功耗下，完成更多AI任務的處理。

任何離開功耗談智慧裝置可以實現的功能，都是不切實際的。

正是看到了端側AI的巨大優勢以及目前行業發展面臨的核心痛點，高通決定

將打造智慧網聯邊緣作為自己當下重要的專注領域，助力AI落地端側也成為高通的核心目標之一。

因為高通核心優勢之一，就是能讓

AI“少吃飯，多幹活”，

讓AI可以更高效地應用在各類硬體產品中。

在去年11月的高通投資者大會上，高通總裁兼CEO安蒙首次提出了高通接下來將要貫徹的

“統一的技術路線圖”，

而這一戰略將整合高通端側AI、高效能低功耗計算和5G連線等方面的優勢，為智慧網聯邊緣領域的玩家提供技術解決方案，讓高通的AI能力可以規模化地擴充套件到各條賽道中。

高通總裁兼CEO安蒙在2021年高通投資者大會上，圖片來源：高通

正如安蒙所說，憑藉“統一的技術路線圖”，高通會將AI、影像、圖形、處理和連線等技術優勢，帶給包括智慧手機、平板電腦、XR眼鏡、PC和汽車在內的幾乎所有終端產品。

二、深耕AI十餘年，硬體軟體兩手抓，兩手都要硬

當然，這樣的統一技術路線圖，並不是紙上談兵就能夠實現的，這需要

持續的研發投入和技術創新，需要軟硬體兩手都要硬。

作為全球智慧手機高階晶片市場佔有率第一的玩家，高通為人所熟知的一面是他們在手機行業推出了各種旗艦移動晶片，但實際上，高通是AI領域的“隱形大佬”，高通已經在AI領域深耕了十餘年。

高通利用自身的AI能力核心做了兩個方面的事情：

第一，增強現有體驗；第二，創造新的體驗。

高通的AI研究，圖片來源：高通

首先，增強現有體驗很好理解，現在不論是影像、影片、音訊、VR/AR還是通訊領域，AI技術都已經深度介入，而高通在這些領域，都積累了成熟的AI解決方案，用來提升實際的使用者體驗。

如何提升體驗？用最簡單的話來總結AI發揮的作用，就是

AI會幫助終端裝置提升處理任務的能力和效率。

推動AI研究提升能效，圖片來源：高通

比如同樣是影象最佳化，相比傳統演算法，基於深度神經網路的AI模型可以更加高效地對影象進行類似語義分割的處理。同樣是處理一張手機拍攝的照片，AI可以讓處理效率更高、能耗更低、同時效果更好。

再比如當我們身處漆黑一片的夜晚時，透過AI演算法對於拍攝全鏈路的最佳化、出色的降噪能力，手機可以獲得更強的暗光拍照能力，甚至可以化身“夜視儀”。

而另一方面，在提供創新體驗層，

高通與其枝繁葉茂的生態系統玩家進行合作，利用軟硬體技術，在智慧手機、PC、汽車等不同產品中尋找差異化體驗，從而形成高通自己的獨有優勢。

做生態，就離不開對於開發者生態的賦能。就在今年6月，高通釋出了自家首個統一的

高通AI軟體棧（Qualcomm AI Stack），

我們可以形象的將其理解為高通AI開發“百寶箱”。

高通AI軟體棧，圖片來源：高通

基於高通公司所有業務線產品組合的任何軟體開發，開發者們都可以從中找到所需要的技術、工具以及介面。

1、高能效比和靈活擴充套件能力成為高通AI引擎關鍵優勢

不論是對於現有終端裝置體驗的提升，還是基於生態對產品體驗做出的創新性探索，我們都能夠看到AI在端側展現出的極高價值。

而實現這樣出色的AI端側表現，與高通

在軟體硬體層面的深厚積累

密不可分。

在硬體方面，高通去年推出了最新的

第七代高通AI引擎，

其中Hexagon處理器的AI效能給人留下了深刻印象。

Hexagon處理器

由標量、張量和向量加速器組成，三個加速器使用統一的共享記憶體，高通將張量加速器的計算效能提升了一倍，同時共享記憶體的容量也提升了一倍。

在具體AI應用表現方面，第七代高通AI引擎的推理速度是前代的4倍，能效提升幅度達到了70%。可以說是真正的“吃的少，乾的多”。

Hexagon處理器，圖片來源：高通

究其原因，第七代高通AI引擎解決了前文提到的

端側AI落地核心痛點：如何在既定功耗下完成更多的AI處理。

在各種AI測試中，不論是峰值效能還是能效比表現，第七代高通AI引擎一直是“霸榜”般的存在。

AI效能測試排行榜（智慧手機端），圖片來源：高通

特別值得一提的是，除了高AI能效比，第七代高通AI引擎還具有

靈活擴充套件能力。

今天，AI技術所要面對的智慧終端品類已經極大豐富，從手機、AR/VR眼鏡、PC、各類物聯網產品到智慧汽車、邊緣雲終端。

如何將自身的AI硬體解決方案高效擴充套件至所有不同產品線，如何解決不同產品對於效能、功耗差異明顯的需求？是高通必須要面對的挑戰。

高通AI硬體解決方案的優勢及特性，圖片來源：高通

目前，高通的AI硬體解決方案已經實現了

從500毫瓦到15瓦的效能水平擴充套件，

甚至可以滿足200瓦的效能水平。

要知道，除了效能和功耗需求的不同，各類終端產品所需的深度學習架構和運算元也差異巨大。比如智慧手機需要使用生成模型、計算領域要用到Transformer模型，汽車ADAS則需要鐳射雷達模型。

此外，各類終端產品對於AI特性的需求也不盡相同。比如汽車和XR需要支援更多的併發場景。

為了解決這些AI能力需求上的差異，高通在Hexagon處理器中打造了高度可配置的硬體解決方案，使高通能夠將AI解決方案從智慧手機擴充套件到更多業務線。

比如面向汽車、雲端等高效能場景，高通可以調整Hexagon處理器內的加速器和記憶體元件，還可以拼接多個Hexagon處理器，透過更多Hexagon處理器協同工作實現效能的拓展提升。

一句話總結就是，高通的技術IP面向

毫瓦級和微瓦級

功耗需求設計，

能效優勢

明顯，而這一優勢也可以在引入到高效能終端時得到

規模化擴充套件，

這是

高通在AI硬體解決方案層面的獨特優勢之一。

可以說，第七代高通AI引擎這一硬體已經構成了

高通汽車、物聯網、XR等所有不同業務AI能力擴充套件的真正核心。

2、一次開發，就能拓展至所有高通平臺產品

除了硬體，

在AI軟體領域，端側AI的落地還存在更大的挑戰，

為此高通也做了深入佈局。

就在今年上半年，高通釋出了前文提到的高通AI軟體棧，值得一提的是，高通藉助這一單一軟體棧，實現了對所有產品線的覆蓋。

高通AI軟體棧，圖片來源：高通

高通AI軟體棧支援包括TensorFlow Micro、TensorFlow、Pytorch和ONNX在內的所有主流開發框架，支援所有的AI runtimes和作業系統，能夠提供高通AI引擎Direct、高通神經網路處理SDK、開發者庫、編譯器等眾多開發工具。

用更直觀的話來說就是，高通讓開發者和客戶可以根據自己的實際需求進行模型的開發和最佳化，

高通AI軟體棧，是對AI開發生態的一次重要賦能。

藉助AI軟體棧，開發者們在智慧手機領域開發的軟體可以快速、高效地擴充套件至汽車、XR、可穿戴裝置等豐富產品線進行使用。

“一次開發，就可以將解決方案跨高通所有產品線進行遷移”

是高通在AI軟體領域的獨特優勢之一。

三、技術武器庫展露冰山一角，端側AI讓裝置真正能“進化”

這些軟硬體解決方案的獨特優勢，讓端側AI的應用更具有可行性。其實我們現在看到的，只是高通技術武器庫中的一角，

高通研發團隊對於AI技術的研發遠比我們看到的更加深入，並且對於未來一些前瞻性技術也進行了積極探索。

雖然深度神經網路的出現，讓AI技術在近些年迎來了跨越式發展，但AI模型越來越大、為了應對更多場景變得越來越冗餘的問題愈發凸顯。輕量化的模型需求，變得日益迫切。

針對這一挑戰，高通一直在

模型壓縮技術

上進行著持續投入，目前高通能夠實現從神經網路中移除可能冗餘的部分，從而實現對模型的壓縮。

此外，透過對量化技術、編譯器技術的投入，高通讓AI可以在既定功耗下處理更多工。

這其中非常值得一提的是

高通在AI模型增效工具包（AIMET）內開發了無資料量化。

無資料量化表現，圖片來源：高通

在MobileNet-v2、ResNet-50和Deeplabv3等代表性測試中，無資料量化技術可以將模型從FP32轉化為INT8，但精度損失可以控制在1%以內。這種轉化而來的模型可以實現16倍的能效比提升。

高通還與谷歌就Google Vertex AI解決方案的神經網路架構搜尋能力展開了合作，並取得了比較直觀的成果。

比如在移動端的自然語言處理方面，高通在不影響模型精度的情況下將任務處理的時延降低了13%；而針對汽車領域中的物體檢測用例，時延改善了13%並且精度提升1。3%，針對特定的汽車用例，神經網路架構搜尋帶來的優勢非常明顯。

高通與谷歌就Google Vertex AI解決方案的神經網路架構搜尋能力展開合作，圖片來源：高通

在腳踏實地豐富自身AI技術武器庫的同時，高通同樣也會仰望星空。

今天，AI技術逐漸從雲端轉移到邊緣，但實際上AI邊緣學習的效果依然比較有限。展望未來，端側AI必然會加速落地，

高通希望下一步能夠實現完全分散式的AI，能夠在終端上進行推理和一定程度的學習工作。

端側AI能夠讓智慧裝置具有端側學習能力，這樣做的優勢是顯而易見的。

如果我們對一個模型進行多次訓練，經過訓練的模型訓練資料和測試資料會有較大差距，這會導致模型無法充分泛化，而端側學習可以讓我們根據需求個性化資料。與此同時，所有訓練和測試資料都能夠留在終端上，實現資料隱私保護。

在AI端側學習領域，

小樣本學習和聯邦學習

是高通端側AI能力開發的兩個非常有代表性的研究方向。

透過聯邦學習，雲端會向終端下發模型，而終端會基於本地資料進行最佳化調適，將模型再發回給雲端，從而最終實現全域性模型的改進。

聯邦學習，圖片來源：高通

以汽車為例，汽車上有各種攝像頭、鐳射雷達、聲吶，以及可以顯示精確位置的3D地圖，這些用例都可以應用AI進行聯邦學習，從而持續提升駕乘體驗。

透過聯邦學習的案例我們能夠看到，智慧汽車就是端側AI應用效果最為明顯的案例之一，而

不論是面向手機、汽車、XR還是物聯網裝置，端側AI的落地都意義重大。

結語：高通AI“大一統”戰略規模初顯

具有出色能效比、高靈活拓展性的高通AI引擎，和高通AI軟體棧所提供的高效便捷開發能力，讓高通在端側AI應用領域走在了行業前列。

憑藉“統一的技術路線圖”，從手機、汽車到XR，高通給自家各條產品線都賦予了AI能力加持的優勢，並讓這些優勢能夠以便捷的方式充分擴充套件至所有業務中。

當然，目前我們能夠實現的AI能力的確還只是冰山一角，仍然有比較大的提升空間，也許，這便是AI技術的魅力所在吧，它讓我們始終充滿期待。