作者 | 陳彩嫻

編輯 | 岑峰

不久前，Meta AI 宣稱，其於

去年3月提出的10億引數自監督模型 SEER

（SElf-supERvised）又取得了新突破：新的 SEER 引數量翻了10倍，達到了100億引數，可以取得更優秀、更公平的效能表現！

以下我們暫且稱新的 SEER 模型為“SEER 10B”（一個牛逼不足以形容 Meta AI 在行動上落實自監督的野心，手動狗頭）。

根據 Meta AI 的團隊介紹，他們將 SEER 10B 模型在50+個基準與多個不同未標記資料集上進行了測試。其中，SEER 10B 不僅在 ImageNet 上取得了高達 85。8% 的準確率（排名第一），與原先只有 10 億引數量的 SEER （84。2%）相比效能提升了 1。6%。

此外，SEER 10B 在性別、膚色、年齡等三個公平基準上獲得了更出色的識別效果，明顯優於監督模型。

論文地址：https：//arxiv。org/pdf/2202。08360。pdf

留意 Meta AI 的朋友不難發現：最近，Meta AI 首席科學家 Yann LeCun 與 Meta 創始人扎克伯格在公開發言中堅持強調自監督學習的優越性。上週，

LeCun還提到自監督與世界模型

，將 AI 最終能學會像人類一樣學習與推理的希望寄託在這兩個方法上。

所謂“自監督學習”，就是 AI 系統可以直接從文字、影象或其他型別的無標記資料中直接學習，主要針對解決監督學習所需的海量標記資料問題，因為在現實研究中，要獲取大量的標記資料難度極高。

LeCun一直認為，自監督學習是構建具有背景知識或“常識”的機器、以解決遠遠超出當今 AI 任務的最有前景的方法之一。

但同時，也有讀者評價 Meta 倡導的自監督本質上不過是強化學習。不久前，“懟王”Jürgen Schmidhuber 也發表文章，稱“All You Need Is Supervised Learning”，重申監督學習在突破 AI 瓶頸中扮演的重要角色。

勿論其他，那麼，Meta AI 在自監督學習上有哪些研究實踐？引數量翻了10倍的 SEER 模型又有哪些新花樣？一起來看看~

1

SEER 從 1B 到 10B

去年3月初，Meta AI（原 Facebook AI）釋出了10億引數自監督模型 SEER，曾在 AI 領域引起廣泛關注。

據 Meta 介紹，這是他們在計算機視覺領域所取得的第一個基於自監督學習方法的成果：它可以直接從網際網路的任一隨機影象集合中學習，無需詳細的資料管理和標記，隨後直接輸出影象嵌入。

經過一年的提升，如今 Meta 的研究團隊將 SEER 的引數量擴大了10倍，在原有的基礎上取得了更出色的效能表現：

除了可以在無標記資料上直接學習，SEER 還可以提取更高質量的視覺特徵，以及發現現實世界大規模影象資料集中的顯著資訊，方式與人類分析所觀察事物之間的關係的方式來了解世界般相似。

注意：這些資料集的覆蓋範圍是全球數萬億張隨機、未經處理的影象。

據悉，擴大了10倍密集引數後的 SEER 是當前規模最大的密集計算機視覺模型。

他們在 50 多個基準上檢驗了 SEER 模型的效能，包括公平性、魯棒性、細粒度識別，還在醫學成像、衛星影象和光學字元識別 （OCR） 等領域的多個影象分類資料集上進行了實驗。

不難想象，引數量翻倍後的 SEER 10B模型在一些挑戰性較高的任務上也取得了更優秀的表現。

首先，100億 SEER 在 ImageNet 上獲得了高達 85。8% 的準確率，排名第一！

除了在標準計算機視覺基準上的優秀表現外，SEER還擅長處理高難度任務，並提高了對域外泛化的魯棒性。

例如，它可以正確識別素描圖和藝術畫中的動物，還可以搞定常見的影象問題，例如掩裝、模糊、遮擋、運動和怪異視角拍攝等。

SEER 10B 模型還能夠捕獲大量隨機的、未經過濾的網際網路影象中存在的顯著資訊，甚至跨越不同的地理和語言概念。

例如，即使該模型僅在沒有位置資訊或其他元資料的影象上進行訓練，它也能夠將全球多種語言的相同概念組合在一起。例如，將來自世界各地的“婚禮”概念嵌入到模型的特徵空間中。

除了效能的突破，Meta AI 還稱：SEER 10B 模型能取得更公平的效果。

他們使用 Meta 新開源的 Casual Conversations 資料集以及他們最近為CV模型提出的新公平基準對 SEER 進行測試，發現與較小的 SEER 模型以及 ImageNet 訓練的監督和自監督模型相比，SEER 10B 模型能更準確地識別這些社會成員屬性，適用於不同性別、膚色和年齡的人。

圖注：該圖使用 Casual Conversations 資料集顯示了性別檢索的準確性

此外，他們使用 Casual Conversations 資料集評估了模型標籤的錯誤率，例如在給定特定的人像中預測“非人類”或“犯罪”等標籤。研究表明，SEER 10B 問題不大，但在 ImageNet 上訓練的監督模型卻產生了大量的錯誤關聯。

圖注：該圖顯示了 SEER 模型對不同人群的關聯預測錯誤率

SEER 10B模型還不僅適用於歐美國家的影象示例，還適用於全球各地收入水平中下的地區，以前所未有的精度對影象進行地理定位。

透過在 Gapminder 的 Dollar Street 資料集（該資料集收集了世界各地家庭中的物體影象及家庭收入資訊）上實驗，他們還發現，SEER 10B模型對識別全球中低收入家庭與非西方地區家庭的效能有了大幅提升，且明顯優於10億引數的 SEER 與其他監督方法。

圖注：在 Meta AI 於 2020 年建立的資料集 Hateful Memes 上檢測多模態（影象 + 文字）仇恨言論時，SEER 10B 的表現也優於受監督的 ImageNet 訓練模型 2 個百分點。

2

對抗性攻擊

Meta AI 的研究團隊表示，秉著“負責任地開發 AI 系統”的原則，他們還對 SEER 10B模型進行了對抗性攻擊，以保護訓練資料的隱私安全。

他們在 Meta 的開源工具 Privacy Linter 上進行了測試，發現攻擊的準確度（50。02%）僅略高於完全隨機猜測，而隨機攻擊的準確度對於相同大小的訓練集，準確度為 50%。

此外，他們計算了不同召回級別的精度，以確保沒有訓練影象在低召回級別中暴露——這種情況可能發生在所有得分最高的樣本都屬於訓練集時；同時，精度低於 50。15% 適用於所有級別的召回（包括最低級別）。

圖注：由於 SEER 不依賴於標記資料集，所以它能夠在一組比 ImageNet 的地理多樣性更優的示例上訓練模型

為了測試模型在對抗性攻擊中的魯棒性，他們將模型用於識別模糊、插入、已被裁剪或經過其他編輯的扭曲影象。其中，SEER 10B在 CopyDays 基準測試中實現了 90。6% 的平均精度，提高了 5。1%，超越了之前的最佳結果。

此外，SEER 在域外魯棒性基準上優於在 ImageNet 上訓練的最先進的自監督模型，並且隨著規模的增大，魯棒性也不斷提高。

目前，SEER 10B 的模型權重、實現細節與技術文件都已開放：

專案地址：https：//github。com/facebookresearch/vissl/blob/main/projects/SEER/README。md#pretrained-models-weights

3

自監督學習與元宇宙

自監督學習是 Meta AI 首席科學家 Yann LeCun 近年來一直力推的研究方向。早在2018年Lecun就表示，人工智慧的下一個發展方向可能是放棄深度學習的所有機率技巧，轉而掌握一系列轉移能量值的方法。與“常規”的深度學習標記訓練方法相比，這一方式無需建立大量帶標籤的資料集，其基本設想是透過獲取一些豐富的原始資料（如大量Facebook Live影片或Instagram照片）並“喂”給機器進行訓練，訓練的目標是達到能量值越小越好（即預測更為準確，與現實之間實現更好的相容性）。

Lecun 2018年在UCSB做的“Self-Supervised Learning”演講Slide

基於能量的學習早就有之。在AI研究中，“能量函式”是一個上世紀80年代一度流行的“上古”概念，由美國生物物理學家霍普菲爾德（John Hopfield）發明的“霍普菲爾德神經網路”（HNN）引入並普及。Lecun認為，監督學習無法獲得像人類一樣可以泛化的智慧，當 AI 系統不再需要監督學習時，下一次 AI 革命就會到來，而基於能量的學習正是“減少監督”的有效實現方式。

Lecun的這一思路，在他上週接受 IEEE Spectrum 的訪談中也可見一斑。他認為AI想要突破現在的瓶頸，必須讓機器學習世界模型，從而能夠填補缺失的資訊，預測將要發生的事情，並預測行動的影響。這種學習正規化與預測架構的不同，或許也是不久前Lecun對OpenAI創始人Ilya Sutskever提出的“大型神經網路可能有意識”堅決說不的原因。

在

L

ecun的力推下，META圍繞自監督模型取得了一系列的研究成果（例如最近推出的多模態自監督學習新架構deta2vec等）。

這種透過自監督學習“觀察世界並學習”、最終實現像人類一樣泛化的智慧的學習方式，一方面可以最大程度利用META豐富的資料資源，同時也是META搶先打造元宇宙世界、加速數字世界與現實世界融合的重要技術手段。

Meta AI Research 團隊也表示，計算機視覺的發展是構建元宇宙的重要步驟，而自監督視覺模型 SEER 的增強無疑為元宇宙的更上一層樓作了鋪墊。

舉例來說，如果要打造一幅能夠幫你導航尋找鑰匙或教你如何做飯的 AR 眼鏡，那麼就需要機器能夠像人類一樣理解視覺世界。這些機器不單單要能在堪薩斯州和日本京都的廚房中工作，還要在吉隆坡、北京、紐約等等世界各地的廚房中工作，這就需要機器能識別常見物體的多種模樣。而 SEER 10B 在多種不同資料集中的強大效能為實現突破提供了可能。

參考連結：

1。https：//ai。facebook。com/blog/seer-10b-better-fairer-computer-vision-through-self-supervised-learning-training-on-diverse-datasets/？__cft__［0］=AZUdZehe1bz4Tl8QchITah3UYSJOxM5A9Ml6XS-IK4l2-IIH1BebGORQtD-N2Z84rVGnL6CFkpLT_tfW-Gc8EgnEh41TGTQl7mNXXxhC9_xvgzTKaOOorJn40G3qNRMEoqJfcndj1xd186wZn6so_sSLjWN1dp-QhJDipaWL5namAg&__tn__=-UK-R

2。https：//arxiv。org/pdf/2202。11960v1。pdf

雷峰網雷峰網