演算法「黑箱」真的能被治理嗎？

作者 | 魚三隹

編輯 | 衛詩婕

3 月 1 日，中國首個專門針對演算法推薦的法規《網際網路資訊服務演算法推薦管理規定》正式執行。

《規定》要求，演算法推薦服務提供者需向用戶提供演算法知情權、演算法選擇權（便捷的關閉演算法推薦服務的選項），以及，針對向未成年人、老年人、勞動者、消費者等主體提供服務的演算法推薦服務提供者作出具體規範。

截至目前，微信、抖音、今日頭條、淘寶等App均已進行了初步的改善，上線了演算法推薦關閉鍵。

作為 21 世紀數字生活的主要生產力之一，演算法憑藉資料量的爆炸與算力的提升，漸漸蔓延至社會的各個領域，影響資訊分發、商品等社會資源的配置、執行自動化決策，無論在公共領域還是私人生活中，演算法都是「強而有力」的存在。

從歡欣接受、感受其便利，到受其困擾、產生隱憂，演算法如何「支配」我們的生活？使用者真的能夠放棄演算法嗎？新規如何制約「演算法」的不當權利？相關法律法規經歷了怎樣的發展？《規定》內容是否會面臨實踐上的難題？

最近，我們分別與數字人文學者、網際網路治理研究員以及大廠的前演算法工程師進行了交流。

審視：演算法如何

行使「權力」？

李大白：《演算法的力量》

譯者，數字人文學者

社會秩序的協調、合作與控制離不開資訊交換，而透過對大量資料的處理與應用，演算法已然成為了當今社會資訊交換的有效載體，因此，說「演算法代表著一種權力」並不為過。

《演算法的力量》一書的作者，英國學者、大律師傑米·薩斯坎德多年來一直關注數字技術對政治、經濟和社會的影響。在書中，他描繪了數字技術對私人和公共生活的全面「入侵」，其中，「武力」、「審查」與「感知控制」則是演算法行使「權力」的三種方式。

《演算法的力量》傑米·薩斯坎德著

「武力」是指已經編寫好的程式在執行過程中無法被選擇或中止，人們只能服從於演算法自動給定的結果。

2009 年，奧巴馬總統將 25 部美國經典電影當成禮物送給來訪的英國首相戈登·布朗。然而，布朗回到倫敦後，卻發現這些電影無法在他英國的 DVD 機上播放；原因是 DVD 製造商和發行商為了保護商業利益、實施版權法，將禁止播放的命令編成程式碼寫到了 DVD 中，即便布朗已經是英國最有權勢的人，面對演算法設定的禁止指令也無能為力。

「審查」則主要是透過收集各項資料，對人們的行動進行監控、預測以及規範。

譬如最近網路爆出若干「算法系統監控員工行為」、「演算法預測員工離職機率」的新聞，雖然相關網際網路公司已出面否認這種說法，但這個事件本身就說明演算法已經越來越普遍地用於對人們的工作進行測量與評估，甚至預測員工什麼時候可能會離職，其結果是便是再現了福柯筆下「全景監獄」的場景：員工們不得不時刻關注工作時間的上網行為。

關於演算法對人們「感知控制」的討論要更多一些，核心概念有這些年常說的「資訊繭房」和 「過濾泡」，指的是演算法能夠過濾資訊、改變資訊排序，進而影響人們對於外界的感受與認知。

人們接受的資訊總是會受到某種「過濾」。在演算法時代之前，過濾資訊的職責主要由印刷品、廣播、電視等大眾媒體完成，如今，推薦演算法在相當程度上承擔了過濾的職責，其代表就是 2012 年 8 月上線，主打個性化內容推薦的今日頭條。一開始大家根本沒意識到它可能帶來的影響，然而基於興趣的演算法推薦幾乎從根本上改變了內容生產的邏輯。在其他領域，演算法應用的場景也逐漸豐富，電子商務、外賣平臺、打車軟體也紛紛採用更復雜的演算法體系、做更多維度的服務匹配，徹底構建起了以演算法為主導的平臺社會。

一開始，因為演算法能夠更精確、廣泛地控制人們傳遞和接受的資訊，在其剛被應用時受到使用者熱情追捧，所向披靡；然而，隨著「大資料殺熟」、「外賣騎手困在系統裡」等負面問題的出現，演算法能「服務」人，但也能「利用」人的觀念也開始深入大眾。

國外的相關案例也不少。在 2016 年美國大選中，有學者發現，機器人水軍「生產」了約 19% 的相關推文，為競選人拉票；同一年，英國脫歐公投時，Twitter 上大約三分之一的流量來自自動程式，它們幾乎都站在脫歐的一方。很難說這些演算法編寫而成的資訊不會對人們的公共決策造成干擾。

演算法越來越多地決定了誰被看到，誰被隱藏；誰入局，誰出局，哪些內容會像病毒一樣傳播開來，哪些內容註定無人問津。

今年 3 月開始實行的《網際網路資訊服務演算法推薦管理規定》中指出，使用者可以選擇關閉演算法推送，這無疑是正當的，因其為使用者在演算法使用上提供了必要的「退出機制」，讓使用者有權利選擇是否接受演算法對自我感知渠道的形塑。

問題是關閉之後使用者將看到什麼內容呢？

我在某內容平臺上嘗試勾選「關閉個性化推薦」按鈕，隨後該平臺上呈現的內容幾乎是無序的，無奈之下，我重新打開了「個性化推薦」。

如果說在演算法主導內容之前，我們看到的是編輯精選的優質內容，那麼在「演算法」把關的情形下，沒有個性化推薦的資訊流很可能既沒有營養，也不能滿足使用者的閱讀需求。如果為了實現對演算法推薦的自主選擇權，要以損失優質的閱讀或使用體驗為代價，顯然是大多數人不願意看到的。如果平臺抓住使用者的這一心理，對於關閉推薦演算法的使用者「區別對待」，那麼使用者也只能無奈放棄手中選擇的權利。

除了上述問題，由於演算法在社會場景中越來越廣泛的應用，也引發了人們對於演算法是否公平、正義的質疑。

2014 年，亞馬遜開發了一套簡歷篩選系統，對過去 10 年的簡歷進行關鍵詞識別並排序，結果是該系統對於男性應聘者有著明顯的偏好；2015 年，谷歌更新其照片應用的同時加入了一個自動標籤功能，但卻被紐約的一位黑人程式設計師發現，自己的照片竟然被打上了「大猩猩」的標籤。

演算法本身可能是「無罪」的，但是當它抓取、學習的資料不完整、或帶有偏見時，歧視和不公正自然就內嵌到演算法之中了。我們很難要求每個演算法工程師都是通曉道德哲學、社會政策的「哲人王」，實現相對公正的演算法，需要政治、法律、人文、社會學等各個學科的共同參與。

治理：「規範」之網的歷史

方師師：上海社科院新聞研究所

副研究員、網際網路治理中心主任

數字化、資料化和可計算是進入演算法社會的門檻。透過各種量化和追蹤技術，我們正在經歷一個「資料盛世」。如何將這些資料有效、合理、創新地使用起來，就不僅僅是一個技術問題，還是一個社會問題。

在這方面，歐盟起步得比較早，他們在 2016 年釋出的《通用資料保護條例》（GDPR）被稱為「史上最嚴格的隱私和資料保護法」。

其實早在 1995 年，歐盟就曾釋出過資料保護指令，只不過當時使用網際網路的人很少，個人資料的收集及處理僅限定在使用者名稱、地址及金融資訊等方面。隨著移動網際網路的普及，這一指令的內容已經無法幫助歐盟應對不斷出現的安全風險。

於是從 2012 年起，歐盟委員會開始重新審視個人資料保護的法律準則，逐步制定並完善了 GDPR。

同樣是在 2016 年，國內出臺了《網路安全法》，其中也提到了要加強對個人資訊的保護。去年相繼釋出的《資料安全法》和《個人資訊保護法》也是對網路資料和個人資訊作出了專項規定。

但是在演算法入侵的世界中，只對資料進行規範是遠遠不夠的。

今年 3 月國內開始執行的《網際網路資訊服務演算法推薦管理規定》就針對「大資料殺熟」、「不正當競爭」、「特殊人群保護」等社會關注的熱點問題給予規定明確。這是我國第一個專門針對演算法推薦的規章制度，在世界範圍也是一個創舉，一定程度上代表了當前對於演算法技術治理的最前沿。

「規定」將堅持正能量、禁止推薦違法資訊、落實主體責任等，列為演算法推薦服務提供者最重要規範。對科技倫理的審查提上議程。

針對使用者面對演算法的無奈地位，規定也要求：要向用戶提供便捷的關閉演算法推薦服務選項。我關注到最新的訊息是，截止到 3 月 15 日，微信、抖音、今日頭條、淘寶、百度、大眾點評、微博、小紅書等 App 均已上線演算法關閉鍵。

微信個性化廣告關閉頁面

開始執行的新規中，演算法備案是一個值得關注的點。它要求演算法服務提供者從內部開啟演算法黑箱、增加透明度，透過輸出、建檔、留存的方式，備案系統將成為可溯源存案。

3 月 1 日「網際網路資訊服務演算法備案系統」已經上線了，現在即便是普通使用者，也可以到演算法備案的官網上去查詢一下，這在一定程度上賦予了普通使用者對於演算法問題關注、討論、監督的權利。

隨著各項法規的出臺，國內對於演算法的「規範之網」正逐漸編織成型。與此同時，治理主體的分層定位也更加明確了。

國家網信部門負責統籌協調治理與監督管理工作，電信、公安和市場監管等聯合成為治理主體，地方與之相對應的部門負責本行政區的相關工作。演算法推薦服務的提供者要配合管理部門開展安全評估和監督檢查工作，提供必要的技術、資料等支援和協助。

或者我們更可以把演算法看做是網路社會中那條看不見的『關係線』，在經由演算法所構成的治理之網上，不同層次、領域、來源的力量被召喚出來，進入到這張治理之網中，發揮不同的作用。比如平臺和大型科技公司需要落實自身的責任，更多地與相關部門合作；公眾也可以運用當下所擁有的權利，對於科技公司採用的演算法進行監督。

對於演算法治理的未來，可以將其看作是一個多元行動者的網路，治理會趨於規範和穩定，但是不會停止。

疑慮：演算法黑箱真的

能夠被治理嗎？

劉鵬：《計算廣告》公眾號作者

我不否認近年來出臺的法規政策在一定程度上具有其正面意義，但是對於這類法規能夠具體起到的效果，我是存有疑慮的。

演算法，真的不是那麼容易就能監管好的。

我在清華畢業以後，先在微軟亞洲研究院工作了一段時間，研究人工智慧，之後又去了多家網際網路公司做計算廣告。一個明顯的體會就是，現在大型的網際網路公司應用的演算法，它的不可解釋性越來越強。

「機器學習」是目前演算法推薦的主流實現形式，其學習的原始素材來自於每個使用者的基礎資訊，比如性別、年齡、學歷等等，以及使用者在使用過程中產生的使用資料，比如點贊、收藏、關注等等，使用者的每一類資訊被稱為「feature」特徵。

最簡單的一類演算法是線性迴歸演算法，在這類演算法中，使用者每項特徵所佔的權重是清晰可見的，因此其具有「可解釋性」，監管難度並不高。

但問題在於，簡單的演算法能夠解決的問題十分有限，為了提升效率，越來越多的網際網路公司採用的是更為複雜的深度學習演算法網路。

很多人會用「鍊金術」來形容深度學習。

在古代，鍊金師們會將收集來的各種材料一股腦地倒進火爐中，一段時間後再看看是否煉製出了黃金，他們並不知道煉製的過程中這些材料發生了怎樣的化學反應，只能透過不斷嘗試材料組合與煉製流程。

與之類似，演算法工程師們將各種可用的資料資訊，都放到複雜的深度學習模型中進行訓練，即便他們找到了更高效的演算法模型，也並不能解釋清楚這些資料之間經過了怎樣的運算與處理。

在這種情況下，很難說清究竟是哪個特徵對於演算法輸出的結果具有關鍵性的影響，演算法的運作過程成為了難以解釋的「黑箱」，其中隱含的問題也就難以修正。

去年 8 月《推薦演算法規定》徵求意見稿剛釋出時，我就曾在自己的影片號上從技術角度進行了解讀。

我覺得大家首先要理解的一個點是，演算法的世界與人類世界在組織方式上有很大的不同。

比如我們人類在學習圍棋的時候，是先學習定式、棋理，融匯貫通之後棋力提升了自然就會贏棋。但是演算法學習的過程是相反的，它會先立下一個目標——「我要贏棋」，在演算法中我們稱這個目標為「目標函式」，然後再呼叫一切可以運用的資料去實現這個目標。

在通向這個目標的過程中，即使你設定了諸多障礙，複雜的演算法網路也會繞過這些限制，透過其他的方式達成目標。

因此，在演算法的世界中最重要的其實是那個「目標函式」。

假設一家公司的「目標函式」是要最佳化使用者的留存時間，那麼即使進行了限制時間等防沉迷設定，演算法模型還是會採取別的途徑來提升使用者在平臺上的使用時長。

「目標函式」才是演算法治理的「命門」所在，但這一點經常會被各國的立法者所忽視。

現在的規定只是要求公司以「適當的方式公佈演算法推薦服務」，但並未對什麼是「適當的」作出限制。

如果有些公司在公佈演算法時，只選擇性地公佈演算法在關鍵環節上的特徵，看起來是做到了公平、透明，但由於你不知道它真實制定的目標函式是什麼，這種公開的作用就十分有限了，甚至可能根本就沒用。

與此同時，公開演算法的背後還涉及到另一個問題：一些演算法對於公司或者商業機構而言，與其商業機密有關。

商業機密是受到法律保護的，那麼我們如何去界定哪些演算法應當被公佈、哪些演算法應當被保護呢？如何在不使企業的商業機密受損的前提下，最大可能實現有意義的演算法透明，還有很多問題仍需進一步的思考。

*頭圖來源：裝置藝術 Parallels （MINI & UVA）

本文為極客公園原創文章，轉載請聯絡極客君微信 geekparkGO

極客一問

演算法該如何調和便利與隱私的邊界？