奧推網

選單
科技

方法論:如何搭建內容評估體系

對文娛平臺來說,持續的內容迭代創新是平臺重要的生存法則,優質內容篩選能力是平臺的核心能力。只有建立科學的內容評估體系,持續滿足使用者對於“好”內容的需求,使用者才會持續地使用和留存。因此,搭建內容評估體系,打造健壯的內容生態,對於文娛平臺來說勢在必行。

一、為什麼搭建內容評估體系?

之所以進行內容評估,區別文娛平臺上的內容好壞,原因有三:

1)使用者需要消費“好”內容

在吸引新使用者方面,“好”內容有優勢,比如有趣的投放素材可以吸引新使用者下載,內容出圈可以帶來自然流量的增長。同時,只有持續滿足使用者對於“好”內容的需求,使用者才會持續地使用和留存。

2)應該讓“好”內容拿到“對”的流量

內容行業的本質是創新,追求內容新鮮感是使用者的天性,持續的內容迭代創新是內容平臺最重要的生存法則,優質新內容篩選的能力是平臺的核心能力。加之,流量資源是寶貴且稀缺的,只有精細化運營流量,才能把這些流量儘可能給到最適合的內容。

3)內容有成本與收益

一方面,內容的引入往往是伴隨著金錢的投入、員工的精力投入、使用者的流量投入,因此在創作內容時需要一套篩選機制,在投入資源的早期識別優質內容,高效扶持內容;另一方面,內容是可以獲得收益的,比如使用者為了看內容購買會員增值服務、吸引轉化自然新使用者、使用者消費更多流量也會間接為平臺帶來經濟價值。有了內容評估體系,可以釐清內容的 ROI 輔助決策,實現內容精細化運營。

二、如何搭建內容評估體系

常用的內容評估方式主要有人工評估和資料評估兩種方式。

1. 人工評估

人工評估是要求為內容定性的,在沒有資料或者強依賴人工審美的場景下我們會優先選擇人工評估,但是在定性的過程中也應當儘量有程度上的量化,這樣可以在後期應用人工評估結果的時候分類更清晰、應用更準確。比如說我們人工評估某個內容的聲音優美,那可能又要分為三個等級的優美,是專業級別中的天籟之音,還是普通專業級別的優美,再或者是普通人中的優美聲音。

人工評估有人工審美參與,可以解決很多沒有資料量化的評估場景,但也存在主觀判斷偏差大的特點,即便標準明確,人跟人的感受也會不同,每一名稽核員對於內容的理解非常容易產生偏差,一般會

採用抽樣複審的方式保證最終結果符合預期,

但是人工稽核整體要

對偏差有一定的包容心。

人工評估通常包括內容初審評估、內容歸類評估及內容觀感評估三種。

2. 資料評估

資料評估是為內容定量評價的,依託於海量的使用者行為,使用者對內容的各種反饋是最客觀公正的一種評估,也是各文娛平臺內部最關切的內容實戰效果。

資料評估具有更強的科學性、客觀性和可比較性、反饋及時可以配合改進流量分配的優勢。內容的價值可拆分從以下維度進行具體評估:

1)營收價值

內容可以直接帶來營收,使用者會為了某個內容而付費,通常分為單篇收益和會員收益,這些收入可以歸因到每一個內容個體上。

2)增長價值

優質內容在平臺外部傳播可以帶來新使用者,也可以幫助流失使用者迴流到平臺,這些使用者用其他方式獲取也是有一定成本的,因此內容帶來的新回用戶是內容的價值。可以透過拉新使用者量、拉回使用者量、新回用戶價值評估、留存及時長等指標進行評估。

3)社群價值

消費價值:優質的內容有消費價值,使用者會喜歡看甚至反覆看,所以可以用完播率、深度消費率、消費時長、收藏率和點贊率等進行評估(不同產品指標不一樣)。

促生產價值:內容有促生產的作用,抖音、快手上明星使用過的魔法表情,普通使用者看到之後爭相試用;小紅書、微博上達人發表自己的穿搭心得,使用者往往也會模仿著來生產自己的內容。這些內容都是使用者生產的一種激勵,內容的這種促生產價值也是“優質”的一個代表維度。

社交價值:使用者在站內有社交行為,可以增加使用者粘性,內容附屬的社交屬性幫助使用者加深和平臺之間的連結,內容的社交價值也需要被量化。

需要注意的是,資料評估的評價指標往往比較繁雜,需要結合評價目標提煉有效資訊。通常,文娛平臺完整的內容評估體系由人工評估和資料評估兩種方式互相組合補充形成。

三、內容評估模型介紹

1. 量化模型

內容是否優質可以從多個角度進行評估。對於文娛平臺來說,在面對多維度資料常常會有困惑,這個內容到底好不好,這些內容中間到底誰是最好的,因此需要一個統一量化的模型來評價內容。統一的量化模型最終將多個維度的評價指標凝結成一個

綜合評價分數。

什麼是量化模型?它指的是以應用統計學、計量經濟學為基礎,採用數學統計方法建立模型,建立模型的目標是建立指標之間的函式關係。統計模型最終得到的是變數之間關係的一種描述,是真實資料的近似估計。

在搭建文娛內容評估體系時,

最核心的目標是留存,

那麼我們做內容質量評估就需要找出能促進使用者留存的內容,內容的消費價值、生產價值、社交價值都是使用者留存在站內的影響因素,所以在這個擬合模型當中,y 是留存,x 是三大價值中的具體的指標,比如說收聽時長、點贊個數、生產個數、評論個數、關注個數等,模型的 x、y 都得到了確定,在數理統計模型應用中最適合用於這個模型的迴歸方程就是 logit regression。我們最終擬合的公式會得到這樣一個結果:

內容質量評估綜合分 = a*播放時長 + b*生產內容個數 + c*關注數 +……

內容質量評估綜合分越高,代表這個內容對使用者留存的貢獻越高。因此,在這個模型體系下,我們可以認為分數越高的內容就是更加“優質”等內容。

但同時,這套模型也有應用的侷限性,因為資料是用當前站內的使用者行為資料擬合的,這意味著它只代表當前站內的情況,這個數量關係是不可以拿到其他站外的 App 應用的;而且如果我們站內的產品形態、給使用者分發內容的邏輯有變化,那麼這個數量關係都會有改變,因此在這個侷限性下需要定期地更新這個模型。

2. 統一度量——貨幣化

有了模型的質量評估綜合分之後,在某些場景仍會覺得不夠用,比如說我們在採購內容時,知道了這個內容的質量評估綜合分是 100 分,但是 100 分的內容如果需要我們花 10 萬塊錢去採購,那這件事情到底值不值得?對於這樣的問題我們就需要把內容價值進一步量化,把分數的單位定位到貨幣,比如這個內容在站內創造的價值是 100 萬元,那麼我們就可以更容易感知到該內容的價值。

從貨幣角度來拆解內容價值會有以下最核心的三個層級:營收價值、增長價值、社群價值。每個內容可以在固定時間區間得到一個具體的價值金額數字。需要注意的是,這個價值金額在計算財務資料時不足夠嚴謹,它並不能代表每個內容真的給業務賺了多少錢。

計算這樣的量化價值是為了幫助業務衡量每一個內容的相對價值,目的是在迭代內容時更加清晰明確,價值可量化,輔助決策。

3. 模型修正

不同發展階段對於內容優質的定義可能會有區別,比如說早期更注重內容本身的價值,中後期更注重社群價值。各項指標的係數可以在特定場景下做一定的調整。

模型是基於使用者留存為目標擬合的,但是不一定適用於所有的場景,比如說我們在調整社群氛圍的時候,會傾向以社互動動資料來評估內容質量,此時不一定非要沿用這套模型,也可以對相關指標直接加權使用。

模型總結出的內容價值排序可能會跟 App 運營同學的認知不一致,需要依照具體情況逐一進行分析。

有了內容評估模型和體系,不管是內容引入評估、不同人群的精細化運營及分發還是內容 ROI 評估,對文娛平臺都有一定的應用和助力。要想提升優質內容供給,文娛平臺需要流量激勵,扶持流量轉化為更多的粉絲、更高的互動,促使創作者生產更多優質內容;同時,也要對負向內容做打壓,避免劣幣驅良幣,反哺內容引入策略,最終幫助文娛平臺真正落地精細化運營,給使用者帶來更好的體驗,促進平臺良性發展。