今日頭條的走紅帶動了“個性化推薦”的概念，自此之后，內(nèi)容型的產(chǎn)品，個性化算法就逐漸從賣點(diǎn)變?yōu)闃?biāo)配。
伴隨著“機(jī)器學(xué)習(xí)”，“大數(shù)據(jù)”之類的熱詞和概念，產(chǎn)品的檔次瞬間提高了很多。而各種推薦算法絕不僅僅是研發(fā)自己的任務(wù)，作為產(chǎn)品經(jīng)理，必須深入到算法內(nèi)部，參與算法的設(shè)計，以及結(jié)合內(nèi)容對算法不斷“調(diào)教”，才能讓產(chǎn)品的推薦算法不斷完善，最終與自己的內(nèi)容雙劍合璧。
本文以新聞產(chǎn)品為例，結(jié)合了我之前產(chǎn)品從零積累用戶的經(jīng)驗，整理了作為PM需要了解的基本算法知識和實操。
算法的發(fā)展階段
個性化推薦不是產(chǎn)品首次發(fā)布時就能帶的，無論是基于用戶行為的個性化，還是基于內(nèi)容相似度的個性化，都建立在大量的用戶數(shù)和內(nèi)容的基礎(chǔ)上。產(chǎn)品發(fā)布之初，一般兩邊的數(shù)據(jù)都有殘缺，因此個性化推薦也無法開展。
所以在產(chǎn)品發(fā)展的初期，推薦內(nèi)容一般采用更加聚合的“熱度算法”，顧名思義就是把熱點(diǎn)的內(nèi)容優(yōu)先推薦給用戶。雖然無法做到基于興趣和習(xí)慣為每一個用戶做到精準(zhǔn)化的推薦，但能覆蓋到大部分的內(nèi)容需求，而且啟動成本比個性化推薦算法低太多。
因此內(nèi)容型產(chǎn)品，推薦在發(fā)布初期用熱度算法實現(xiàn)冷啟動，積累了一定量級以后，才能逐漸開展個性化推薦算法。
熱度算法
1、熱度算法基本原理
需要了解的是，熱度算法也是需要不斷優(yōu)化去完善的，基本原理：
新聞熱度分 = 初始熱度分 + 用戶交互產(chǎn)生的熱度分 – 隨時間衰減的熱度分
Score = S0 + S（Users） – S（Time）
新聞入庫后，系統(tǒng)為之賦予一個初始熱度值，該新聞就進(jìn)入了推薦列表進(jìn)行排序；隨著新聞不斷被用戶點(diǎn)擊閱讀，收藏，分享等，這些用戶行為被視作幫助新聞提升熱度，系統(tǒng)需要為每一種新聞賦予熱度值；同時，新聞是有較強(qiáng)時效性的內(nèi)容，因此新聞發(fā)布之后，熱度必須隨著新聞變得陳舊而衰減。
新聞的熱度就在這些算法的綜合作用下不斷變化，推薦列表的排序也就不斷變化。
2、初始熱度不應(yīng)該一致
上面的算法為每一條入庫的新聞賦予了同樣的熱度值，但在現(xiàn)實使用后發(fā)現(xiàn)行不通，例如娛樂類別比文化類別受歡迎程度本身就高很多；或者突發(fā)了嚴(yán)重的災(zāi)害或事故；或是奧運(yùn)會期間，體育類別的關(guān)注度突然高了起來；而此時如果還是每條新聞給同樣的熱度就不能貼合實際了。
解決辦法就是把初始熱度設(shè)置為變量：
（1）按照新聞類別給予新聞不同的初始熱度，讓用戶關(guān)注度高的類別獲得更高的初始熱度分，從而獲得更多的曝光。
例如：
（2）對于重大事件的報道，如何讓它入庫時就有更高的熱度，我們采用的是熱詞匹配的方式。
即對大型新聞?wù)军c(diǎn)的頭條，Twitter熱點(diǎn)，競品的頭條做監(jiān)控和扒取，并將這批新聞的關(guān)鍵詞維護(hù)到熱詞庫并保持更新；每條新聞入庫的時候，讓新聞的關(guān)鍵詞去匹配熱詞庫，匹配度越高，就有越高的初始熱度分。
這樣處理后，重大事件發(fā)生時，Twitter和門戶網(wǎng)站的爭相報道會導(dǎo)致熱詞集中化，所有匹配到這些熱詞的新聞，即報道同樣事件的新聞，會獲得很高的初始熱度分。
3、用戶行為分規(guī)則不是固定不變的
解決了新聞入庫的初始分之后，接下來是新聞熱度分的變化。先要明確用戶的的哪些行為會提高新聞的熱度值，然后對這些行為賦予一定的得分規(guī)則。
例如對于單條新聞，用戶可以點(diǎn)擊閱讀（click），收藏（favor），分享（share），評論（comment）這四種行為，我們?yōu)椴煌男袨橘x予分?jǐn)?shù)，就能得到新聞的實時用戶行為分為：
S（Users） = 1*click + 5*favor + 10*comment + 20*share
這里對不同行為賦予的分?jǐn)?shù)為1,5,10,20，但這個值不能是一成不變的；當(dāng)用戶規(guī)模小的時候，各項事件都小，此時需要提高每個事件的行為分來提升用戶行為的影響力；當(dāng)用戶規(guī)模變大時，行為分也應(yīng)該慢慢降低，因此做內(nèi)容運(yùn)營時，應(yīng)該對行為分不斷調(diào)整。
當(dāng)然也有偷懶的辦法，那就是把用戶規(guī)模考慮進(jìn)去，算固定用戶數(shù)的行為分，即：
S（Users） = （1*click + 5*favor + 10*comment + 20*share）/ DAU * N（固定數(shù)）
這樣就保證了在不同用戶規(guī)模下，用戶行為產(chǎn)生的行為分基本穩(wěn)定。
4、熱度隨時間的衰減不是線性的
由于新聞的強(qiáng)時效性，已經(jīng)發(fā)布的新聞的熱度值必須隨著時間流逝而衰減，并且趨勢應(yīng)該是衰減越來越快，直至趨近于零熱度。換句話說，如果一條新聞要一直處于很靠前的位置，隨著時間的推移它必須要有越來越多的用戶來維持。
我們要求推薦給用戶的新聞必須是24h以內(nèi)，所以理論上講，衰減算法必須保證在24h后新聞的熱度一定會衰減到很低，如果是線性衰減，當(dāng)某些新聞突然有大量用戶閱讀，獲得很高的熱度分時，可能會持續(xù)排名靠前很久，讓用戶覺得內(nèi)容更新過慢。
參考牛頓冷卻定律，時間衰減因子應(yīng)該是一個類似于指數(shù)函數(shù)：
T（Time） = e ^ （k*（T1 – T0））
其中T0 是新聞發(fā)布時間，T1 是當(dāng)前時間。
而由于熱度的發(fā)展最終是一個無限趨近于零熱度的結(jié)果，最終的新聞的熱度算法也調(diào)整為：
Score = （ S0（Type） + S（Users）） / T（Time）
5、其他影響因素
很多新聞產(chǎn)品會給用戶“贊”，“踩”或“不在推薦此類”的選項，這些功能不僅適用于個性化推薦，對熱度算法也有一定的作用。
新聞的推送會造成大量的打開，在計算熱度的時候需要排除掉相關(guān)的影響。類似于這樣的因素，都會對熱度算法產(chǎn)生影響，因此熱度算法上線后，依然需要不斷地“調(diào)教”。
建議把所有的調(diào)整指標(biāo)做成可配項，例如初始熱度分，行為事件分，衰減因子等，從而讓產(chǎn)品和運(yùn)營能實時調(diào)整和驗證效果，達(dá)到最佳狀態(tài)。
基于內(nèi)容的推薦算法
現(xiàn)在，你的內(nèi)容產(chǎn)品順利度過了早期階段，擁有了幾萬甚至十幾萬級別的日活。這時候，你發(fā)現(xiàn)熱度算法導(dǎo)致用戶的閱讀內(nèi)容過于集中，而個性化和長尾化的內(nèi)容卻鮮有人看，看來是時候開展個性化推薦，讓用戶不僅能讀到大家都喜歡的內(nèi)容，也能讀到只有自己感興趣的內(nèi)容。
個性化推薦一般有兩種通用的解決方案，一是基于內(nèi)容的相關(guān)推薦，二是基于用戶的協(xié)同過濾。
由于基于用戶的協(xié)同過濾對用戶規(guī)模有較高要求，因此更多使用基于內(nèi)容的相關(guān)推薦來切入。
這里引入一個概念叫“新聞特征向量”來標(biāo)識新聞的屬性，以及用來對比新聞之間的相似度。我們把新聞看作是所有關(guān)鍵詞（標(biāo)簽）的合集，理論上，如果兩個新聞的關(guān)鍵詞越類似，那兩個新聞是相關(guān)內(nèi)容的可能性更高。
新聞特征向量是由新聞包含的所有關(guān)鍵詞決定的。得到新聞特征向量的第一步，是要對新聞內(nèi)容進(jìn)行到關(guān)鍵詞級別的拆分。
1、分詞
分詞需要有兩個庫，即正常的詞庫和停用詞庫。正常詞庫類似于一本詞典，是把內(nèi)容拆解為詞語的標(biāo)準(zhǔn)；停用詞庫則是在分詞過程中需要首先棄掉的內(nèi)容。
停用詞主要是沒有實際含義的，例如“The”,“That”，“are”之類的助詞；表達(dá)兩個詞直接關(guān)系的，例如“behind”，“under”之類的介詞，以及很多常用的高頻但沒有偏向性的動詞，例如“think”“give”之類。顯而易見，這些詞語對于分詞沒有任何作用，因此在分詞前，先把這些內(nèi)容剔除。
剩下對的內(nèi)容則使用標(biāo)準(zhǔn)詞庫進(jìn)行拆詞，拆詞方法包含正向匹配拆分，逆向匹配拆分，最少切分等常用算法，這里不做展開。
因為網(wǎng)絡(luò)世界熱詞頻出， 標(biāo)準(zhǔn)詞庫和停用詞庫也需要不斷更新和維護(hù)，例如“藍(lán)瘦香菇”，“套路滿滿”之類的詞語，可能對最終的效果會產(chǎn)生影響，如果不及時更新到詞庫里，算法就會“一臉懵逼”了。
因此，推薦在網(wǎng)上查找或購買那些能隨時更新的詞庫，各種語種都有。
2、關(guān)鍵詞指標(biāo)
前面已經(jīng)說過，新聞特征向量是該新聞的關(guān)鍵詞合集，那關(guān)鍵詞的重合度就是非常重要的衡量指標(biāo)了。
那么問題來了，如果兩條新聞的關(guān)鍵詞重合度達(dá)到80%，是否說明兩條新聞有80%的相關(guān)性呢？
其實不是，舉個例子：
（1）一條“廣州摩拜單車投放量激增”的新聞，主要講摩拜單車的投放情況，這篇新聞里“摩拜單車”是一個非常高頻的詞匯，新聞在結(jié)尾有一句“最近廣州天氣不錯，大家可以騎單車出去散心”。因此“廣州天氣”這個關(guān)鍵詞也被收錄進(jìn)了特征向量。
（2）另外一條新聞“廣州回南天即將結(jié)束，天氣持續(xù)好轉(zhuǎn)”，這篇新聞結(jié)尾有一句“天氣好轉(zhuǎn)，大家可以騎個摩拜單車出門溜溜啦”，新聞里面“廣州天氣”是非常高頻的詞匯，“摩拜單車”盡管被收錄，但只出現(xiàn)了一次。
這兩個新聞的關(guān)鍵詞雖然類似，講的卻是完全不同的內(nèi)容，相關(guān)性很弱。如果只是看關(guān)鍵詞重合度，出現(xiàn)錯誤判斷的可能性就很高；所以特征向量還需要有第二個關(guān)鍵詞的指標(biāo)，叫新聞內(nèi)頻率，稱之為TF（Term Frequency），衡量每個關(guān)鍵詞在新聞里面是否高頻。
那么問題來了，如果兩條新聞的關(guān)鍵詞重合度高，新聞中關(guān)鍵詞的頻率也相差無幾，是否說明相關(guān)性很強(qiáng)呢？
理論上是的，但又存在另外一種情況：如果我們新聞庫里所有的新聞都是講廣州的，廣州天氣，廣州交通，廣州經(jīng)濟(jì)，廣州體育等，他們都是講廣州相關(guān)的情況，關(guān)鍵詞都包含廣州，天河，越秀，海珠（廣州各區(qū)）等，并且有著類似的頻率，因此算法很容易將它們判斷為強(qiáng)相關(guān)新聞。
從地域角度講，這種相關(guān)性確實很強(qiáng)，但從內(nèi)容類別層面，其實沒有太多相關(guān)性，如果我是一個體育迷，你給我推薦天氣，交通之類的內(nèi)容，就沒多大意義了。
因此引入第三個關(guān)鍵詞的指標(biāo)，即關(guān)鍵詞在在所有文檔中出現(xiàn)的頻率的相反值，稱之為IDF（Inverse Document Frequency）。
為什么會是相反值？因為一個關(guān)鍵詞在某條新聞出現(xiàn)的頻率最大，在所有文檔中出現(xiàn)的頻率越小，該關(guān)鍵詞對這條新聞的特征標(biāo)識作用越大。
這樣每個關(guān)鍵詞對新聞的作用就能被衡量出來即TFIDF=TF * IDF，這也就是著名的TF-IDF模型。
3、相關(guān)性算法
做完分詞和關(guān)鍵詞指標(biāo)后，每一篇新聞的特征就能用關(guān)鍵詞的集合來標(biāo)識了：
其中word0，1，2……n是新聞的所有關(guān)鍵詞，tfidf0，1，2……n則是每個關(guān)鍵詞的tfidf值。
兩個新聞的相似度就能通過重合的關(guān)鍵詞的tfidf值來衡量了。根據(jù)之前所學(xué)的知識，幾何中夾角余弦可以用來衡量兩個向量的方向的差異性，因此在我們的算法中使用夾角余弦來計算新聞關(guān)鍵詞的相似度。夾角越小，相似度越高。
有了關(guān)鍵詞和各關(guān)鍵詞的tfidf之后，就可以計算新聞的相似度了。假設(shè)兩條新聞的特征列表如下：
可以看到兩條新聞有 5 個重合的關(guān)鍵詞：廣州，摩拜單車，太陽，天河和市長，因此兩條新聞的相關(guān)性由這 5 個關(guān)鍵詞決定，計算方式如下：
得出兩條新聞的相關(guān)性最終值；用同樣的方法能得出一條新聞與新聞庫里面所有內(nèi)容的相關(guān)性。
4、用戶特征
得到新聞特征以后，還需要得到用戶特征才能對兩者進(jìn)行匹配和推薦，那怎么獲得用戶特征呢？
需要通過用戶的行為來獲得，用戶通過閱讀，點(diǎn)贊，評論，分享來表達(dá)自己對新聞內(nèi)容的喜愛；跟熱度排名類似，我們對用戶的各種行為賦予一定的“喜愛分”，例如閱讀 1 分，點(diǎn)贊 2 分，評論 5 分等，這樣新聞特征跟用戶行為結(jié)合后，就能得到用戶的特征分。
而隨著用戶閱讀的新聞數(shù)越來越多，該用戶的標(biāo)簽也越來越多，并且越發(fā)精準(zhǔn)。
從而當(dāng)我們拿到新聞的特征后，就能與用戶的關(guān)鍵詞列表做匹配，得出新聞與用戶閱讀特征的匹配度，做出個性化推薦。
5、其他運(yùn)用
除了個性化推薦，基于內(nèi)容的相關(guān)性算法能精準(zhǔn)地給出一篇新聞的相關(guān)推薦列表，對相關(guān)閱讀的實現(xiàn)非常有意義。此外，標(biāo)簽系統(tǒng)對新聞分類的實現(xiàn)和提升準(zhǔn)確性，也有重要的意義。
6、優(yōu)缺點(diǎn)
基于內(nèi)容的推薦算法有幾個明顯優(yōu)點(diǎn)：
而最主要的缺點(diǎn)就是確定性太強(qiáng)了，所有推薦的內(nèi)容都是由用戶的閱讀歷史決定，所以沒辦法挖掘用戶的潛在興趣；也就是由于這一點(diǎn)，基于內(nèi)容的推薦一般與其他推薦算法同時存在。
基于用戶的協(xié)同推薦
終于，經(jīng)過團(tuán)隊的努力，你的產(chǎn)品已經(jīng)有了大量活躍用戶了，這時候你開始不滿足于現(xiàn)有的算法。雖然基于內(nèi)容的推薦已經(jīng)很精準(zhǔn)了，但總是少了那么一點(diǎn)性感。因為你所有給用戶的內(nèi)容都是基于他們的閱讀習(xí)慣推薦的，沒能給用戶“不期而遇”的感覺。
于是，你就開始做基于用戶的協(xié)同過濾了。
基于用戶的協(xié)同過濾推薦算法，簡單來講就是依據(jù)用戶A的閱讀喜好，為A找到與他興趣最接近的群體，所謂“人以群分”，然后把這個群體里其他人喜歡的，但是A沒有閱讀過的內(nèi)容推薦給A。
舉例我是一個足球迷，系統(tǒng)找到與我類似的用戶都是足球的重度閱讀者，但與此同時，這些“足球群體”中有一部分人有看NBA新聞的習(xí)慣，系統(tǒng)就可能會給我推薦NBA內(nèi)容，很可能我也對NBA也感興趣，這樣我在后臺的興趣圖譜就更完善了。
1、用戶群體劃分
做基于用戶的協(xié)同過濾，首先就要做用戶的劃分，可以從三方面著手：
（1）外部數(shù)據(jù)的借用
這里使用社交平臺數(shù)據(jù)的居多，現(xiàn)在產(chǎn)品的登錄體系一般都借用第三方社媒的登錄體系，如國外的Facebook、Twitter，國內(nèi)的微信、微博，借用第三方賬戶的好處多多，例如降低門檻，方便傳播等，還能對個性化推薦起到重要作用。
因為第三方賬戶都是授權(quán)獲取部分用戶信息的，往往包括性別，年齡，工作甚至社交關(guān)系等，這些信息對用戶群劃分很有意義。
此外還有其他的一些數(shù)據(jù)也能借用，例如IP地址，手機(jī)語種等。
使用這些數(shù)據(jù)，你很容易就能得到一個用戶是北京的還是上海的，是大學(xué)生還是創(chuàng)業(yè)者，并依據(jù)這些屬性做準(zhǔn)確的大類劃分。
比如一篇行業(yè)投資分析出來后，“上海創(chuàng)業(yè)圈”這個群體80%的用戶都看過，那就可以推薦給剩下的20%。
（2）產(chǎn)品內(nèi)主動詢問
常見在產(chǎn)品首次啟動的時候，彈框詢問用戶是男是女，職業(yè)等，這樣能對內(nèi)容推薦的冷啟動提供一些幫助。但總體來說，性價比偏低，只能詢問兩三個問題并對用戶的推薦內(nèi)容做非常粗略的劃分，同時要避免打擾到用戶；這種做法算是基于用戶個性化的雛形。
（3）對比用戶特征
前文已經(jīng)提到過，新聞的特征加用戶的閱讀數(shù)據(jù)能得到用戶的特征，那就可以通過用戶特征的相似性來劃分群體。
2、內(nèi)容推薦實施
我們結(jié)合一個很小的實例來了解用戶協(xié)同過濾的原理，包括如何計算用戶之間的相似性和如何做出推薦。
假設(shè)有A、B、C、D和E共 5 個用戶，他們各自閱讀了幾篇新聞并做出了閱讀，贊，收藏，評論，分享操作，我們對這幾種行為賦予的分?jǐn)?shù)分別為 1 分、 2 分、 3 分、 4 分和 5 分，這樣用戶對每條新聞都有自己的得分，其中“-”表示未閱讀，得分如下：
接下來，我們需要給用戶E推薦4,5, 6 中的哪一篇？
用戶的閱讀特征向量由用戶所有的閱讀數(shù)據(jù)決定，我們以用戶E閱讀過的新聞數(shù)據(jù)作為參考標(biāo)準(zhǔn)，來找到與E最相似的用戶。
多維向量的距離需要通過歐幾里得距離公式來計算，數(shù)值越小，向量距離約接近。
算出結(jié)果：
因此得出結(jié)果：用戶D是與用戶E閱讀喜好最接近的那個，應(yīng)該優(yōu)先歸為同一類用戶。最終結(jié)論根據(jù)用戶D的閱讀數(shù)據(jù)，優(yōu)先推薦news4。
3、內(nèi)容選取
我們通過閱讀特征向量把用戶做群體劃分后，接下來就是如何獲取新聞推薦的優(yōu)先級。
上面的例子里面只需要選出一個相似用戶，并且用戶A,B,C,D都只閱讀news4,5, 6 中的一條，所以比較簡單，但現(xiàn)實情況中，同一個用戶群體閱讀的新聞多且隨機(jī)，用戶交互更是錯綜復(fù)雜，如何得出推薦新聞的優(yōu)先級呢？
假設(shè)用戶X在系統(tǒng)歸屬于群體A，這個群體有n個用戶，分別為A0，A1，A2……An，這些用戶的集合用S(X,n)表示。
首先，我們需要把集合中所有用戶交互過（閱讀，評論等）的新聞提取出來
需要剔除掉用戶X已經(jīng)看過的新聞，這些就不用再推薦了，剩下的新聞集合有m條，用N（X,m）來表示
對余下的新聞進(jìn)行評分和相似度加權(quán)的計算，計算包括兩部分，一是用戶X與S（X,n） 每一個用戶的相似性，二是每個用戶對新聞集N（X,m）中每條新聞的喜好，這樣就能得到每條新聞相對于用戶X的最終得分
將N（X,m）中的新聞列表按照得分高低的順序推薦給用戶
4、優(yōu)缺點(diǎn)
相比于基于內(nèi)容的推薦算法，基于用戶的協(xié)同過濾同樣優(yōu)缺點(diǎn)明顯。
優(yōu)點(diǎn)主要在于對分詞等算法的精確度無太大要求，推薦都是基于用戶的行為數(shù)據(jù)去不斷學(xué)習(xí)和完善；同時能發(fā)現(xiàn)用戶的潛在閱讀興趣，能“制造驚喜”。
而缺點(diǎn)則是啟動的門檻高，用戶量不夠時幾乎無法開展；并且學(xué)習(xí)量不夠時推薦結(jié)果較差。
總結(jié)
關(guān)于個性化推薦的算法，在網(wǎng)上有很多資料，也有很多其他的實現(xiàn)方法，因為筆者了解也有限，所以也不敢描述。如有興趣可以自行搜索。
熱度和個性化推薦算法，作為大部分內(nèi)容型產(chǎn)品的核心賣點(diǎn)之一，依然在不斷地進(jìn)化和完善中。沒有哪種算法是完美的，甚至沒有哪種算法是一定優(yōu)于其他的，在實際使用中，很多產(chǎn)品都是多算法結(jié)合去做好內(nèi)容推薦。
而產(chǎn)品經(jīng)理在算法的實施中，絕對不是一句“我們要做個性化推薦”就完事的，必須深入算法內(nèi)部，對算法的原理做深入了解，然后結(jié)合自己的產(chǎn)品特征來部署和優(yōu)化。
因此我站在產(chǎn)品經(jīng)理的角度，整理了這一篇初步的算法相關(guān)的介紹，如有對文中內(nèi)容感興趣的，歡迎探討！如有描述不當(dāng)之初，敬請指正，感激不盡！
最后，需要對我的團(tuán)隊表示感謝，飛哥在算法的研究中打了頭陣并給出了細(xì)致的分享，宗榮對算法進(jìn)行了無數(shù)輪的調(diào)整和優(yōu)化，凱華在關(guān)鍵詞的部署和效果驗證中付出了很多心血……喜歡那些日子里大家一起從零開始學(xué)習(xí)和實現(xiàn)算法，讓推薦效果越來越好。
關(guān)于作者：盧爭超 PMCAFF會員 前UC海外產(chǎn)品運(yùn)營經(jīng)理，前微信支付海外產(chǎn)品經(jīng)理，負(fù)責(zé)UC瀏覽器、微信支付等產(chǎn)品的國際化。