本文轉(zhuǎn)載自? ResysChina ，作者? @clickstone ，極客公園已獲得轉(zhuǎn)載授權(quán)。

---

亞馬遜在業(yè)內(nèi)有「推薦系統(tǒng)之王」之稱，亞馬遜有 35% 的銷售額是與推薦系統(tǒng)相關(guān)的 [1]。但是最近，微軟的研究員 Amit Sharma 發(fā)表了一篇 paper《Estimating the causal impact of recommendation systems from observational data》[2]，對這個事情提出了質(zhì)疑。這篇論文分析了 Amazon 上 4000 種不同商品的相關(guān)數(shù)據(jù)，認為與我們通常歸因于推薦系統(tǒng)的點擊次數(shù)相比，實際上僅有四分之一真正是由推薦系統(tǒng)引起的，其他四分之三和推薦并沒有關(guān)系。

論文里舉了一個例子，如下圖左圖，大家主要看一下紅圈標明的地方，這是 Amazon 的單品頁上非常重要的一個推薦位「Frequently Bought Together / 經(jīng)常一起購買的商品」。冬天來了，小明想買一頂帽子御寒，他在 Amazon 上看中了圖中的這頂帽子，這個時候 Amazon 向小明推薦說，買這頂帽子的人通常還會買紅圈里的那副手套，而恰好小明也需要一副手套，所以就一起下單了。例子中手套的銷售通常被認為是推薦系統(tǒng)的作用。

而論文作者的觀點是，即使沒有推薦，如上圖右圖，小明因為御寒的需要，一樣會尋找并購買一副手套，因此這種購買不應(yīng)該計入推薦系統(tǒng)。作者把沒有推薦系統(tǒng)就不會發(fā)生的點擊稱為「因果性點擊」，而把上例中小明購買手套的點擊成為「便利性點擊」——有沒有推薦系統(tǒng)手套的購買都會發(fā)生，推薦系統(tǒng)僅僅是帶來了「便利性」。論文試圖用實驗的方法來證明，推薦系統(tǒng)帶來的絕大部分點擊都是這種「便利性點擊」，因此推薦系統(tǒng)的價值很大程度上被高估了。

為了干這個事情，論文作者發(fā)明了一種稱為「Shock-IV」的測量方法。論文的實驗數(shù)據(jù)來自于 Bing 工具條用戶的真實訪問日志，包括了 210 萬匿名用戶在 2013-14 年間的 9 個月時間內(nèi)對 Amazon 上 140 萬商品的訪問記錄，并以推薦系統(tǒng)中最最常見的推薦形態(tài)「Customers who bought this also bought / 買了還買」作為評價目標。具體的細節(jié)我這里略去不表了，有興趣的同學可以自己去讀一下 paper。論文的結(jié)果如下圖。

圖中顯示了使用 Shock-IV 方法得到的因果性點擊率（CTR）的估計值（綠色曲線），同時為了對比，還給出了把便利性點擊計算在內(nèi)的推薦系統(tǒng)點擊率（紅色虛線）。可以看到，例如書這個品類，因果性點擊率只有 5%，而我們通常認為 10% 以上點擊是來自于推薦系統(tǒng)。對于不同的商品類別，相比于推薦系統(tǒng)真實有效的點擊，即因果性點擊，我們通常會高估了 200％ 的推薦效果。接下來是論文的常見套路之列舉不足，然后給出了結(jié)論，他們使用的 Shock-IV 這套實驗方法是相當 data-driven 的，有很大的應(yīng)用價值應(yīng)該推而廣之。

有人把這個實驗結(jié)果 po 到了 Quora 上 [3]，結(jié)果推薦領(lǐng)域的大神 Xavier Amatriain 怒了。

熟悉推薦領(lǐng)域的人想必都知道 Xavier 的大名，他上一份工作是 Netflix 推薦團隊的負責人，現(xiàn)在是 Quora 的工程 VP。Xavier 之所以對這篇論文很不滿，一個重要的原因是他認為原論文的作者是在他們領(lǐng)域里受到尊重的研究人員，而這篇論文本身卻既不嚴謹又缺乏行業(yè)認知，大牌研究人員發(fā)布不靠譜的結(jié)論，誤導性非常大，因此他有必要站出來撥亂反正。

針對前文中「帽子-手套」的例子，Xavier 認為原論文提出的問題——如果沒有推薦用戶會怎么做——是毫無意義的。在沒有推薦的時候，用戶會有兩個選擇：1）自主選擇其他一副手套；2）拋棄你的服務(wù)，去別的地方。實際上，第二個選擇是非常值得關(guān)注的，且與原論文的另一大缺陷相關(guān)：僅是簡單地使用 CTR 來評估推薦系統(tǒng)。一個推薦系統(tǒng)的好壞不僅僅取決于有一個更好或更壞的 CTR，非常重要的一點是，它有助于減輕用戶尋找到「正確選擇」的負擔。假設(shè)兩個網(wǎng)站 A 和 B，在網(wǎng)站 A 里用戶 3 秒內(nèi)就找到了他想要的東西，而在網(wǎng)站 B 需要 3 分鐘，那么顯而易見地用戶會更經(jīng)常使用 A 網(wǎng)站。換句話說，推薦系統(tǒng)帶來的不僅僅是簡單的點擊，更重要的是讓用戶「重復使用」。

原論文中對「推薦」的定義太過狹隘，暫且不說現(xiàn)如今很多搜索結(jié)果都是個性化過的，像 Amazon 這樣的網(wǎng)站，推薦幾乎已經(jīng)無所不在了。而「便利性點擊」恰恰正是推薦系統(tǒng)所追求的目標之一。推薦系統(tǒng)讓用戶生活更容易、更便利，從長期上看，用戶因此會購買更多商品，或者對服務(wù)的滿意度更高。所以從實踐意義上看，原論文定義的問題根本就是個杯具。當我們使用 A/B 測試衡量一個推薦系統(tǒng)的效果時，我們更加看中的是推薦是否讓用戶「爽」了，用戶使用服務(wù)爽了，就會帶來更多的活躍與營收。「便利性」不是給推薦系統(tǒng)添亂，它是使用推薦系統(tǒng)應(yīng)該具備的固有益處。

另外，原論文中說因為數(shù)據(jù)層面的限制他們做不了在線的 A/B 測試，很多人很多場景也都做不了，因此它們提出的 Shock-IV 可以作為推薦系統(tǒng) A/B 測試的一種替代方案。Xavier 的意思是，你們別鬧了，并給出了他之前在前東家 Netflix 的一個案例，在「 Netflix 推薦系統(tǒng)的最新解讀：算法、商業(yè)價值與創(chuàng)新 」一文中，Netflix 發(fā)現(xiàn)個性化技術(shù)可以顯著提高推薦影片的被接受度（Take-Rate），即推薦給用戶的影片真正被播放的比率。Netflix 做了一個對比分析，見下圖，黑色線是基于熱門度的曲線，紅色線是基于個性化 PVR（Personalized Video Ranker）指標的曲線，個性化推薦使得接受度有了巨大的提升。而且除此之外，比接受度提高更有意義的是，優(yōu)秀的推薦技術(shù)使得用戶的參與度（觀看時長）與退訂率都受益匪淺。Netflix 的月退訂率很低（很小的個位數(shù)百分比），大部分是因為支付的問題，真正主動選擇退訂的非常少。通過在個性化推薦領(lǐng)域的多年耕耘，月退訂率得以降低了可觀的百分比。月退訂率的降低，一來有效延長了會員的付費存續(xù)期，二來也降低了為彌補流失用戶所要付出的成本。

Xavier 列舉了他認為原論文中的不妥之處，包括：

• 實驗的設(shè)定根本就是錯的；
• 對于推薦系統(tǒng)工作方式的假設(shè)也是錯的；
• 核心概念的定義過于苛刻，與應(yīng)用的現(xiàn)實場景脫節(jié)；
• 實驗受到了這么多的假設(shè)和約束，但沒有發(fā)現(xiàn)這些限制有任何好處；
• 由于實驗方法的這些限制，需要仔細考慮實驗結(jié)果的局限性；
• 最后得到的實驗結(jié)果，并沒有與任何公認的結(jié)果進行對比。

在 Quora 的回答里，Xavier 圍繞這些問題一一進行了反駁，內(nèi)容很長，建議大家去仔細讀一讀原答案，對大家學習理解推薦系統(tǒng)會非常有幫助。

其實關(guān)于如何評價推薦系統(tǒng)的作用，很早以前在 ResysChina 論壇里同學們也有過很多的討論。比如，如果以 CTR 為考核指標，把豆瓣電影單品頁中「喜歡這部電影的人也喜歡」這部分換成推薦熱門電影，這樣這部分的點擊率會提高很多。但如果考察用戶點擊的深度，即點擊了推薦項之后又繼續(xù)沿此路徑發(fā)生了多少次點擊，推薦系統(tǒng)給出的結(jié)果就要遠超熱門結(jié)果了。所以推薦系統(tǒng)從長期用戶價值來看更有用處。

Amazon 對待推薦系統(tǒng)價值的認知，《一鍵下單》書中有一段 Amazon 創(chuàng)始人貝索斯自己對它的評價：

我想我們能做的就是利用先進技術(shù)，例如聯(lián)合過濾（推薦系統(tǒng)最經(jīng)典的算法）以及其他技術(shù)來加快找書速度。打個比方，如果你今天走進一家書店，發(fā)現(xiàn)一本讓你靈魂出竅的書的可能性是 1/1000，我們想利用技術(shù)來了解你本人，并使這種機會增加到 1/300，然后是 1/100。經(jīng)過幾年的努力以后，使這個概率變成 1/50，等等。這將為人們創(chuàng)造巨大的價值。再偉大的商人也沒有機會逐個地了解他們的顧客，而電子商務(wù)要使這成為可能。

而且貝索斯還曾拿推薦系統(tǒng)作為武器來制衡供應(yīng)商，《一網(wǎng)打盡》中提到過這個事情：

亞馬遜在和大型出版商談判的時候，就會使用他們的「推薦系統(tǒng)」作為殺手锏。如果出版商沒有達到他們的要求，亞馬遜就威脅將他們的書從人機自動化推薦系統(tǒng)中撤下，這也就意味著他們將不會向客戶推薦這本書。最開始出版商根本不知道亞馬遜這樣做會有什么效果，他們大多數(shù)人不知道他們銷售額增長的原因正是因為他們處于顯眼的推薦位置。亞馬遜通過這種方法來展示其強大的市場力量。如果一家出版商不妥協(xié)，亞馬遜就會關(guān)閉推薦其書目的算法，出版商的銷售額一般會下降 40%。然后，通常 30 天左右出版商就會回過頭來說，「哎喲，我們怎么做這項工作？」

這個故事也從側(cè)面印證了原論文的假設(shè)是多么不靠譜。簡單講，這篇被批判的 paper 最大的問題之一，就是把推薦僅當做「買了還買」這么一項功能來看，推薦系統(tǒng)現(xiàn)在絕不僅僅是一個算法或者一項功能了，它承載著傳遞用戶價值的重大作用。

最后，關(guān)于「買了還買」這個推薦領(lǐng)域的經(jīng)典應(yīng)用，在 Greg Linden 的《Early Amazon》[4] 也里有過相關(guān)的內(nèi)容，推薦給大家：

亞馬遜有一個廣為人知的功能，「買過某本書的顧客還買過」。這是發(fā)現(xiàn)相關(guān)書籍的絕佳途徑。

在內(nèi)部，我們管這個功能叫做「相似推薦」。通過使用這個功能，不斷地從一本書跳轉(zhuǎn)到另一本書，叫做「相似推薦漫游」。

這個功能的第一版是一位叫做 Eric 的攻城獅開發(fā)的，他很聰明，開發(fā)經(jīng)驗也很豐富。和 Eric 一起工作的感覺很棒，從他身上我學到了很多。

第一版的相似推薦功能非常受歡迎。但是它有一個問題，即所謂的「哈利波特問題」。

嗯，是的，就是那個哈利波特。哈利波特是那種老少通殺的暢銷書，孩子會買它，大人也會買它，所有人都會買它。

然后你可以任選一本書。當你關(guān)注買了這本書的顧客還買過其他哪些書的時候，放心吧，其中的大多數(shù)顧客都買過哈利波特。

這種相似推薦是沒有太大用處的。你感受一下，當你在瀏覽《The Psychology of Computer Programming》這本書的時候，給你推薦哈利波特是不是挺沒用的。如果能夠推薦《Peopleware》和《The Mythical Man Month》，就有用多了。

要解決這個問題并不像乍看起來那么簡單。有一些顯而易見的解決方案會帶來另外的問題，其中一些甚至比哈利波特問題本身還要嚴重。

通過大量的實驗，我發(fā)明了一種新的相似推薦方法，工作得相當不錯。新方法給出的相似推薦，更新穎也更有幫助。而且與此同時，我還對程序性能做出了一些提升。整個過程非常有趣。

當這個新版本的相似推薦功能上線之后，貝索斯沖入我的辦公室，跪倒在我面前，向我高呼，「你丫的酷斃了！你丫的酷斃了！」

我和我的小伙伴們都驚呆了，不知道該作何反應(yīng)，即使到現(xiàn)在回想起來，仍然會覺得手足無措。那一刻，永遠地停留在了我的記憶中。

對《Early Amazon》全系列感興趣的，請關(guān)注 ResysChina 微信公眾號，回復「amazon」即可。

參考資料：

[1] https://www.quora.com/Was-Amazon-s-recommendation-engine-crucial-to-the-company-s-success

[2] https://medium.com/ @amit_sharma/how-much-traffic-do-recommender-systems-actually-cause-2e0c6708801f

[3] https://www.quora.com/What-do-Recommender-Systems-experts-think-of-the-Estimating-the-causal-impact-of-recommendation-systems-from-observational-data-paper

[4] http://glinden.blogspot.com/2006/03/early-amazon-similarities.html

頭圖來自? mashable