淘寶抖音美團頭條都在用的推薦系統(tǒng)到底是什么呢？

打開淘寶，首頁內(nèi)容會給你推薦很多商品，這些商品有的是你曾經(jīng)瀏覽過、類似的物品，有些是你可能潛意識里有過的物品，于是你不斷的刷著淘寶，不斷的點進去看，不斷的買買買。打開抖音，首頁推薦了很多視頻，或許是你的親人同學同事相關內(nèi)容，或許是美食旅游帥哥美女搞笑，但都有一個特點，你很感興趣，你停不下來看的節(jié)奏。

打開美團，首頁給你推薦了很多美食，單是火鍋，就有好吃的、距離你最近的、最便宜的，再到其它的奶茶等等，于是你就不斷的查看挑選，最終選擇了最心儀的店鋪與美食。

打開今日頭條，首頁同樣會給你推薦很多內(nèi)容，小紅書、知乎、騰訊新聞、微博等，似乎它們展示的內(nèi)容差不多你都感興趣，好像很懂你的心，最終讓你付出了時間、精力、金錢的成本。那么它們背后的推薦系統(tǒng)到底是怎么實現(xiàn)的呢？

推薦系統(tǒng)包含兩類，基于人和基于物的推薦。所謂基于人的推薦就是根據(jù)用戶的歷史行為、興趣愛好推薦，比如在淘寶你最近瀏覽了Nike的運動鞋，那么再次打開就會給你推薦Nike的運動鞋、阿迪的運動鞋。所謂基于物的推薦就是根據(jù)正在瀏覽商品的推薦，比如你在淘寶正在瀏覽Nike的運動鞋，劃到底部時會給你推薦同款或不同顏色型號的運動鞋。要做推薦系統(tǒng)，除了系統(tǒng)本身之外，有兩大不可或缺的因素：海量數(shù)據(jù)、人工智能算法。

在推薦系統(tǒng)中包含數(shù)據(jù)排序?qū)?/span>、融合過濾層、召回層、數(shù)據(jù)存儲層、計算平臺層、數(shù)據(jù)源，數(shù)據(jù)排序?qū)觿t是根據(jù)人工智能算法，篩選出更精準的推薦內(nèi)容給到用戶，如LR（Logistic Regression）邏輯回歸算法、DeepFM（DeepFactorizationMachine）算法將特征數(shù)據(jù)組合給到用戶；過濾層就是將召回層基于不同規(guī)則召回來的數(shù)據(jù)進行融合過濾，召回層就是通過各種推薦策略，如基于內(nèi)容將數(shù)據(jù)獲取回來，數(shù)據(jù)存儲層就是將清洗后的用戶數(shù)據(jù)使用Hbase、MongDB等大數(shù)據(jù)庫存儲起來，計算平臺層就是將底層的各種數(shù)據(jù)進行清洗加工，使用spark離線計算或flink實時計算處理，數(shù)據(jù)源就是從日志、數(shù)據(jù)庫中獲取物品數(shù)據(jù)、用戶數(shù)據(jù)、業(yè)務數(shù)據(jù)。

介紹了推薦系統(tǒng)的架構(gòu)后，我們來看看推薦系統(tǒng)最重要的模塊-算法，在推薦系統(tǒng)中有四類算法。

1、基于內(nèi)容的推薦算法，根據(jù)用戶的瀏覽記錄、購買記錄推薦相似的物品。一般使用邏輯回歸算法，將用戶的瀏覽記錄和項目的信息、離散特征，通過編碼；將數(shù)值類特征歸一化，或者通過分桶技術(shù)，進行離散化；然后通過LR模型進行訓練。LR模型很穩(wěn)定，這種算法很簡單但不夠智能。

2、基于協(xié)同過濾的推薦算法，及將擁有相同經(jīng)驗或相同喜好用戶群體的物品互相推薦，比如Alice和Bob都購買了啤酒、尿布，在協(xié)調(diào)過濾中會認為Alice和Bob是類似的人，在Alice的商品瀏覽頁會推薦Bob曾經(jīng)瀏覽過的商品，或者在Bob的商品瀏覽頁會推薦Alice曾經(jīng)瀏覽過的商品；

3、混合推薦算法，即將不同的算法混合使用，在不同階段使用不同的推薦算法，呈現(xiàn)給到用戶；

4、基于模型的推薦算法，即將用戶特征（比如年齡、性別、地域、消費能力、消費愛好）等和商品的特性作為特征，使用機器學習算法進行訓練，預測用戶對商品的喜好程度，推薦商品給到用戶，甚至作為商業(yè)產(chǎn)品賣給廣告主，按點擊率計費。

在真實業(yè)務場景中，要做一個推薦系統(tǒng)還是很有挑戰(zhàn)的，首先在數(shù)據(jù)源部分有結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)，需要先將采集的數(shù)據(jù)做清理之后，才能用于機器模型訓練；其次如何權(quán)衡算法和性能，生產(chǎn)環(huán)境的數(shù)據(jù)非常之多，非常之復雜，如何在最快的響應時間內(nèi)推薦給到用戶最智能的數(shù)據(jù)呢？；最后用戶的興趣愛好是不斷在變的，具有實時性，使用歷史數(shù)據(jù)進行推薦，不夠準確；

在你打開App準備買買買的時候，也可以思考下這背后的邏輯噢。平時在刷知乎刷小紅書刷微博刷抖音的時候。也可以結(jié)合今天介紹的知識，鞏固加深對業(yè)務、算法的理解，做好互聯(lián)網(wǎng)的搬磚工～淘寶抖音美團頭條都在用的推薦系統(tǒng)到底是什么呢？