BAT、TMD都在建設的實時數(shù)倉究竟是什么樣呢？

隨著互聯(lián)網(wǎng)的發(fā)展從紅海時代進入藍海時代，數(shù)據(jù)的時效性對企業(yè)的精細化運營越來越重要，在每天產(chǎn)生的海量數(shù)據(jù)中，如何挖掘出實時有效的信息，對于公司的快速決策、產(chǎn)品的快速迭代都非常重要。在本地生活服務領域的兩大巨頭，滴滴在自己的業(yè)務如順風車、美團在自己的業(yè)務如團購外賣中進行實時數(shù)倉的建設，為消費者提供更好的服務，如我們在滴滴上可以更快的打到更便宜的車、在美團上可以更快的取到最想要吃的餐，這其中的功勞也要算實時數(shù)倉一份。那么實時數(shù)倉到底是什么呢？與傳統(tǒng)數(shù)倉有什么區(qū)別？如何建設實時數(shù)倉呢？

數(shù)倉，即存放數(shù)據(jù)的倉庫，包括全量數(shù)據(jù)、歷史數(shù)據(jù)。類型上又分為實時數(shù)倉、離線數(shù)倉，所謂實時數(shù)倉是指數(shù)據(jù)的實時性更高、延遲性低，一般是統(tǒng)計一天以內(nèi)的數(shù)據(jù)，支持毫秒級的統(tǒng)計，在建設工具上一般采用Flink，而離線數(shù)倉則統(tǒng)計歷史數(shù)據(jù)，在建設工具上一般采用Hive。對于實時性要求比較高的場景，如實時的交易分析、實時數(shù)據(jù)看板（比如雙十一的成交額看板）、實時業(yè)務監(jiān)控、實時數(shù)據(jù)接口服務等，我們就需要實時數(shù)倉了。

在數(shù)倉的開發(fā)實現(xiàn)中包含四個模塊，即物理存儲、數(shù)據(jù)抽象、runtime作業(yè)執(zhí)行、編程接口。那么離線數(shù)倉和實時數(shù)倉有什么區(qū)別呢？在物理存儲模塊，離線數(shù)倉一般使用HDFS存儲，實時數(shù)倉使用Kafka消息隊列進行存儲，在數(shù)據(jù)抽象模塊，離線數(shù)倉使用HIve表，實時數(shù)倉使用streamtable。在作業(yè)執(zhí)行模塊，離線數(shù)倉使用mapreudce，而實時數(shù)倉使用FlinkStreaming。在編程模塊，離線數(shù)倉使用HiveSQL進行開發(fā)，實時數(shù)倉使用FlinkSQL 進行開發(fā)。這就是實時數(shù)倉和離線數(shù)倉在開發(fā)實現(xiàn)上的區(qū)別了。

介紹完了數(shù)倉概念、實時數(shù)倉和傳統(tǒng)數(shù)倉的區(qū)別之后，我們再來看看技術選型。

在實時數(shù)倉的建設中對于大規(guī)模數(shù)據(jù)的處理架構有Lambda架構、Kappa架構，從業(yè)界使用情況、靈活性、容錯性、成熟度、遷移成本、批/流處理代碼來看，Lambda都是最佳的方案。在實時計算引擎上，F(xiàn)link是最佳的選擇方案，因為比較準確、延時低、業(yè)界內(nèi)使用多、易用性高。在實時存儲引擎上，綜合業(yè)務維度索引、高并發(fā)情況、高性能查詢特征，一般推薦ClickHouse。

介紹完技術選型之后，我們來看看實時數(shù)倉和實時存儲兩塊如何實現(xiàn)？

在實時數(shù)倉中包含四層，即數(shù)據(jù)接入層ODS、數(shù)據(jù)明細層DWM、數(shù)據(jù)匯總層DWS、數(shù)據(jù)應用層APP。如下圖所示，ODS層是數(shù)據(jù)的源頭，包含系統(tǒng)的消息隊列數(shù)據(jù)、系統(tǒng)日志、流量埋點數(shù)據(jù)、系統(tǒng)消息，不同業(yè)務線可能采用的方式存儲數(shù)據(jù)，但是在接入數(shù)倉時需要統(tǒng)一來源接入，這樣可以方便數(shù)據(jù)的處理以及數(shù)據(jù)一致性。在數(shù)據(jù)明細層，一般分兩類進行數(shù)據(jù)建設，一類是業(yè)務數(shù)據(jù)明細、一類是按維度進行數(shù)據(jù)拆分，比如在美團中，商家的地理位置、評分、菜品、價格就是明細數(shù)據(jù)，也可以按地域維度、商家維度、菜品維度、價格維度進行建設。在匯總層主要基于共性維度進行建模分析，比如系統(tǒng)的日活、月活等數(shù)據(jù)，在匯總層就可以統(tǒng)一的運算。在APP層主要就是把實時數(shù)據(jù)寫入應用系統(tǒng)的數(shù)據(jù)庫，用于建設實時看板、實時特征應用、實時分析。

在整個業(yè)務系統(tǒng)的架構設計中分為兩部分，即實時數(shù)倉和實時存儲。對于實時數(shù)倉我們已經(jīng)介紹了，而對于實時存儲，一般滿足三個需求，即支持海量數(shù)據(jù)存儲、支持分布式高可用、支持高性能查詢。對于海量數(shù)據(jù)的寫入，業(yè)界內(nèi)一般采用clickhouse大數(shù)據(jù)庫存儲。為了保障系統(tǒng)的高可用，互聯(lián)網(wǎng)通用的模式是分布式部署，一般借助分布式協(xié)調(diào)框架Zookeeper來進行實現(xiàn)，數(shù)據(jù)寫入某一個分片時，zookeeper告訴同一個分片的其它副本，副本來拉取數(shù)據(jù)，保障同一分片內(nèi)的數(shù)據(jù)是一致的。在數(shù)據(jù)查詢中，借助于存儲數(shù)據(jù)庫clickhouse的稀疏索引優(yōu)勢，將時間維度和內(nèi)容進行稀疏索引建立，之后就可以基于內(nèi)容進行查詢了。

在互聯(lián)網(wǎng)流量為王的時代，通過數(shù)據(jù)精準的了解用戶情況，進行準確的營銷和運營才能把用戶長久的留在自己平臺，從而保障業(yè)務的長久發(fā)展，在滴滴的打車業(yè)務中采用實時數(shù)倉，可以知道某個時間點某個區(qū)域的乘客發(fā)單情況、司機應答情況，從而采取對應的優(yōu)惠券觸發(fā)或加派司機進行調(diào)度支持等策略，現(xiàn)在滴滴推出的特惠快車背后也有實時數(shù)倉的功勞呢，系統(tǒng)通過實時數(shù)倉發(fā)現(xiàn)該時間點乘客較少、司機比較空閑，于是通過比較優(yōu)惠價格，提高乘客打車欲望、增加司機收入。

通過本文的介紹，相信你已經(jīng)了解了BAT、TMD等互聯(lián)網(wǎng)巨頭都在建設的實時數(shù)倉到底是什么樣了吧？如果是準備從事數(shù)據(jù)分析行業(yè)的朋友，實時數(shù)倉是一個不錯的方向噢；而對于待在互聯(lián)網(wǎng)圈、使用互聯(lián)網(wǎng)服務的朋友，在享受服務的同時了解一些背后的邏輯也是不錯噢！