來源:北大青鳥總部 2020年12月10日 14:57
Lambda架構通過把數(shù)據(jù)分解為ServingLayer、SpeedLayer、BatchLayer三層來解決在不同數(shù)據(jù)集的數(shù)據(jù)需求。在Batch層主要是對離線數(shù)據(jù)進行處理,將接入的數(shù)據(jù)進行預處理、存儲,查詢的時候直接在預處理結果上查詢并不需要再進行完整的計算,最后以View層提供給到業(yè)務;在Speed層主要是對實時增量數(shù)據(jù)進行處理,每來一次新數(shù)據(jù)就不斷的更新View層,提供給到業(yè)務;在Serving層主要是響應用戶的請求,根據(jù)用戶需求把Batch層和Speed層的數(shù)據(jù)集合到一起,得到最終的數(shù)據(jù)集。Lambda架構優(yōu)點是將流處理和批處理分開,很好的結合了實時計算和流計算的優(yōu)點,架構穩(wěn)定,實時計算成本可控,提高了整個系統(tǒng)的容錯性、降低了復雜性。缺點是離線數(shù)據(jù)和實時數(shù)據(jù)很難保障數(shù)據(jù)的一致性,開發(fā)人員需要維護兩套系統(tǒng)。