學AI,好工作 就找北大青鳥
關注小青 聽課做題,輕松學習
周一至周日
4000-9696-28

Lambda怎么收集數(shù)據(jù)嗎?

來源:北大青鳥總部 2020年12月10日 14:57

摘要: Lambda怎么收集數(shù)據(jù)嗎?

TIM截圖20200813095819.png

Lambda架構通過把數(shù)據(jù)分解為ServingLayer、SpeedLayer、BatchLayer三層來解決在不同數(shù)據(jù)集的數(shù)據(jù)需求。在Batch層主要是對離線數(shù)據(jù)進行處理,將接入的數(shù)據(jù)進行預處理、存儲,查詢的時候直接在預處理結果上查詢并不需要再進行完整的計算,最后以View層提供給到業(yè)務;在Speed層主要是對實時增量數(shù)據(jù)進行處理,每來一次新數(shù)據(jù)就不斷的更新View層,提供給到業(yè)務;在Serving層主要是響應用戶的請求,根據(jù)用戶需求把Batch層和Speed層的數(shù)據(jù)集合到一起,得到最終的數(shù)據(jù)集。Lambda架構優(yōu)點是將流處理和批處理分開,很好的結合了實時計算和流計算的優(yōu)點,架構穩(wěn)定,實時計算成本可控,提高了整個系統(tǒng)的容錯性、降低了復雜性。缺點是離線數(shù)據(jù)和實時數(shù)據(jù)很難保障數(shù)據(jù)的一致性,開發(fā)人員需要維護兩套系統(tǒng)。

熱門班型時間
人工智能就業(yè)班 即將爆滿
AI應用線上班 即將爆滿
UI設計全能班 即將爆滿
數(shù)據(jù)分析綜合班 即將爆滿
軟件開發(fā)全能班 爆滿開班
網(wǎng)絡安全運營班 爆滿開班
報名優(yōu)惠
免費試聽
課程資料
官方微信
返回頂部
培訓課程 熱門話題 站內鏈接