Lambda怎么收集數(shù)據(jù)嗎？

Lambda架構(gòu)通過(guò)把數(shù)據(jù)分解為ServingLayer、SpeedLayer、BatchLayer三層來(lái)解決在不同數(shù)據(jù)集的數(shù)據(jù)需求。在Batch層主要是對(duì)離線數(shù)據(jù)進(jìn)行處理，將接入的數(shù)據(jù)進(jìn)行預(yù)處理、存儲(chǔ)，查詢的時(shí)候直接在預(yù)處理結(jié)果上查詢并不需要再進(jìn)行完整的計(jì)算，最后以View層提供給到業(yè)務(wù)；在Speed層主要是對(duì)實(shí)時(shí)增量數(shù)據(jù)進(jìn)行處理，每來(lái)一次新數(shù)據(jù)就不斷的更新View層，提供給到業(yè)務(wù)；在Serving層主要是響應(yīng)用戶的請(qǐng)求，根據(jù)用戶需求把Batch層和Speed層的數(shù)據(jù)集合到一起，得到最終的數(shù)據(jù)集。Lambda架構(gòu)優(yōu)點(diǎn)是將流處理和批處理分開(kāi)，很好的結(jié)合了實(shí)時(shí)計(jì)算和流計(jì)算的優(yōu)點(diǎn)，架構(gòu)穩(wěn)定，實(shí)時(shí)計(jì)算成本可控，提高了整個(gè)系統(tǒng)的容錯(cuò)性、降低了復(fù)雜性。缺點(diǎn)是離線數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)很難保障數(shù)據(jù)的一致性，開(kāi)發(fā)人員需要維護(hù)兩套系統(tǒng)。