17.6K
7307
流式大數(shù)據(jù)
大數(shù)據(jù)處理系統(tǒng)中的大數(shù)據(jù)可分為批式大數(shù)據(jù)和流式大數(shù)據(jù)兩類。其中，批式大數(shù)據(jù)又稱歷史大數(shù)據(jù)，流式大數(shù)據(jù)又稱實時大數(shù)據(jù)。
流式計算取代傳統(tǒng)的批處理計算被廣泛應用于實時信息推薦、實時搜索等領域中。與大數(shù)據(jù)批處理不同，流式大數(shù)據(jù)處理的特點主要包括：①流水式數(shù)據(jù)模式。數(shù)據(jù)源源不斷流入處理單元被處理，各個處理單元之間通過網(wǎng)絡進行傳播。②數(shù)據(jù)產(chǎn)生速率隨時間呈波動性變化。由于流式大數(shù)據(jù)處理平臺上的數(shù)據(jù)多來源于用戶行為產(chǎn)生的數(shù)據(jù)，而用戶行為隨時間波動性變化。③數(shù)據(jù)具有高時效性。在實時處理業(yè)務場景中，對數(shù)據(jù)處理過程中的延遲要求十分嚴格。流式大數(shù)據(jù)處理平臺以低延遲作為服務質(zhì)量的主要目標之一。流式大數(shù)據(jù)處理平臺主要分為兩類，即小批量數(shù)據(jù)流處理和直接數(shù)據(jù)流處理等。
