大大資料工程師每天工作內容包括:資料採集、資料清洗、資料儲存、資料分析統計、資料視覺化。除此之外,大資料工程師還負責大資料平臺的搭建與維護。
1、資料採集:用Flume監控接收這些分散的日誌,實現分散日誌的聚合,採集。
2、資料清洗:為了保證資料下游的"資料分析統計"能拿到比較高質量的資料,需要對這些記錄進行過濾或者欄位資料回填。
3、資料儲存:清洗後的資料可以落地入到資料倉庫(Hive),供下游做離線分析。
4、資料分析統計:資料分析是資料流的下游,消費來自上游的資料。
5、資料視覺化:用資料表格、資料圖等直觀的形式展示上游"資料分析統計"的資料。
以上是小編的分享,希望能幫到大家。