大數據工程師是做什么的 需要掌握哪些技能

大數據工程師需要負責創建和維護數據分析基礎架構，包括大數據架構的開發、構建、維護和測試等，還負責創建用于建模，挖掘，獲取和驗證數據集合等流程。

大數據工程師做哪些工作

大數據工程師可以做大數據開發工作，開發，建設，測試和維護架構，負責公司大數據平臺的開發和維護，負責大數據平臺持續集成相關工具平臺的架構設計與產品開發等。

大數據工程師可以做數據分析工作，收集，處理和執行統計數據分析，運用工具，提取、分析、呈現數據，實現數據的商業意義，需要業務理解和工具應用能力。

大數據工程師可以做數據挖掘工作，數據建模、機器學習和算法實現，商業智能，用戶體驗分析，預測流失用戶等，需要過硬的數學和統計學功底以外，對算法的代碼實現也有很高的要求。

大數據工程師可以做數據庫開發及管理工作，設計，開發和實施基于客戶需求的數據庫系統，通過理想接口連接數據庫和數據庫工具，優化數據庫系統的性能效率等。

大數據工程師需要學什么

1、計算機編碼能力：實際開發能力和大規模的數據處理能力是作為大數據工程師必須要掌握的能力，現在人們在社交網絡上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的信息中提取有用數據呢，這就需要大數據工程師來做。

2、.大數據架構工具與組件：企業大數據框架的搭建，多是選擇基于開源技術框架來實現的，這其中就包括Hadoop、Spark、Storm、Flink為主的一系列組件框架，及其生態圈組件。

3、數據倉庫和ETL工具：數據倉庫和ETL能力對于大數據工程師至關重要。像Redshift或Panoply這樣的數據倉庫解決方案，以及ETL工具，比如StitchData或Segment都非常有用。

4、編程語言：編碼與開發能力是大數據工程師的必備技能，要熟悉Python，C/C++，Java，Perl，Golang或其它語言。