在大数据领域中,岗位分为技术型与非技术型。由于非技术型岗位较为宽泛,本文将主要探讨技术型岗位的种类与相关要求。
大数据领域技术型岗位概览
- 大数据ETL工程师与离线/实时数据仓库工程师
此岗位侧重于基于大数据各种组件(如Spark、Flink等)的数据处理程序开发以及基于各种大数据查询系统(如Hive、Doris、SparkSQL、FlinkSQL等)的报表统计SQL开发。主要使用Java和SQL作为开发语言,同时熟悉Scala、Python等语言也是加分项。该岗位可被视为纯正的大数据工程师岗位。
大数据平台开发工程师的职责与技能
- 大数据平台开发工程师
该岗位基于JavaWeb技术,为各类数据处理任务提供统一的管理平台和操作平台。虽然该岗位偏向于JavaWeb工程师,但需要了解一些大数据组件的基本知识。
数据分析师的技能要求
数据分析师需具备一定的统计学理论基础,熟悉Excel、Tableau等数据分析工具。他们将利用这些工具对ETL和数仓工程师加工好的数据报表进行归纳性分析,提取显性结论并呈现友好图表。进阶的分析师可能还需要掌握基本的Python脚本编程技能,以提高工作效率。此岗位可视为带点技术属性的文员岗。
数据挖掘工程师的角色与技能
数据挖掘工程师需具备统计学和高等数学基础,掌握大量机器学习算法模型,利用数学模型解决生产实践中的问题。此岗位更多是数学应用的技能,对学历和专业要求较高。
为了更好地理解上述岗位的区别与联系,以下通过一个通俗的例子进行说明:
以餐馆为例:
大数据开发工程师如同餐馆里的厨师,负责生产核心产品;
大数据平台开发工程师则像厨房的设计者,提供工作场地和工具;
数据分析师如同摆盘者,将产品进行美化;
数据挖掘工程师则如世外高人,利用数学手段解决特殊需求。