大数据开发工程师

到岗时间：不限 婚况要求：不限 岗位职责：

1、负责公司物联网平台大数据开发，负责大数据平台各子系统中的系统设计/模块设计，并承担其中核心框架和模块的开发工作

2、负责ETL及数据仓库构建

3、负责大数据集群管理、搭建和运维

4、负责按计划高质量地完成系统的开发落地实现，保证系统的各项质量属性顺利达成

5、负责与大数据平台其他相关系统开发团队的进行开发协调、配合完成系统测试/集成测试工作

岗位要求：
1、熟悉数据仓库模型设计和精通ETL开发经验，掌握3NF、Kimball的维度建模设计方法，具备海量数据加工处理（ETL）相关经验

2、掌握至少一种数据库开发技术：Oracle、Teradata、DB2、Mysql等，精通并灵活运用SQL实现海量数据ETL加工处理

3、拥有数据质量校验与评价，元数据校验与评价，数据接口服务及接口标准定义，主题数据服务，非结构化数据服务，主数据服务等处理经验

4、熟悉大数据处理相关产品架构和技术（如Hadoop/Hive/Hbase/Spark/Kafka/Storm/Flume等），对内部实现机制深入了解，对其中的部分组件能进行源代码级的研究和优化

5、有5年以上大数据平台实际的相关产品和项目开发经验
或熟悉平台各组件的应用开发接口并有5年以上实际的相关应用软件开发经验

6、了解各种互联网常用开源软件（如Zookeeper/Redis等），有知名互联网/软件/通信厂商大型项目经验者优先

7、熟悉Linux系统常规shell处理命令，灵活运用shell做的文本处理和系统操作

8、熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，重点考察Python、Perl、java

9、熟悉数据仓库领域知识和技能者优先，包括但不局限于：数据开发测试工具与方法、数据质量等