数据开发工程师（J10424）

到岗时间：不限 婚况要求：不限 工作职责: 1. 负责数据中台的整体架构顶层设计，构建高可用、可扩展的原生数据平台，主导微服务架构设计与性能调优，确保系统在高并发场景下的稳定性与高效性 。 2. 参与或主导数据采集、作业调度、元数据管理、数据质量监控、指标体系构建等关键模块的设计与开发，打造一站式大数据开发平台 。 3.推动数据标准、数据模型、数据分布流转等治理工作，实现企业级数据资产的统一管理与服务化输出，提升数据的可用性与一致性 。 4. 导复杂技术问题的攻关，持续优化大数据技术框架（如Hadoop、Spark、Flink、Kafka等），并与产品、前端及业务团队紧密协作，保障数据产品高质量交付 。 5. 构建智能化与自动化的数据处理体系，提升数据清洗、转换、调度流程的效率与可靠性，支持离线与实时数据处理场景 。 任职资格: 1. 熟悉制造业业务流程（生产制造、供应链、仓储物流、质量管控等），有制造行业数据相关经验优先。 2. 具备数据仓库从 0 到 1 开发及数仓运维经验，熟练掌握数仓建模、分层设计方法论。有Iceberg数据湖使用经验优先。 3. 熟悉数据治理方法，有主数据管理、元数据管理、数据标准、数据质量、数据安全等治理相关经验，有数据字典、口径管理经验者优先； 4. 深入掌握HDFS、YARN与MapReduce，能基于Hadoop生态构建稳定的数据底层架构，支撑PB级数据存储与批处理任务 。 5. 熟练使用Spark Core、Spark SQL与Spark Streaming，具备内存计算调优、Shuffle性能优化及OOM问题排查能力。 6. 精通Flink DataStream API与SQL，理解Checkpoint机制、状态后端与反压处理原理，具备千亿级实时数据管道开发经验 。 7. 熟悉SpringBoot、SpringCloud、Kafka、Hbase，具备服务拆分、熔断限流、配置中心等高可用设计能力 ；需精通多线程、JVM调优与网络编程；同时掌握Python或Scala用于脚本开发与数据分析 。 8. 熟练使用Airflow、DolphinScheduler实现ETL任务自动化编排与依赖管理，掌握Apache Atlas、DataHub进行血缘分析，使用Griffin或自研工具实现数据质量校验，解Ranger、Sentry等权限管控组件，保障数据访问合规性。