大数据开发工程师

到岗时间：不限 婚况要求：不限 【岗位职责】 1.全面负责大数据产品的开发工作，包括：数据采集、清洗、存储、分析加工、AI应用等全链路设计与开发，并参与平台产品的架构设计与后端核心代码开发工作，与产品经理、其他开发人员合作，输出可供交互的数据产品和平台产品。 2.主导设计并协同技术团队，研发数据平台并开展相关数据治理工作，具体包括：构建高扩展性、稳定性和安全性的平台架构，整合多源异构系统的数据，打通数据壁垒，实现数据的统一管理及跨系统数据流通和交叉应用；建立数据标准、元数据管理、数据质量监控体系，提升数据可用性与一致性；优化平台资源调度，提高计算效率；构建数据开发、调度、监控等中台工具体系，以支持业务产品开发团队的高效协作； 3.参与数据可视化产品研发项目的部分开发工作，与其他项目成员合作，提供可供业务产品开发人员使用的BI或数据可视化工具； 4.与产品和技术团队协作，持续优化上述平台和产品性能（如实时计算延迟、资源利用率），保障高并发场景下的稳定性，并处理集群调优、数据链路故障排查等与数据平台相关的临时工作。 【任职要求】 1.本科及以上学历，计算机、大数据、软件工程相关专业，硕士优先； 2.具有3年以上大数据开发经验，独立负责过至少1个数据平台或数据产品从0到1的建设，或至少负责主导过1个数据平台的核心开发工作； 3.熟练使用1门开发语言(java/python为主)，具备扎实的编程基础与良好的代码风格；精通Hadoop生（HDFS/Yarn/Hive/Spark/Flink等）、实时计算（Kafka/Storm）等熟悉分布式计算、存储、调度等原理，并有相关的分布式系统的开发经验； 4.具备异构数据整合、数据治理、跨系统应用的成功经验；精通爬虫框架（Scrapy/Selenium等）及反爬策略；具备数据清洗、整理、分析与挖掘的能力，熟练使用相关工具与库（如 Pandas、NumPy、Sklearn 等），并具备大数据 推荐算法类产品开发经验； 5.具有出色的技术方案设计、跨团队协作及复杂问题攻关能力，熟悉软件开发流程；对数据敏感，能快速理解业务需求并转化为技术方案。