大数据开发

到岗时间：不限 婚况要求：不限 角色职责：·使用敏捷/Scrum方法与产品所有者、数据分析师和业务伙伴协作设计和实现数据产品和特性·促进处理和存储大数据量的总体架构、框架和模式·研究、评估和利用以大量数据处理为中心的新技术/工具/框架·将产品待办事项转化为工程设计和逻辑工作单元·为了设计可伸缩的解决方案而配置和分析数据·为给定的技术方案定义和应用适当的数据获取和消费战略·使用在大型数据生态系统中流行的工具和语言设计和实现分布式数据处理管道·构建实用程序、用户定义的函数、库和框架，以更好地实现数据流模式·使用工作流编排工具实现复杂的自动化例程·与体系结构、工程领导和其他团队合作，以确保实现质量解决方案，并确定和遵守工程***实践·预测、确定和解决与数据管理有关的问题，以提高数据质量·构建和合并自动化单元测试，并参与集成测试工作·利用和推进持续集成和部署框架·排除数据问题并进行根本原因分析●跨团队合作解决运营和性能问题以下资历和技术技能将使你适合这个职位：·计算机科学或相关技术学科理学士/理学士学位·1年以上大型软件开发经验，2年以上大型数据经验·有很强的编程经验，Python或Scala优先·有设计、估计和执行复杂软件项目的经验●具有丰富的Hadoop和相关处理框架经验，如Spark、Hive、Storm等。●具有RDBMS系统、SQL和SQL分析功能的经验●使用工作流编排工具（如Apache Airflow）的经验●具有Github或Bitbucket等源代码控制工具的经验·在性能和可伸缩性调优方面的经验●能够与团队成员和业务利益相关者进行有效的口头和书面影响和沟通●对新语言、技术和框架的兴趣和能力·在敏捷/Scrum应用程序开发方面的经验以下技能和经验也与我们的整体环境有关，并且很高兴拥有：JAVA经验·在公共云环境中工作的经验，尤其是AWS·具有云仓库工具（如Snowflake）的经验●具有消息传递/流/复杂事件处理工具和框架的经验，如Kinesis、Kafka、Spark Streaming、Fl.、Nifi等。●具有使用NoSQL数据存储（如Hbase、DynamoDB等）的经验。·建立RESTful API以启用数据消耗的经验●具有构建工具（如Terraform或CloudFormation）和自动化工具（如Jenkins或Circle CI）的经验·具有诸如可持续发展、持续集成和自动测试等实践的经验