大数据开发工程师

到岗时间：不限 婚况要求：不限 岗位职责 1、负责公司项目数据开发工作； 2、、负责公司项目数据、数据库维护工作； 3、负责公司项目数据集编写工作； 4、良好的沟通表达能力，能准确地理解用户需求。 任职要求 技术能力 语言与框架：精通Java语言，熟悉面向对象编程、设计模式及主流框架（如Spring Boot、Spring Cloud、MyBatis等） 。 数据库：熟练使用MySQL、PostgreSQL、doris等关系型数据库，具备SQL优化能力；熟悉Redis、MongoDB等NoSQL技术 。 服务器与工具：熟悉Nginx、Tomcat、Kubernetes（k8s）等服务器，掌握Linux系统及Shell脚本 。 高并发与分布式：有高并发处理、微服务架构设计经验者优先，熟悉RabbitMQ、Kafka等消息中间件。 大数据框架：熟悉Hadoop、Spark、Flink、Kafka等分布式计算框架，具备ETL、实时流处理经验。 系统与工具：熟悉Linux/Unix操作系统，了解Shell脚本、作业调度工具（如dolphinscheduler）、数据采集工具（如Flume、DATAX）。 项目与业务能力 数据架构设计：能规划数据仓库架构，设计数据模型（如ODS、DWD分层），优化存储与计算策略。 性能优化：具备海量数据处理经验，能分析并解决性能瓶颈（如查询效率、任务吞吐量）。 数据治理：熟悉元数据管理、数据血缘分析及数据安全标准。