大数据分析工程师

到岗时间：不限 婚况要求：不限 岗位职责 1. 数据挖掘：从历史数据中挖掘价值信息与模式；开展特征提取、变换、选择等特征工程；实现异常数据识别、趋势预测、周期性分析，挖掘数据关联规则，完成数据聚类分类与分组。 2. 数据清洗：评估数据完整性、准确性、一致性；采用均值、中位数、插值等策略处理缺失值，识别并处置异常值；完成数据标准化、归一化、去重去噪及格式转换，统一数据规范。 3. 数据整合：整合时序数据库、关系数据库、文件等多源数据；设计并实现ETL流程；运用Delta Lake/Iceberg/Hudi等技术构建与管理数据湖，负责数据仓库架构设计、维度建模及数据血缘、元数据管理。 4. 人工智能应用：开发分类（SVM、决策树等）、回归（线性/多项式回归等）、聚类（K-means等）机器学习模型；应用全连接网络、CNN、RNN、LSTM、自编码器等深度学习模型，实现时间序列预测、异常检测，按需搭建推荐系统。 5. 数据分析平台：开发数据分析工具、搭建分析平台；生成数据图表与自动化报表；开发数据查询及分析API接口，将数据分析能力封装为服务实现服务化。 任职资格 1. 学历：本科及以上，计算机、数据科学、统计学、数学等相关专业，硕士优先。 2. 技术能力：熟练掌握Python/R/Scala编程语言；精通TensorFlow、PyTorch等机器学习框架，Apache Spark、Flink等大数据处理框架；深入掌握TDengine/InfluxDB时序数据库、PostgreSQL/MySQL关系数据库及Delta Lake/Iceberg/Hudi数据湖技术；熟悉Tableau/Power BI等可视化工具、各类数据挖掘与深度学习算法、Apache Airflow/Kettle等ETL工具；精通SQL、了解NoSQL数据库，熟悉Linux系统及Shell脚本。 3. 项目经验：3年以上数据分析或数据挖掘经验；具备工业/时序数据分析、机器学习/深度学习、大数据处理、数据湖项目经验者优先，熟悉船舶/工业自动化数据分析者优先。 4. 其他要求：具备扎实的数学与统计学基础、良好的数据思维及算法理解能力；拥有优秀的问题分析解决、文档编写及团队协作能力。