电话:0351-7221990
关闭
大模型系统研发工程师 (Senior Engineer of LLM R&D) 35000-45000 收藏 申请职位 主管直聊
您当前的位置: 首页 > 职位列表 > 职位详情

大模型系统研发工程师 (Senior Engineer of LLM R&D)

35000-45000
广东-深圳 | 2年以上经验 | 硕士学历
2026-06-11 更新 被浏览:
企业未开启查看联系方式,请直接投递简历 投递简历
职位描述
到岗时间:不限 婚况要求:不限 学院正在寻找资深的大模型系统研发工程师,负责构建、优化和部署大规模语言模型(LLM)及相关基础设施。您将参与包括底层框架设计、预训练、增训微调、强化学习后训练、高性能推理落地的全流程工作,推动大模型技术在真实场景中的高效应用。 岗位职责 1. 大模型系统架构开发: 设计并实现高性能、可扩展的大模型训练与推理系统,优化分布式计算、显存管理、通信效率等关键模块。 开发或改进大模型框架(如Verl、vLLM、Megatron等),支持十亿级/百亿级/千亿级参数的稳定训练与高效推理。 2. 性能优化与调优: 解决大模型在训练/推理中的瓶颈问题(如计算、存储、通信),通过算子融合、流水线并行、量化压缩等技术提升效率。 针对硬件(GPU/昇腾)特性进行底层优化,实现低延迟、高吞吐的推理服务。 3. 基础设施构建: 搭建大模型开发与部署的全栈工具链,包括数据预处理、分布式训练集群管理、模型服务化(如vLLM、SGLang)等。 设计容错、弹性伸缩的推理平台,支持多租户、高并发场景需求。 4. 前沿技术探索: 跟踪LLM领域最新进展(如MoE、RLHF、多模态),将研究成果工程化落地。 探索大模型与边缘计算、知识图谱、具身智能等技术的结合。 岗位要求 1. 计算机科学、人工智能或相关领域的硕士或博士学历,2年以上系统研发经验。精通以下至少一个方向: a) 分布式系统:熟悉NCCL、RDMA、MPI等通信协议,有大规模分布式训练调优经验。 b) GPU/NPU编程:精通CUDA、OpenAI Triton或Ascend C,能进行内核级性能优化。 c) 机器学习框架:深入理解Verl/vLLM/Megatron底层机制,参与过框架开发或贡献者优先。 2. 扎实的算法基础,熟悉Transformer架构及大模型关键技术 (如KV Cache, Flash Attention) 3. 优秀的编程能力 (Python/C ),熟悉Linux开发环境与容器化技术(Docker/K8s)。 4. 熟悉LLM生态工具链 (如Hugging Face, LangChain, LoRA) 加分项:发表过MLSys、NeurIPS、OSDI等顶会论文,或开源项目核心贡献者。有百亿以上参数的大模型训练/推理落地经验。熟悉LLM生态工具链 (如Hugging Face, LangChain, LoRA)。
求职提醒:求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。
该公司的其他职位
会员等级
  • 事业单位
  • 10-50人
  • 500万
岗位职责 1. 昇腾平台通信算子开发与优化: 基于华为昇腾AI处理器集群,设计并实现高性能通信算子;开发并优化大模型训练中的核心通信原语如AllReduce、AllGather、ReduceScatter、Broadcast等,特别针对梯度同步、模型参数分发场景;针对昇腾芯片的异构通信架构(片上NoC、芯片间HCCS、节点间RDMA/IB)进行通信路径优化 2. 大模型分布式训练通信栈构建: 构建面向千亿参数大模型训练的高效通信库,支持数据并行、模型并行、流水线并行混合场景;优化ZeRO优化器系列(ZeRO-1/2/3)在昇腾平台上的通信实现,减少显存占用同时保持通信效率;开发通信计算重叠(Overlap) 机制,通过异步通信、流水线调度***化训练吞吐 3. 拓扑感知与拥塞控制: 实现拓扑感知的通信算法,自动适应昇腾集群的物理拓扑(Pod内全连接、Pod间层次化);开发动态通信策略选择,根据消息大小、拓扑特征自动选择通信算法(Ring、Halving-Doubling、Tree等);设计拥塞控制机制,避免多流通信时的带宽争用与延迟抖动 4. 通信性能分析与调优: 使用昇腾通信性能分析工具(如Ascend Profiler通信视图、hccl-test工具);分析大模型训练中的通信热点,定位通信瓶颈(延迟、带宽、同步开销);为典型大模型训练任务(如Qwen3训练)提供通信优化方案与实践 5. 软硬件协同优化: 深入理解昇腾HCCS(华为集群通信服务) 硬件特性,实现软硬件协同优化; 优化Host-Device通信,减少PCIe数据拷贝与同步开销;参与昇腾通信库开源生态建设 岗位要求 1. 本科及以上学历,计算机科学技术或人工智能或软件类相关专业 2. 优先3年以上高性能计算或分布式训练通信开发经验,其中至少1年专注于昇腾平台HCCL开发或优化,熟悉计算机体系结构和分布式系统 3. 精通华为昇腾HCCL(Huawei Collective Communication Library),有实际调优经验,熟悉昇腾芯片间通信架构如HCCS(片上互连)、RoCE、InfiniBand,了解昇腾多机多卡训练通信配置与性能调优方法 4. 熟悉主流通信库实现原理(如NCCL、MPI、OpenMPI),了解Ring-AllReduce、Double-Binary-Tree等算法,熟练掌握昇腾等性能分析工具,能够独立分析复杂通信问题(如死锁、性能抖动、带宽不达标) 5. 加分项:有千亿参数大模型在昇腾集群上训练,并主导通信优化经验;在开源通信库(NCCL、OpenMPI、UCX)中有代码贡献;有通信协议栈开发经验(如自定义可靠传输协议、拥塞控制算法)
分享到朋友圈
分享至朋友圈
↑微信扫上方二维码↑
生成职位海报
分享到朋友圈
竞争力分析
综合竞争力评估
问公司
对职位有疑问?快来问问吧
手机扫一扫
随时随地找工作
简历投递成功
您可以在 个人中心 - 简历管理 - 我的简历 中查看您创建的简历
您可能感兴趣的职位:
关注微信公众号
申请结果早知道
联系时请说明是在英联优聘-找工作,学技能,拓人脉,上英联优聘!上看到的
正在获取二维码...
请使用微信扫一扫
客服服务热线
0351-7221990
周一到周日 9:00-19:00
微信公众号
手机浏览

温馨提示:根据国家有关规定,用人单位不得向求职者收取抵押金及任何费用,请求职者加强自我保护意识!
Copyright © 2016-2022 All Rights Reserved 晋ICP备2021018695号

地址:中国 · 山西 · 太原 EMAIL:1020552200@qq.com

人力资源证: 1401002200248

用微信扫一扫