多模态训练加速研发工程师-infra

多模态训练加速研发工程师-infra北京、上海、深圳、成都社招全职技术 - 算法职位 ID：A160794职位描述1. 负责大规模分布式训练和推理的基础架构设计、开发、优化，支持千卡以上级别大规模模型训练； 2. 针对多模态数据特点，通过多样化的分布式并行策略和通信优化技术，支持长序列训练，有效解决多模态场景下的训练效率瓶颈，追求业界最领先的性能； 3. 构建和维护海量多模态数据的流式处理管道，有效支撑多模态大模型在大规模预训练阶段的数据高速加载； 4. 负责多模态推理引擎的功能开发和性能优化，包括吞吐率优化、latency时延优化和性能瓶颈排查；职位要求1. 熟练掌握Transformer系列模型架构原理，精通至少一种开源训练框架，如Megatron-LM、DeepSpeed、Colossal-AI等，有大模型分布式训练调优经验者优先； 2. 精通GPU系统架构和内存原理，有丰富的CUDA编程经验，能进行全面的GPU Profiling分析； 3. 熟悉至少一种开源Serving框架，如vLLM、SGlang 等； 4. 有扎实的工程算法基础和极佳的工程实现能力，精通C/C++ 和 Python 开发，常用设计模式、算法及数据结构；投递