南京Full TimePosted Today
Super Sparks-校招-端侧大模型与AgentOS优化工程师南京校招正式数字技术 - 算法博士及以上Super Sparks 招聘计划职位 ID:A152238A职位描述主要基于智能座舱端侧部署AI大模型和端侧智能体的优化,使端侧智能体获得端到端性能的最佳体验。
1、负责结合端侧NPU硬件加速特性,优化大模型推理性能,包括编译,算子融合,低比特量化,KV Cache、内存优化等
2、负责端侧VLM/LLM模型后训练优化,设计训练逻辑,promote压缩等模型层面优化,满足端侧智能体的部署需求
3、负责端侧智能体和座舱OS的联合优化,记忆、安全策略,skills/tools管理,系统资源调度等系统级优化
4、负责端云协同的模型部署和智能体架构优化,如端云上下文共享、端云推理router设计、端到端延时优化等
5、负责业内和学术界前沿的端侧模型部署优化技术的预研和工程化落地职位要求1、博士及以上学历,计算机或AI相关专业,精通C/C++/Java语言,具有大型项目的开发经验
2、熟悉大模型部署优化的思路,在模型变异、算子融合、量化、图优化、推理引擎、KV Cache等方向有实践经验
3、熟悉常用开源大模型的模型结构、SFT&RL强化训练、部署等,如Qwen系列,deepseek等
4、熟悉大模型推理引擎的完整工作流,熟悉至少一种开源推理引擎,如onnx runtime、mnn、mlc-llm、vllm
5、熟悉智能体框架的运行逻辑,有开源智能体框架实际部署经验者优先
6、热爱技术、专研精神、责任心强,具备良好的沟通能力和团队协作精神投递
