AI 院--多模态理解--训练框架算法工程师

AI 院--多模态理解--训练框架算法工程师北京全职互联网 / 电子 / 网游职位描述【团队介绍】 智谱多模态大模型团队是全球领先的多模态研究团队之一，专注于推动视觉语言大模型的认知与推理能力的突破。团队拥有从多模态理解到生成的全栈自研技术体系，依托强大的计算资源和全链路研发能力，持续引领行业创新。 团队负责多模态基座模型研发（视觉语言模型+多模态生成模型），先后推出GLM-V系列多模态基座模型，以及GLM-Image、CogView、CogVideo等前沿生成模型。2025年连续发布GLM-4.1V-Thinking、GLM4.5V和GLM-4.6V系列模型，其中GLM-4.1V-Thinking创新性地引入思维链推理机制，采用课程采样强化学习策略，系统性提升模型跨模态因果推理能力与稳定性，在28项业界权威评测中有23项达成10B级模型的最佳成绩(SOTA)；而GLM-4.5V采用MoE架构(总参数106B、激活参数12B)，在100B级视觉推理模型中树立起新的标准，在41个业界主流benchmark上达到同级别SOTA，且OCR、视频理解、AI解题、长文档解读、前端复刻、空间定位与推理等核心能力获得显著提升；GLM-4.6V则在多模态感知和深度推理方面进一步增强，且支持128k long-context、多模态工具调用和图文交错输出，为执行复杂、长程、多模态Agentic任务奠定坚实基础；9B版本的GLM-4.6V-Flash整体表现超过 Qwen3-VL-8B，106B参数12B激活的GLM-4.6V表现比肩2倍参数量的Qwen3-VL-235B。 顺应技术发展趋势和业界需求，2026年初团队研发和开源GLM-Image和GLM-OCR。前者是智谱新旗舰图像生成模型，全程基于国产芯片完成训练，采用独创的「自回归+扩散解码器」混合架构，兼顾全局指令理解与局部细节刻画，克服了海报、PPT、科普图等知识密集型场景生成难题，是面向以Nano Banana Pro为代表的新一代「认知型生成」技术范式的一次重要探索。GLM-OCR则是轻量级OCR和文档解析专用模型，以“小尺寸、高精度”树立新标杆，其性能登顶 OmniDocBench，擅长公式、手写体、表格等高难场景，仅 0.9B 参数，推理高效易部署，在HuggingFace上获得超过360万下载量。 【岗位职责】 参与GLM系列多模态大模型，CogVLM、CogView、CogVideo系列多模态理解生成模型训练框架 职位要求1、统招硕士及以上学历，计算机或相关专业； 2、熟练掌握Pytorch，具有模型训练经验； 3、熟悉Transformer结构，对常见模型的训练方法有所了解，例如BERT、GPT、ViT、CLIP； 4、有模型迁移、精度对齐经验，能够在新框架中适配新的模型； 5、对常见的大模型训练优化有所了解，能够迅速熟悉掌握，根据需求进行修改； 6、对Megatron框架有一定的了解，能够借鉴其他框架，完善优化已有的框架。投递