北京Full TimePosted Today
大模型测评工程师北京全职生产 / 制造 / 加工 - 汽车制造职位描述岗位职责:
1.设计和开发大模型评估体系,根据不同的业务场景和应用需求，制定针对性的评测方案和策略，确保评测结果真实反映模型在实际使用中的表现;
2.对候选大模型进行性能测试和评估，包括但不限于模型的语言理解、生成能力、图像识别准确率等，形成对比报告;
3.参与AI产品需求分析，给模型训练提供专业意见;
4.构建和维护高质量的数据集，用于评估模型，包括：数据清洗、预处理，确保数据的高质量，为模型评测提供可靠的数据基础;
5.应用AI技术开发和实现针对大模型评估的工具，实现端到端的CICT测试流程;职位要求岗位要求：
1.教育背景：具备计算机科学、人工智能、数学、软件工程或相关专业硕士及以上学历;
2.有大模型相关测试开发和评测经验，例如大模型训练、评估、应用等;
3.具备扎实的算法基础(如强化学习、对抗学习等);
4.熟练掌握Python/C++，有PyTorch/TensorFlow实战经验;
5.具备前瞻性思考与快速学习能力，能够独立阅读并理解相关研究论文和技术报告，并输出高质量的调研成果。
【加分项】
有AI领域模型服务化开发、效果体验评估调优、算法研究经验;
有DevOps实践经验者优先。投递