上海Full TimePosted Today
内容安全机审策略(词库运营方向)上海全职互联网 / 电子 / 网游风控类职位描述一、词库治理,违禁词库建设与维护
1. 负责全场景违禁词库的日常增删改查,覆盖内容安全色情、违法违规、公序良俗、嘲讽辱骂等风险问题;建立词库分级体系,制定差异化处置策略;
2. 绕审变体识别与对抗:建立乱序词、谐音词、拆字词、符号插入等绕审手法的检测能力,基于模型构建变体词索引,替代逐个枚举排列的粗放模式,定期巡检词库命中率,清理高误报词;
3. 正则规则引擎优化:维护正则匹配规则,针对正则覆盖不足问题,持续扩充匹配模式,建立正则规则的回归测试集,确保新增规则不引入误伤;
二、算法调优,机审策略配置与调优
1. 负责机审路由策略,优化各检测能力的权重与组合逻辑,调整转人工阈值,在拦截率与误伤率之间寻找最优平衡点;
2. 漏放分析与模型迭代,建立三维度漏放监控体系:对漏放样本做 case 级归因分析(关键词盲区/正则覆盖不足/模型误判/信号缺失),推动模型迭代,基于漏放分析结果,提炼新特征需求,协同算法团队完成模型训练与评测;
3. AI 审核能力建设:设计并迭代大模型内容安全审核 Prompt,覆盖政治敏感、暴恐、色情、违法、未成年保护、公序良俗等风险,针对词库提取、扩展、优化、预警、分析提效;
三、运营闭环,审核效率运营
1. 监控各场景核心指标,发现异常波动及时介入,对于风险覆盖指标负责,与各个场景环节联动建立运营指标,并基于准、召等指标,定义运营优化的流程并负责落地;
2. 对问题风险负责,具备问题定位、复盘、方案优化的能力,能够快速应对各类突发问题,并及时给出应对方案,例如舆情、客诉问题;职位要求1. 学历专业:本科及以上学历,计算机/统计学/信息安全/数学等相关专业优先;
2. 经验年限:3年以上内容安全/风控策略/审核运营相关工作经验;
3. SQL能力:熟练掌握 SQL,能独立完成 ODPS/Hive 大数据查询与多维度分析正则能力:熟练编写正则表达式,有文本匹配规则引擎实操经验;
4. 数据敏感度:能从海量数据中发现异常模式,具备归因分析能力;
5. 熟练应用AI大模型,能够自主建立dify、Agent,建立AI运营智能体;投递
