导语：v2ex上有一个这样的问题：“v友们对评论敏感词过滤有什么好的ag凯发旗舰厅的解决方案吗”，一位叫“timeppt”的网友从“量级、业务需求、策略”等角度做了详细回复，回答的内容不仅专业，质量也非常高。
在获得“timeppt”授权的前提下，网易云易盾再次编辑相关内容，希望通过它让大家少走一些内容安全上的弯路。
以下为正文：
我因为工作关系做过一段时间反垃圾（内容安全）的产品工作。
在细致地讲解之前，大家必须有一个清晰的认识：黄反过滤其实是一门技术加运营持续投入的工作。
首先看量级
如果内容量级不大，怎么都能搞。网上找或者通过关系能找到一个比较新的几万、几十万敏感词的词表loading到内存里，起一个server直接判断过滤，虽然简单粗暴，但有效——当然，错报和漏报率肯定也不会低。
但这种方法一旦遇到变种或者量级一大就不管用了，错报、漏报率会蹭蹭往上涨。如果自己人工加规则，跑到最后往往都会“疯”了。
如果量级大到一定程度，就得考虑长久的黄反策略，什么贝叶斯过滤、回归聚类、机器学习都得往上堆。
其次看业务需求：
业务方涉及到的仅仅是评论内容，还是说有大段文章内容。对黄反实时性要求有多高？错报率和漏报率容忍度有多高？这些直接影响着产品技术策略。
还有就是有没有富媒体内容，比如评论带图、带视频，那就不单单是过滤关键词的问题了，还得有图像识别黄反。另外，业务层面要不要求留有余地，比如因为kpi的缘故——允许一定擦边球存在，所谓水至清则无鱼……运营人员很可能不希望你赶尽杀绝呢！
再讲策略
ugc内容在大面上策略无非是先审后发，还是先发后审，这两种的产品策略是不一样的，而且需要按照上级部门要求调整。所以产品设计上要留有余地。另外，因为任何机器算法都做不到极高的准确率和覆盖率，那么错报、漏报肯定是有的。
目前大量级的产品在黄反层面绝大多数是靠机器初筛 人工二次筛选，特别是图片、视频黄反，单靠机器比文字黄反难度大很多。
还有就是在产品策略上增加举报按钮，让用户协助完成黄反的前端自审核。
以上种种，就是一些经验之谈。
最后：为什么我不建议自建内容安全系统
第一，我觉得黄反这种一般都跟审查相关，有一些敏感词的第一手资料其实是跟上级部门走的比较近的公司或者大体量公司才有的（比如 bat、四大门户、搜索引擎），所以词表的维护上一般公司其实是迟滞的、后验的，很多踩线问题后知后觉，结果被相关监管部门叫去“开会”，严重的被下线服务甚至被关停。
第二，就算投入大量人力、物力自建了，但你能收集到的垃圾信息样本量是否能够满足模型训练效果，这也是必须得考虑的。
第三，黄反在运营层面的重要作用是为了避免垃圾信息干扰正常运营，但运营其实对这块的要求大多很模糊，原因很多，比方说上面我提到的 kpi 导向……所以这块也得留出余地来，否则惹的一身骚，出力不讨好就难受了。
黄反工作是比较严肃复杂的工作，这也是为啥我建议一般企业直接购买稳定的第三方黄反服务的原因，持续投入成本其实很高，且这部分工作有时候在公司内部不太被重视，出力不讨好。没问题时没功劳，有问题就找你麻烦了（比如杀多了 kpi 指标降了、漏报导致踩红线了……）。
作者介绍：timeppt，8年互联网产品经理，现在正在活跃于ai领域。
来源：https://www.v2ex.com/t/378618