近几年，内容安全已成为全球性互联网生态治理难题。互联网平台多媒体内容爆发带来海量信息的同时，也泥沙俱下裹挟有大量不良有害信息。日前，国家互联网信息办公室发布了《网络信息内容生态治理规定》（以下简称《规定》），实施日期的日益临近，让越来越多的内容平台如临大考，认真审视自身的内容生态治理体系，对平台的内容安全能力是否合规进行考量。本文将重点分析内容安全治理现状、治理的难点以及什么样的内容安全体系才符合当下的治理要求。
一、内容安全治理现状
近年来，我国在内容安全治理方面呈现出以下两个特点：
一是监管部门覆盖度广、政策法规日趋完善。近几年，各部门发布了多个针对不同领域的规章制度，显示出我国在网络内容治理方面的法律法规越来越完善。在此需要重点关注法律法规下责任主体的问题。例如，某用户在内容平台发表了色情广告信息，用户和内容平台此时的行为都属于违法行为，应该对这两个主体都进行处罚，但现实情况是对于用户追责成本非常之高，所以在大多数内容违规事件上，一般只是对内容平台进行处罚。又如，某恶意用户通过网络攻击的方式篡改网站，并发布色情内容信息，此时运营平台不仅违反了内容管理的相关规定，同时依据《网络安全法》，运营方没有落实好信息系统保护的要求，也会给予一定的处罚。
二是针对性的专项治理行动非常密集。2019年内，相关监管部门发起的专项行动就有四次：全国“扫黄打非”办公室的“护苗2019”专项行动、“净网2019”专项行动，国家凯发app官网的版权局等单位联合开展的“剑网2019”专项行动，国家网信办会同有关部门于2019年年中开展网络音频专项整治，目的都是净化网络环境，规范行业发展，促进网络生态持续向好。
以上两个特点，显示了我国对于建设风清气正的网络空间环境的决心。
二、内容安全治理的难点
随着内容的多媒体融合，5g等信息基础设施的发展，互联网内容也迎来大爆发，内容安全压力愈加严峻。当内容平台发展快速，就会被灰黑产盯上，视作“流量蜜罐”，利用其流量曝光机会，植入涉黄赌毒等不良信息，以及大量垃圾广告等。即使在当前的强监管力度之下，违规内容还是层出不穷。据不完全统计，2019年，有上千款应用和服务因为内容安全问题而遭遇下架关停等整改，业务发展遭受巨大损失。
目前网络违规内容具有覆盖场景多、数据变种多、对抗性强的特点。
首先，违规内容覆盖场景已经到了无孔不入的地步。新闻内容、用户评论、用户头像、昵称、看网剧弹幕，任何一个有内容发布的场景都很难躲过违规内容的骚扰。
其次，随着场景的变化和对抗方法的演变，出现了大量的违规数据种类和变种。从最初的文本敏感词，到现在的字体拆分、特殊符号混淆以及图片内嵌入违规内容等多种形式，最近一两年在语音方面又多了一个asmr（autonomous sensory meridian response，自发性知觉经络反应）的内容类型，夹杂着很多色情内容。
最后，违规内容的对抗性越来越强，体现在违规内容的发布上有一定的组织性和对抗性，以内容形式的变换和账号的变化来对抗检测或运营策略。
在此背景下，做好内容安全治理面临着多方面的挑战。首先是成本投入高，最主要的是人力成本和设备成本。一个成熟的算法专家年薪在50万左右，而且整个体系需要的不仅是算法人员，还有相关的运营专员、审核专员、策略专员。如果配备完整，一年在人力方面的投入就会有上千万。在设备方面，图像处理所需要用到的gpu节点是比较大的开销。
其次，是数据积累和审核经验的壁垒。一个图片检测模型需要有几万甚至几十万的样本数据，没有一定的时间和渠道是无法完成这种规模的样本数据积累的。另外，审核人员的经验决定了主观上的审核效果和效率，完善的流程和制度是对效果客观上的保障。审核人员的经验积累要靠不断地学习和培训，流程和制度则需要时间去制定和完善。
三、当下需要什么样的内容生态治理体系？
作为拥有多款亿级用户产品的网易，由于产品形态天然的需要，1998年左右就已经开始做内容反垃圾的研究和部署，陆续对旗下产品提供内容安全防护。经过20多年的发展，网易安全部决定把其自身的技术沉淀和实践云化并对外提供服务，从“后台”走向“前台”，“网易易盾”就此诞生，内容安全是其主打的产品服务。自2016年对外商用以来，已服务数千家企业，日过滤有害信息超过十亿条。
在多年内容安全的实践基础上，我们认为，要全面高效地解决内容安全难题，必须构建出一个智能驱动、统一联动、个性定制、共建众治的内容体系。
智能驱动：在新一代内容安全体系中，智能技术起着驱动引擎的作用。目前90%以上的海量实时多媒体内容都可以被智能技术精准识别过滤。自然语义、图像识别、声纹识别等都在内容安全领域有成熟彻底的落地。
统一联动：内容安全需要从源头彻底解决，就需要联动账户安全，全链路联动识别分析。采用验证码、注册保护、登录保护等反作弊技术、内容安全云能力和本地审核管理系统的联动，可以更有效降低有害内容的产生。
个性定制：直播短视频、网络文学、社交传媒等各领域的内容监管规定不同，需要根据产品形态来灵活定制各自的内容安全策略。
共建众治：有害内容是社会性难题。企业需要有效整合政府法律、技术服务、同行联盟、用户等多种力量共同防治，才能有效打击灰黑产，构建风清气正的互联网生态。
现在内容安全领域的黑灰产对抗非常激烈。以国内某社交媒体平台的现象举例，以往的色情账号会在各个热点事件下直接发布色情言论——直接给出色情网站，或者放出凯发app官网的联系方式，这种形式比较容易被内容安全系统检测和封号。现在对抗的形式，已经转变为账号头像换成比较性感，但不属于色情的图片，发表的内容多是正常的评论，但个人头像里都是隐晦的色情引流信息，以此来增强对抗性。
在这种强对抗的背景下，仅仅做内容的检测远远不够，不仅检测效果差，还会留下许多死角，给业务带来潜在的内容违规风险。内容生态的治理不仅是对内容进行处理，还需要纵深的检测防御体系进行辅助。因为大多数的违规内容是非正常用户发布的，内容生态的治理是企业和黑灰产的直接较量，只做内容检测手段过于单一，容易落入疲于应对的局面。
因此，需要构建一个全链路内容风控体系。全链路内容风控体系是从源头进行内容安全治理的具体体现，贯穿了用户全生命周期的纵深防御体系——从账号注册、登录、用户行为、内容发布以及登出。其背后，运用了多个技术对用户进行画像，包括人机识别、风险名单、ip画像、设备模型、行为模型、业务模型、关联分析和规则系统等。
该体系在文字/图片/音频/视频内容检测引擎的基础上，融入了反作弊风控引擎和7*24h策略运营管家服务，在智能内容检测引擎精准确识别违规内容前提下，通过多维度用户行为检测，全面掌控每个可能影响内容风控的环节，从而降低内容安全风险。（作者：朱浩齐）
（本文刊登于《中国信息安全》杂志2020年第2期）