9月27日，由国内专业咨询机构百林哲举办的“2020中国软件研发管理行业技术峰会”盛大召开。本次大会以“产业智能，部署技术新边界”为主题，聚焦“新基建”时代下中国企业的进化路线。网易易盾cto朱浩齐先生受邀参加大会，并就“内容安全风控系统的智能化”发表演讲，主要内容包括：
○ 背景与意义
○ 主要技术路线
○ 挑战和优化
○ 应用和成果
随着移动终端、5g的快速发展，互联网内容风控面临一系列新的挑战。24小时不停歇的互联网内容安全攻防战每日都在上演。
一边是利用互联网有害内容牟利的不法分子。据统计，仅垃圾短信、诈骗信息等就给我国网民造成的经济损失每年就达1000亿元以上。2019年全年，全国各级网络举报部门共受理各类网络违法和不良信息举报1.39亿件。
一边是依靠法律和技术维护社会秩序的正义方。各级网信部门结合开展“清朗”“网剑”“剑网”“网上扫黄打非”等专项行动严格执法，会同有关部门依法查处网上违法信息和违法行为，严厉处置一批违法违规网站平台。数据显示，二季度，全国网信系统依法查处各类违法违规案件。依法约谈网站648家，警告网站636家，暂停更新网站56家，取消违法网站许可或备案、关闭违法网站2899家，移送司法机关相关案件线索377件。
目前，我国的相关法律法规逐步到位，成为政府执法和商业运行的重要参考，例如《中华人民共和国网络安全法》、《网络信息内容生态治理规定》、《出版管理条例》、《信息网络传播权保护条例》、《互联网新闻信息服务管理规定》、《互联网信息服务管理办法》、《网络出版服务管理规定》、《网络音视频信息服务管理规定》等。
更进一步讲，在这场斗争中，有害内容本身也在跟着技术的发展而不断演变。其中，facebook就曾在网络信息风控中“翻船”。为了应对互联网内容风控挑战，facebook组建了数万人规模的审核团队，但内容安全事件仍时有发生。
2017年4月16日，一名美国男子在facebook上直播其枪杀一位老人的过程；2018年前后，facebook上出现了大量以动画卡通形象为角色，充斥着色情、暴力情节的”邪典动画”。
上述“直播杀人事件”和“邪典动画事件”引发网民的愤怒，导致全球性的恶劣影响。凶杀、自杀和性侵视频也令facebook内容模式遭到质疑。
自媒体时代，短视频、直播成为重要的互联网内容形态。对于视频而言，分控难点主要有三方面，分别是内容数据量大、实时风控要求高、有害样本获取难，这给视频内容智能风控带来了巨大的技术挑战。
一、技术突破推动内容安全升级
深耕安全领域22年，网易在沉淀了非常多的经验，无论是对于安全规则的理解，还是信息安全相关的技术研发。网易易盾致力于用“硬核”技术来对网络空间进行监控，判断，甚至自主判断，辅助我们进行实时、准确、有效地治理。总的来说，网易的内容风控技术发展路线可以分为三个阶段：
阶段一：用关键词和黑白名单编制的过滤器
用cpu计算，以c语言为主，内容安全检测系统采取事后发现的思路，提取简单特征进行单维度的拦截，属于被动防御。
受限于硬件计算能力和软件架构，此阶段的技术在海量数据下无法进行实时大规模的运算，缺少稳定的软件、框架和工具，难以部署工业级应用。
阶段二：进行特征匹配与相似聚合的规则系统
用cpu计算，以java语言为主，内容安全检测系统能够事中判断，离线更新，提取多元特征进行加权比较计算。
此阶段的系统软件上实现了分布式架构，但受硬件资源的限制，只能对海量数据进行简单的实时运算。其进步点在于有稳定和易于维护的软件架构，适合开发多种功能适配的工具和系统，比如聚类、动态规则策略等。
阶段三：融合人工智能技术和大数据分析的综合决策
在硬件方面，网易易盾构建“cpu gpu 云计算”的弹性异构模式。这种架构带来了高效的计算能力，海量数据可以进行复杂的实时运算，解决了在高并发环境下的性能问题。
在软件方面，网易易盾内容安全检测系统融合了“java ai 容器”多种元素。ai技术发展迅速，新算法和框架层出不穷，而容器技术很好的解决了gpu集群的管理问题，兼容了环境和驱动的差异。
阶段的技术已经能够实现实时计算，提取多元特征进行深度学习，属于主动防御。
总体而言，第三阶段的系统在各个方面都接近顶峰：系统稳定性达到99.99%，模型准确率达到99.9%。针对不同类型文件，平均响应时间下降明显。其中，文本仅需100ms，图片仅需500ms，音频实时率0.2，直播延迟毫秒级。得益于技术的进步，互联网内容安全审核迎来黄金时代，日均处理十亿 数据量成为常态。
二、真实问题推动方案灵活运用
在现实场景中，较低的垃圾率却能带来放大误判率的感受。假设1万张图像中有1张是违禁图片，我们的系统准确率为99.9%，即1千张图像会判错一张。即便问题是千里出一，但也会给客户带来不好的使用感受。
此外，在强对抗场景下，黑灰产技术进步带来的识别难度上升，例如文字翻转、图片切割、文字扭曲、特征掩盖、特殊比例图片、字符干扰等疑难杂症。
基于不断迭代的客户需求，客户在实践中直面挑战，实现技术在真实应用场景中的优化，构建纵深防御体系。
首先，以有害内容的分类为例，标签系统实现了更加精细的分类，并支持动态更新。其次，对所有用户数据进行采样和分析，在有安全需求的地方进行检测和拦截。拦截策略可以定制，任何地方可以调用检查。
随着结构和模型的升级换代，各项结果更加令人满意：在保证召回率的同时，节约90%的计算量；在保证精确度和召回率的前提下，模型迭代周期从数周缩短到2~3天；有害内容的拦截召回率比仅采用内容特征的检测系统提高8~10个百分点。
不少to b服务企业即便有技术加持，但部署效果却总差强人意。这是为什么呢？在实际操作中，仍旧需要注意使用方式，避免事倍功半。面对内容安全保障中的实际痛点，网易易盾采取了不同的应对策略：
○ 面对反馈环节缺失，导致优化速度缓慢，系统接入自动化反馈渠道。
○ 面对数据缺失或者采样数据不对，降低模型准确性，技术对用户行为地图进行分析，在关键节点进行采样和检查。
○ 面对垃圾虫不区分的友好交互，帮助垃圾虫突破防御，系统提前完善用户协议和说明，包括社区制度、活动规则、即时判断、延迟作用、策略隐藏等。
以“硬核”技术突破为核心竞争力，以“灵活”商业赋能机制为杠杆，在真实的世界中，网易易盾实现了人工智能在内容安全行业中的切实应用和落地。
三、客户需求推动商业创新
软件即服务（software as a service）是21世纪兴起的一种创新软件应用模式，处于云计算产业的应用层。随着云计算市场大步向前，saas应用也焕发新机。
通过易盾的互联网内容安全saasag凯发旗舰厅的解决方案，客户不再需要一次性采购昂贵的软件，只需要花费较少的初始投入便可以接入软件服务，一站式解决有害内容泛滥问题。此外，客户可以总是使用到最新版本的更新和更好的服务，而不用担心后期的维护和更新。
网易易盾的互联网内容安全ag凯发旗舰厅的解决方案主要分四大类，包括融媒体ag凯发旗舰厅的解决方案、主动检测ag凯发旗舰厅的解决方案、文档ag凯发旗舰厅的解决方案、音视频ag凯发旗舰厅的解决方案。
融媒体ag凯发旗舰厅的解决方案适用于图文、音视频、文档等合并混合统一检测场景。当前，saas服务已经从重资产转向轻资产，只需独立接口就能实现无忧接入，图片音视频场景全覆盖。
主动检测ag凯发旗舰厅的解决方案，顾名思义，能够主动检测网站内容，全面涵盖网页内文本、图片、附件文档，并定期输出内容风险检测报告，规避内容发布风险，及时扼制因恶意篡改而造成内容违规风险。
文档ag凯发旗舰厅的解决方案适用于所有图文混合过检场景，独立接口调用，快速解析文档/图文内容，省去自行筛分过检烦恼。
音视频ag凯发旗舰厅的解决方案致力于智能解析音视频全媒体，支持视频标题、视频封面、视频内容、音频内容、弹幕、评论、热度监测等一站式专业过滤。
网易ai技术部门在国际竞赛中与国内外高校和企业同台竞技屡获佳绩，包括中央网信办、工信部、公安部、科技部指导的中国多媒体信息识别技术竞赛中获a级证书（最高级）；中国计算机学会举办的asru 2019中，获端到端语音识别第一名；清华大学主办的东方语言识别大赛olr 2018中，在三个比赛任务中获得开集语言识别和混淆语言识别两项第一名；创新工场等单位主办的2018年全球ai挑战赛中，获短视频实时分类竞赛冠军。
在数字经济时代，几乎所有行业都不能对“内容安全”置之不理。随着互联网内容的治理办法相继出台，包括金融、电商、零售、在线教育、在线文娱在内的众多“互联网 ”行业所生产的数字内容都在监管范围之内。由此，对于易盾而言，不少行业都是重点服务对象，贴近行业深入把握有害内容的特点，在不同行业建立起示范效应是重中之重。
此外，新冠疫情的爆发激发了客户对成本和管理效率的重视，撬动了他们对数字化的期待，为之迎来了重要发展机遇。当下，上至政府，下至企业，都计划全方位部署数字战略，以保证信息和服务随时随地能够通过任何平台或设备被获取。
总的来说，无论是互联网内容的监管升级，还是政府、企业的数字战略升级，都让内容安全saas服务迎来春天。未来，网易易盾将“行业化、产品化、国际化”发展方针，持续打磨产品，丰富功能，向客户提供优质服务。在守护客户内容安全“生命线”的同时，助力企业提质、降本、增效，共塑“清朗”的互联网环境。
本文内容根据网易易盾cto朱浩齐在「2020中国软件研发管理行业技术峰会」上的演讲整理而成。