随着网络直播、微博、微信公众号、自媒体等新技术新形态的出现，丰富了网民生活的同时，也出现了传播暴力恐怖、虚假谣言、淫秽色情等危害国家安全、公共安全、社会秩序的信息，既违背了社会主义核心价值观，也给青少年身心健康带来不良影响。特别是随着“深度伪造”等新技术新应用在网络音视频领域的运用，这些风险被进一步集聚、放大，对社会稳定造成不良影响。
2018年4月，习近平在全国网络安全和信息化工作会议上提出“加强互联网内容建设，建立网络综合治理体系，营造清朗的网络空间”。为应对新技术新应用可能带来的危害，加强内容安全监管，培育积极健康、向上向善的网络文化，国家互联网信息办公室出台了《网络信息内容生态治理规定》。本文将在此背景下针对我国内容安全治理的现状进行分析，进而提出我国内容安全治理发展的建议。
一、内容安全治理的现状
根据我国目前的内容安全治理现状，分别从监管治理、技术、标准、人才四个方面进行剖析。其中监管治理主要包含两个方面，一是相关法律法规的制定，二是内容服务平台开展的治理措施。
（一）相关立法不断丰富完善，监管形势依然严峻。我国已经初步实现了针对网络新闻、搜索引擎、网络直播、微博客、网络音视频信息等所有具有媒体属性和社会动员能力的信息服务的全面监管。截止2020年2月，我国先后出台《互联网新闻信息服务管理规定》、《网络信息内容生态治理规定》等系列规定。但由于不良信息内容源头复杂多元、传播途径隐蔽多样等原因，淫秽色情、暴力恐怖、虚假谣言等违法内容屡禁不止，监管形势依然严峻。如美国连锁酒店万豪国际集团被发现在发给中国会员的邮件中,将中国香港、澳门、台湾、西藏等地区列入“国家”一栏。事件的发生也给未来国家内容安全的监管提出了更高的技术要求，同时在网络治理方面还需衔接更多法律,进一步细化权责。
（二）企业生态治理常态化，内容细则亟待完善。随着内容治理措施的不断出台，企业在压实责任主体的同时，也建立了针对用户注册、账号管理、信息内容发布审核、应急处置等制度，同时配备相关负责人以及与之服务规模相适应的专业人员，定期发布内部生态治理情况，持续开展生态治理。但不良信息的传播也另辟蹊径，开始在背离主流价值观、过度娱乐化、“三俗”方面下功夫，不断使用“变形”、“变种”词等方式吸引更多人关注、产生更多流量。如“内涵段子”未能及时细化相关审核细则，加大对“三俗”、“变种”词的处理力度，致使平台充斥着各种黄色段子、传播“未成年人怀孕生子”等低俗、泛娱乐化的内容而被依法关停。同时也是对运营平台的警醒，应及时完善内容审核细则，加大处理力度，落实相关应急处置制度。
（三）新技术新应用不断普及，内容治理难度加大。随着个性化算法推荐、深度伪造等为代表的新技术不断应用，在丰富人民精神文化生活的同时，也加大了监管治理的难度。
一是个性化算法推荐被广泛应用于信息内容的分发与推荐，在提高信息内容分发效率的同时，也带来了信息茧房、内容安全、传播虚假信息等问题。以近期爆发新型冠状病毒疫情为例，在疫情爆发后，疫情相关的信息经过推荐算法的分发、推荐，各种消息扑面而来，而对于消息的来源，机器和人工审核是无法判断消息来源的真假，无意间加大了内容治理难度。
二是利用深度学习等ai技术伪造或合成的图片、音频、视频，进行敲诈勒索、假冒身份、散布虚假信息等行为统称为深度伪造。伴随着深度伪造生成方法开源软件的增多，极大地降低了操纵、伪造音视频的门槛，给个人和企业利益以及国家安全带来威胁。如18年4月某媒体网站上发现，美国前总统奥巴马（barack obama）用言语攻击其继任者唐纳德·特朗普(donald trump)，视频的制作者是由演员兼导演乔丹·皮勒(jordan peele)模仿奥巴马的声音制作而成，间接的说明伪造音、视频内容所带来的安全风险巨大，识别深度伪造将成为内容治理新的挑战。
（四）行业组织建立内容标准，亟需多方共同参与。内容治理需要监管部门、运营平台、内容制作者等多方的共同协作参与，也需要行业组织搭建交流沟通平台，连接产业各方，引导运营平台制定内容治理相关的评估标准，积极探索内容治理方面的最佳实践，形成行业自律。而当前各运营平台存在着缺乏内容治理评估标准、定义不清晰等问题，无法实现数据的互通互用。为引导运营平台参与行业规范的制定，共同制定内容治理系列标准，由中国通信标准协会网络数据技术与标准工作组（以下简称ccsa tc602）发起，网易、阿里云、金山云、腾讯云、中国移动、中科软、微智信业、恒安嘉新等公司共同参与。围绕着内容识别系统的功能要求、性能测试进行开展，综合判断内容识别系统的成熟度，期待更多运营平台参与，为建设晴朗气清的网络空间贡献力量，共同提升行业影响力 。
（五）人才建设制度逐步完善，尖端人才相对急缺。据某招聘网站发布的《2019网络安全人才市场状况研究报告》显示，从2019年求职者的学历情况来看，本科毕业生占比仍旧最高，为52.8%；其次是大专毕业生，占比40.2%；硕士毕业生排第三，占比2.3%。博士毕业生占比较低，仅为0.2%。从结构层次上看，我国网络安全人才市场需求不断增加，高层次的人才储备不足，而在内容治理方面，投入占比更低，无法应对新技术新应用带来的挑战，同时科研院所、高校、创新企业等单位在人才储备方面也存在结构不合理，储备不足等问题，与营造清朗的网络空间、建设网络强国的要求不相适应。
二、目前已开展的工作
（一）建立健全行业组织机制，开展前沿技术研究。为解决日益复杂的不良网络信息内容，推动我国内容识别产业与技术发展，在国家网信办与中国通信标准化协会的指导下，分别成立中国人工智能产业发展联盟网信技术委员会与ccsa tc602工作组。这两个第三方组织围绕“内容识别”、“行为鉴别”、“威胁情报”、“推荐算法”、“深度伪造”等新技术新应用的网络治理技术和手段，开展相关产品、服务的标准预研，建立网络治理能力评估体系，推动行业自律。自成立以来，积极开展针对“内容识别”、“个性化推荐算法”、“深度伪造”及相关应用的检测技术与标准研究。例如可通过面部表情、面部肌肉、嘴型等人体特征的变化，利用gan（ generative adversarial networks 生成式对抗网络）技术识别伪造视频，为内容治理提供治理技术支撑以及监管保障。
（二）开展内容识别评估测试，发起行业自律倡议。为进一步规范市场秩序，促进内容识别产业发展。工作组先后开展内容识别评估测试，并联合多家企业发起行业自律倡议。具体如下：
一是工作组通过统一数据集标签并进行整理分类，以制定的系列评估规范作为依据，邀请联盟内的成员单位进行功能符合性测试，同时开展针对文本、图片、视频、语音领域的性能测试。测试采用50万条的脱敏数据作为测试样本，通过现场测试、远程接口调用的方式，将测试结果分为五级，并对原始数据的请求记录进行留存，并录制操作的全过程，以保证评估测试的公平与真实。
二是联合中国移动、腾讯、阿里云、网易、金山云、中科软等单位发起《内容安全管理和评估行业倡议》、《互联网新闻信息算法推荐行业自律公约》。目的旨在推动互联网新闻信息算法推荐运营主体以及信息服务提供者自尊遵守相关法律法规，弘扬核心价值观，规范市场秩序，探索有效的安全自评估办法。加强完善内部管理制度和技术，提升内容管理与人员专业水平。加强稿源管理、审核和账号分级分类管理，以及建立安全自评估或委托第三方评估，及时发现安全隐患。同时加强企业间的沟通协作，推动评估标准与最佳实践的形成，为未成年人构建合适的模式及标准，自觉接受社会与行业监督，逐步完善公约执行及监督机制。
（三）发布产业发展研究报告，细化专项评估标准。积极开展了产业发展研究和细化系列评估标准等方面的工作，加大对新技术新应用的治理技术与标准的研究。
一是撰写《有害信息识别技术与产业发展情况报告》，于2018年4月正式对外发布。报告梳理了有害信息识别技术在文字识别、图片识别、视频识别等领域的主要应用场景和技术，分析有害信息识别产业发展现状和面临的机遇与挑战，并提出促进产业发展的建议，为政府决策及产业界发展提供参考。
二是组织行业专家进行技术研讨，经过六至七次的会议讨论，历时一年最终完成内容识别服务系统系列评估规范的制定，分别从完整性、开放性、可靠性、易用性综合评判系统的成熟度，同时制定针对内容识别服务系统的文本、图片、视频（点播、直播）、语音领域的功能以及性能指标要求，完善不同领域的内容评估标准。
三、应对建议
为应对我国目前内容治理的现状，加快我国内容安全治理的建设，还需从法律法规的建设、关键技术攻关、治理技术标准化制定、人才队伍建设等方面构建起全面的治理体系。建议具体如下：
(一)完善相关法律法规的建设。
一是加快立法速度，有利于推进网络空间治理法治化的前提和基础，应对我国的立法体系与互联网产业脱节的现象。二是社会参与也需要相应法律法规的支持。参与的主体主要为行业组织、企业、网民。行业组织应坚持政府主导，联合企业、网民的力量，充分发挥行业自律组织的平台效应，积极开展最佳实践推广、标准制定。三是互联网企业也应遵守国家相关法律法规，落实主体责任，完善监督举报机制，并鼓励网民积极参与社会监督举报，做好宣传和推广。
(二)加强关键技术的攻关能力。
一是鼓励科研机构、互联网公司等单位组建和培养内容治理、个性化算法推荐、深度伪造等新技术相关团队，加大对关键技术攻关团队的资金保障、政策支持、平台保障。二是建立技术管网的手段，鼓励企业运用人工智能等新技术识别不良信息，对不同内容进行分级过滤，并建立监测及汇聚平台，提高对新技术的监测和治理。
(三)建立治理技术标准化体系。
一方面应鼓励和吸引更多的企业、高校、科研院所和用户等各方实质性参与行业标准的制定，通过加强内容治理基础理论研究和战略规划，建立起符合我国的网络治理技术标准化体系。另一方面应积极参与国际标准化组织的内容治理规则和国际标准制定，根据国际社会的需求，贡献中国智慧。
(四)加快高水平人才队伍建设。
一方面应加大对互联网内容治理的关注和给予必要的资金保障，建立相应的奖励政策，鼓励重点学科和研究中心的创办，探索开展校企合作等模式，加强高水平人才的产学研用。另一方面应积极培养具有国际影响力的内容治理专家，建立海外人才专家智库，并降低人才引进门槛，汇聚成一只政治能力强，业务精、作风强的人才队伍。
来源：中国信息安全
作者：龚文全-中国信息通信研究院云计算与大数据研究所人工智能部工程师；孙明俊-中国信息通信研究院云计算与大数据研究所人工智能部主任