冰冷与温度，数字世界的B面

多年以后，当我们回顾2021，一定会发现这是充满变局一年。

这一年，疫情并未如预期般消散，时至年底，各类抗疫行动依旧不断展开；这一年，中概股赴美上市潮于今年夏天按下暂停，恪守最新数据安全准则成为不少企业面前的新议题；还是在这一年，不少细分行业产生了翻天覆地的变化。比如，在线教育在"双减"的趋势下被动收缩，成为时代变局中的一枚纪念币。

只有时代下的产业，没有产业下的时代。不论是在久不消散的疫情面前支持抗疫，还是因守护国家安全而暂停的IPO，亦或是为了下一代发展模式而做出的产业调整，这背后都蕴藏着一个趋势，从各种维度出发，多方面承担社会责任，正在成为如今企业成长的必修课。

尤其，处于成熟期的互联网企业已经率先开始迭代。过去一年，有关大型互联网公司驰援抗疫、热衷公益以及支持共同富裕的消息不绝于耳。仅针对共同富裕，在国家提出“共同富裕”目标之后，阿里、腾讯先后官宣了千亿元规模的“共同富裕”基金，字节跳动、拼多多、京东等头部互联网企业也都纷纷宣布了相应的目标和计划。

然而不可忽视的一点是，对普通个体而言，物质生活的保障只是一面，精神文明生活的安全稳定同等重要——从2000年左右中国第一批互联网公司诞生开始，互联网企业所提供的数字化服务以及内容，成为了人们不可或缺的精神世界载体。不过，当填充精神世界的内容空前丰富，其中暗藏的暴力、色情以及虚假广告等内容也日渐成为风险因素。

也正是由此，随着《网络安全法》、《数据安全法》等法律法规完善，以及企业持续面临的新型内容攻击手段，进行数字内容风控建设，也成为不少企业的必选项。

这一次，作为数字服务及内容提供者的互联网公司又选择站在台前，为守护人们的精神生活提供出自己的价值。

坦白而言，数字内容风控并不是一个大众流行词汇。但这一行业的起源，却和整个数字化的浪潮息息相关。

具体来说，网络中有害信息的出现，最早可以追溯到十多年前博客、论坛刚刚流行时。在那个时期，各类内容渠道刚刚普及，网民可以随意发表评论。"当时在用户社区里，已经有有害信息会通过静态图片的方式传播。"网易易盾总经理朱浩齐向36氪回溯。

不过在2000年初，即使有害现象已经出现，但互联网内容模式刚刚成型，大众针对清朗网络空间的意识还并不强烈，再加上彼时技术手段并不如当下先进，所以数字内容风控也并未成为被普遍关注的话题。

而时至如今，随着数字化内容渠道的铺开，数字内容风控已经成为企业数字化转型过程中不得不考虑的标配。

首先从产业需求变革来看，仅2019年就有众多知名APP就曾因社区内容问题而被要求整改，以及音频APP因内容问题被下架，还有一些奢侈品牌也曾因不当言论或行为而引起众议。另自政策角度观察，自2017年《网络安全法》正式施行以来，关于安全的法律法规（如《数据安全法》、《个人信息保护法》等）不断完善，内容风控更和众多安全细分赛道一样，成为企业关注的焦点。而且，随着民众意识的愈发进步，营造和谐的网络空间环境也是众望所归。

行业兴起，厂商感触尤深。

朱浩齐于2008年加入网易，负责网易集团内容风控系统建设十多年。在他的感受中，如今伴随相关案例的多发，政策的严管趋势，以及普罗大众的殷殷希望，越来越多的客户已经主动意识到建设数字内容风控能力的意义。但往前追溯，直到2016年，还有不少客户并不理解内容风控产品的价值所在。

“当时不少客户认为，可能自己简单做一个关键词搜索的功能就能解决问题，但这样显然效果不佳。"他说。

数字内容风控本身具有很高的复杂度，想要做好需要跨过不少门槛。总结而言，做好这一业务需要厂商具备充分的业务理解力、技术/产品能力和长期耕耘的坚持以及实践经验积累。

首先从技术演进来看，过去博客刚刚兴起时，有关数字内容风控的技术主要以文字识别为主，针对图片的识别能力不高。近年，随着人工智能技术、芯片处理能力等技术的演进，再加上云服务底层能力的提高，这让产品在高并发环境下仍具备稳定性成为可能。这类技术能力的积累，是做好内容风控产品的前提之一。

另外，数字内容风控的另一个壁垒在对客户业务的深入理解。

在这一领域，除却法律法规明确规定的红线，其他内容风险的判断需要和用户场景强结合。而数字内容风控和其他安全产品之间的差异化恰好还在于，由于理解门槛低所带来的更容易评判的产品特点。这一特点带来的后果是，众多客户方的业务人员都可以按照自己的理解对内容风控提出自己的判断维度，从而让厂商难以和客户达成共识。在这种情况下，数字内容风控的厂商需要深入理解客户业务场景，才能有的放矢。

总结而言，数字内容风控不仅对厂商的技术能力有要求，同时也对厂商对场景、业务经验的理解提出挑战。这也从侧面带来一个有意思的现象——即便行业需求渐起，但相较其他安全相关产品和解决方案，以数字内容风控作为主要业务的厂商仍旧不多。

而既具备技术实力，也具备场景理解力的厂商或许更少。从行业全局观察，起家自内容领域的头部互联网企业，正是数字内容风控的能力提供者。

网易从提供博客、邮件类产品开始即重视内容风控。

早期，其安全团队专注于通过建设内容风控能力，解决其自身内容产品中存在的相应问题。2011年，随着安全这件事的重要性不断提升，网易安全部正式单设成为独立部门。2016年，经过自身业务场景的实际打磨，网易安全部开始对外提供服务，易盾也就此成立，内容风控是其对外提供的一项重要能力。

在过去，由于技术能力不足，业内常过于依赖人工审核保障内容安全。而随着互联网产品愈发多样化，企业每天要发布几十万甚至上百万帖子，内容审核的任务量每日剧增，强依赖人工对方式注定不能持久。所以，高效、安全地进行内容审核，成为了紧迫的命题。

于是针对这类需求，易盾根据经验提出了一套自己的优化方案。具体而言，其在行业内较早地提出了“机器识别+安全策略+人工审核”的内容安全保障体系。

这套方案的核心思路是在面对海量非标场景时，通过技术将识别的能力标准化，同时又和人工结合，将结果判断相对定制化的处理。朱浩齐介绍，这套方案对客户来说意味着效率的提升和传统人力成本的降低，对易盾而言也能让产品更标准化，更适合对外提供服务。

可以看出，在“机器识别+安全策略+人工审核”的内容安全保障体系中，"机器识别"承担了将识别能力标准化的部分，"人工审核"是相对定性的部分。那么，"安全策略"则像中间的一道桥梁，既帮助人工团队将其处理的特征和知识反哺给机器，让机器识别更"聪明"，又根据一些策略工具持续筛选机器识别后的数据，让其结果输出更精准。

实际上，在2012年之前，网易易盾的初始团队便开始在内部打磨“机器识别+安全策略+人工审核”的保障体系；2016年，网易易盾正式对外服务，将这一理念持续对外输出，并不断迭代优化；到了2019年前后，“这套保障体系已经成为了行业通用的解决方案路径。”易盾介绍。

在实操中举例，某智能硬件头部厂商，旗下有一款月活过亿的语音助手产品。面对历史沉淀的天文量级问答语料库和每日新增的海量数据，其不仅需要考虑成本控制，也必须平衡数据量、处理速度以及精准度，同时直面不断变化的内容风向带来的挑战。

换言之，面对这一状况时，理想中的内容风控产品需要做到效率和效果的结合。在谨慎选型评估后，其采购了易盾的数字内容风控产品和服务，将易盾人机协作的一站式内容安全解决方案应用到业务中。

首先，易盾的智能机器审核系统，会基于深度学习及大规模样本训练，对文本进行语义分析，分辨其中可能存在的色情、低俗、广告、涉政、暴恐、谩骂、灌水等可能性。其通过易盾的算法能力，可自动化、标准化地将问答语料文本按违规类型进行标红与分类的预处理，让不良有害内容自动现行。通过机器解决普适性审核问题，提升效率的同时降低了成本。 据了解，易盾会定期对模型进行优化迭代，通过收集误漏判样本，重新训练模型，保证机器的持续迭代和进化。

接着，易盾再通过专业人审以解决复杂问题。具体而言，问答语料文本经过机器审核后，会交由人工审核团队进行二次标记，并在机器无法进行决策时进行干预，并纠正决策。这样做的好处是可以满足客户非标但迫切的业务要求，比如在这一项目施行时，客户提出了甄别涉政内容的正负面与法律法规合规的需求。以《广告法》的合规为例，易盾帮助他们遵守相关法规要求，在有关医疗、保健、养生的知识问答中，剔除带有“推荐”嫌疑的问答，从而让该企业智能产品的推荐更具中立、客观性。

同时，易盾的审核平台还注重海量内容处理的高效性。比如在合作中，客户可以通过API接入易盾“智能审核平台”，进行多线处理海量数字内容，动态开展审核数据查询、质检任务下发等操作。 据了解，相比传统的审核平台，易盾“智能审核平台”会为AI和审核员分配任务，通过“自动跳审”、“高量词工具”、“键盘快捷键”、“全屏审核”、“多人审核”等交互设计，帮助审核员摆脱繁复的操作，也进一步提升了人效。

通过这套既注重效果又注重效率的内容安全保障体系，易盾接入数月便将客户堆积许久的历史数据陆续消化，并且问答语料过审的平均准确率在99.8%以上。同等重要的是，易盾在过滤不良有害内容的同时，也通过人工审核团队对机审后的问答语料文本进行二次标注，挑选出优质科普问答，帮助客户完善了其产品的内容价值。

在更普适的效果判断上，如今易盾数字内容风控产品累计检测数据已达到 10000亿+、平均审核效率提升10倍，反作弊识别率也达到99%+。

整体谈及易盾的差异化优势，朱浩齐觉得，相比较独立厂商，易盾的产品更稳定可靠，而相对其他头部互联网公司来说，易盾的解决方案则更灵活和场景化。

而能做到这些特点，还是要回到这套“人机协作”的理念，以及易盾的基人机协作因。"我们在自身的内容场景里打磨了许久，正因为网易做过这么多的内容类产品，我们的内容安全能力才能持续得到检验，为客户提供可靠的服务，让客户得以专注于自身的业务创新（无需为数字内容风控问题而烦恼。）"朱浩齐坦言。

如今，作为行业头部的易盾也看到了数字内容风控快速增长中的需求。

比如，在过去重视内容风控建设的往往是互联网等数字原生企业。但在近年随着全行业数字化转型的进展，越来越多身处传统行业的企业也开始找到易盾。

“除了互联网客户之外，现在我们有大量的零售、银行保险以及汽车类客户。”朱浩齐说。

当需求渐起，配套能力也应及时跟上。但数字内容风控场景的非标，以及目前无法完全摆脱人工的现状，都降低了行业发展的速度。

对此，易盾的做法是通过推动完善安全行业体系标准建设，同时也深度参与相关职业培训课程的编排，为审核员这一职业画出细致的能力树，并推动其完善自身能力。

（易盾参与起草的《网络与信息安全管理员国家职业技能标准》，已于2020年正式发布）

说实话，在很多人的第一印象中，审核员属于互联网的入门级工种，壁垒不高。但易盾通过自身二十年的相关经验告诉我们，审核员是一个对综合能力要求较高的职业，并不是谁都可以随便上岗。

“理想的审核员需要有各行各业的知识储备，还要有一定的编程能力，需要在工作中反哺机器、调配策略。"朱浩齐认为，将审核员职业粗暴地认知为"劳动密集型"产业是不科学的，甚至有的时候如果审核员能力不到位，可能审核的效果比机器还要不精准。而且，一个高阶的审核员在需要具备知识积累和编程能力之外，还要深度理解自身企业的业务，从而依据业务要求设置合理的判断边界。

一句话总结，一个理想中的审核人员应该做到像一个安全策略人员一样，在完成既定职责的同时，成为反哺机器的桥梁。

也正为了和行业一起达成这一目标，易盾在过去几年间一直在推动国家相关部门制定审核行业职业标准规范。就效果来说，现在所有的审核人员都必须经过标准化的培训才能上岗。同时，易盾也和国家相关部门和产业协会一起进行了相关课程制定。

当然，打通教育培训环节只是第一步，把这件事落在实处还需要真实地就业上岗。对此，易盾也和残联等机构合作，在为行业培训更多人才的同时，也促进残疾人就业率的提升。公司介绍，目前已有不少经过培训的审核员在易盾以及其他甲方客户内部上岗。

当高素质人才的数量得以提升，数字内容风控的服务质量也将得到改善。并且，随着内容风控的社会价值被更加肯定，能看到的一个趋势是，越来越多的中小企业也会紧跟头部公司的步伐，加入到对人们精神文明生活的守护行动中。

行业动态首先成为了证明。比如，在2020年12月，以“守信互信 共践共行——携手推进网络诚信建设”为主题的2020中国网络诚信大会在山东曲阜成功举办，这一会议旨在从加强互联网行业自律角度，推进网络诚信建设，倡导网络文明，助力网络综合治理体系建设和数字经济发展。2021年7月，以“诚聚力量 信赢发展——共建网络诚信新时代”为主题的2021中国网络诚信大会在湖南长沙在湖南长沙成功举办，500余位行业嘉宾共谋新时代网络诚信之道，共建共享网络诚信新空间。

作为内容风控先行者的易盾也对这一趋势深信不疑。同样，也为了和这些中小企业一起守护网络内容空间，易盾推出了"清风行动"。在这一行动中，易盾会针对各类中小企业，免费开放有关内容风控的多项核心功能，希望让这些新兴企业从第一天开始，就有能力和意愿参与进对网络空间文明的守护中。

举例而言，在实际的能力开放范围中，易盾会为此类客户提供内容安全中的文本、图片、音视频内容检测模块，以及业务安全中的注册、登录保护，以及用户账号识别等功能。这里可以看出，内容安全的模块和业务安全的模块在此得到了结合。朱浩齐解释，这也是由于中小客户可能会被同一个账号同时带来"薅羊毛"和"发布有害内容"两类负面影响，所以将内容安全和业务安全结合，是从企业需求出发得出的解决方案，同样也是"数字内容风控"的实质内涵。

时至如今，易盾已经服务了数千家付费客户，其中不乏人民网、外交部、华泰证券、中信银行、OPPO、vivo、滴滴、知乎、B站等知名企事业单位，服务间接覆盖99%以上网民。相信随着行业的发展，更多的企业会选择将复杂的数字内容风控问题交由易盾等专业厂商来处理。

而整体谈及对未来趋势的观察，朱浩齐觉得，数字内容风控的大趋势已经不容置疑，接下来行业还需要持续在效率和效果的平衡性上做协调。但有一点期待是易盾和他本人希望达成的——数字内容风控的目标是守护人们精神世界的和谐，那么在满足合规要求的基础上，或许大家可以一起讨论、碰撞出最合适的安全尺度，从而在红线以上提供更丰富多彩的内容形态。

"安全经常是冷冰冰的，但在数字内容风控领域，或许我们可以更人性化。在合规的要求之上，帮助大家拥有更美好的内容生态体验。"朱浩齐表示。

独行者快，众行者远。不论是严格要求打磨产品，还是孜孜不倦破圈合作，长达20年的耕耘已经说明，网易易盾长期以来的目标就是以科技创新缔造美好生活，满足用户对美好生活的向往和追求。相信这一使命也是时代背景之下，头部厂商需要持续承担，也有能力延续的社会责任。