随着大语言模型（LLMs）的普及，AI技术门槛大幅降低，不法分子得以借助工具在互联网大批量散播垃圾内容，让网络垃圾信息、机器人水军内容泛滥的问题愈发严峻，这也是当下全网社交平台面临的共性困境。颇具讽刺意味的是，这场由大模型催生的网络乱象，如今正需要依靠大模型技术来破解，社交平台纷纷开启“以火灭火”的AI治理模式，Reddit便是其中的典型代表。
为应对日益猖獗的AI垃圾内容，社交平台Reddit自研了基于大语言模型的全新风控工具，专项整治平台垃圾信息。据平台数据显示，这套AI治理工具成效显著，每日可拦截2300万次垃圾内容曝光，精准查处约2.5万条新增的垃圾帖子与评论，大幅净化了平台内容环境。
长期以来，各大社交平台均配备了自动化垃圾内容拦截系统，用于日常风控治理，但传统工具识别能力有限，难以应对迭代升级的AI违规内容。相比之下，Reddit此次迭代的大模型风控工具实现了能力突破。官方在博客中表示，新系统能够精准捕捉传统风控体系遗漏的隐蔽违规行为，可识别精细化、有组织的虚假操作和人工造势等隐蔽乱象，对AI生成的伪装式垃圾内容识别度大幅提升。数据显示，今年1至3月，平台用户接触垃圾内容的频次，较此前三个月下降了20%，治理成果十分直观。
当前行业内对AI生成内容的管控，整体秉持包容规范的原则。YouTube、Meta、Instagram等主流平台均规定，用户发布AI生成内容时，只需主动标注内容属性即可合规发布。TikTok则推出了更人性化的功能，允许用户自主调节页面AI内容的展示比例，给予用户更多自主选择权。
AI风控技术的升级，带来的治理价值不止于拦截垃圾内容。依托大模型高效的识别能力，平台能够更快筛查出仇恨言论等违规内容，大幅提升违规内容处置效率，优化平台内容生态。不过业内专家着重强调，AI内容审核并非万能，存在算法误判、特殊场景识别失效等短板。想要实现高效、精准、人性化的内容治理，必须坚持AI智能审核与人工复核相结合的模式，依托技术提效、依靠人工兜底，才能构建完善、稳妥的网络内容治理体系。
苏公网安备32021302001419号