加载中...
Platform Governance with Algorithm-Based Content Moderation: An Empirical Study on Reddit
随着社交媒体和在线社区参与量的不断增加,内容审核已成为平台治理不可或缺的组成部分。迄今为止,志愿(人类)审核员一直是内容审核的核心力量。由于基于志愿者的内容审核在实现可扩展、理想和可持续的审核方面面临挑战,许多在线平台近年来开始采用基于算法的内容审核工具(机器人)。当机器人被引入平台治理时,志愿审核员在社区监管和社区培育方面的努力会如何反应尚不清楚。为理解这些日益流行的机器人审核员的影响,我们开展了一项实证研究,数据来自Reddit上的156个社区(子版块)。基于一系列计量经济学分析,我们发现机器人通过刺激志愿审核员审核更多的帖子来增强其作用,且这种效应在较大的社区中更为显著。具体而言,志愿审核员执行的社区监管增加了20.9%,尤其是在主观规则方面。此外,在规模较大的社区中,志愿者在社区采用机器人后也投入更多精力提供解释和建议。值得注意的是,活动的增加主要是由伴随主观监管增长而产生的对培育努力的需求增加所驱动的。此外,将机器人引入内容审核还提高了志愿审核员的留存率。总体而言,我们表明将基于算法的内容审核引入平台治理有利于数字社区的可持续发展。
Abstract
With increasing volumes of participation in social media and online communities, content moderation has become an integral component of platform governance. Volunteer (human) moderators have thus far been the essential workforce for content moderation. Because volunteer-based content moderation faces challenges in achieving scalable, desirable, and sustainable moderation, many online platforms have recently started to adopt algorithm-based content moderation tools (bots). When bots are introduced into platform governance, it is unclear how volunteer moderators react in terms of their community-policing and -nurturing efforts. To understand the impacts of these increasingly popular bot moderators, we conduct an empirical study with data collected from 156 communities (subreddits) on Reddit. Based on a series of econometric analyses, we find that bots augment volunteer moderators by stimulating them to moderate a larger quantity of posts, and such effects are pronounced in larger communities. Specifically, volunteer moderators perform 20.9% more community policing, particularly over subjective rules. Moreover, in communities with larger sizes, volunteers also exert increased efforts in offering more explanations and suggestions after their community adopted bots. Notably, increases in activities are primarily driven by the increased need for nurturing efforts to accompany growth in subjective policing. Moreover, introducing bots to content moderation also improves the retention of volunteer moderators. Overall, we show that introducing algorithm-based content moderation into platform governance is beneficial for sustaining digital communities.
机器人使志愿审核员社区监管增加20.9%
基于156个Reddit子版块2013-2014年月度面板数据的双重差分估计,被解释变量为志愿审核员每月发布的监管类评论数(对数转换),核心解释变量为子版块是否已采用AutoModerator机器人的虚拟变量。结果显示机器人采用后志愿审核的社区监管活动显著增加20.9%,表明算法自动化对志愿者产生增强而非替代效应。
机器人使志愿审核员解释性评论增加15.2%
以志愿审核员每月发布的解释类评论数(对数)为被解释变量,双重差分估计显示社区采用机器人后解释性评论增加15.2%,表明机器人自动化释放了志愿者的注意力,使其投入更多社区培育活动,尤其是在向用户解释规则和审核决定方面。
大社区中机器人对监管的增强效应为53.5%
通过以社区规模中位数分组并引入交互项,发现在成员较多的子版块中,采用机器人后志愿监管活动额外增加53.5%,解释和建议类评论分别额外增加53.6%和44.1%,而在小社区中效应不显著,说明审核需求规模是机器人增强效应的重要调节因素。
主观规则监管增加而客观规则监管随自动化任务增多而下降
利用SUR模型将监管分为主观与客观规则相关两类,发现采用机器人后主观规则监管显著增加,而客观规则监管在自动化任务数量增加时显著下降,表明机器人替代志愿者处理简单客观的审核任务,同时增强其在需要主观判断任务上的投入。
机器人采用使志愿审核员留存延长约6.5个月
以审核员-月份面板数据进行OLS和泊松回归,被解释变量为审核员在版主团队中的留存月数,结果显示社区采用机器人后志愿审核员留存时间延长约6.5个月,Cox生存分析亦显示退出风险显著下降,表明机器人辅助提高了志愿审核的可持续性。
核心解释变量
机器人采用(BotAfter),即子版块在某月是否已采用AutoModerator进行内容审核的虚拟变量;另使用自动化审核任务数量(AutomatedTasks)作为替代解释变量。
被解释变量
志愿审核员月度审核活动,包括社区监管类评论数(Num_Policing)、解释类评论数(Num_Explanation)、建议类评论数(Num_Suggestion)、其他闲聊类评论数(Num_Others),以及主观与客观规则监管、审核范围、留存月数等。
样本与数据
从Reddit平台收集156个子版块2013至2014年的公开审核记录,通过PushShift API获取AutoModerator和志愿审核员的评论数据,构建子版块-月度面板共3744个观测(留存分析为1752个观测)。
识别方法 / 模型设定
利用不同子版块在不同时间采用AutoModerator的错时冲击,构建双重差分(DiD)模型进行识别,控制子版块固定效应和月份固定效应,并加入活跃审核员数和用户评论数作为控制变量,标准误在子版块层面聚类。
内生性及稳健性检验
进行了相对时间模型检验平行趋势假设,采用两阶段DiD和双重稳健DiD、倾向得分匹配式的lookahead匹配、工具变量法处理内生性,使用SUR模型和泊松伪最大似然估计,并对志愿审核员进行访谈以排除外部强制因素,结果均保持一致。
更多相关数据正在补充