加载中...
Measuring Science: Performance Metrics and the Allocation of Talent
我们利用科学界首个引文数据库的引入,研究了绩效指标如何影响人才配置。由于技术原因,该数据库仅覆盖了某些期刊和年份的引文,从而产生了准随机变化:一些引文变得可见,而另一些则保持不可见。我们通过比较可见引文与不可见引文的预测能力,识别了引文指标的影响。引文指标通过减少地理和知识距离上的信息摩擦,增加了科学家与院系之间的匹配性。来自较低排名院系的高被引科学家(“隐藏的明星”)以及少数群体受益更多。引文指标还影响了晋升和NSF资助,表明存在马太效应。
Abstract
We study how performance metrics affect the allocation of talent by exploiting the introduction of the first citation database in science. For technical reasons, it only covered citations from certain journals and years, creating quasi-random variation: some citations became visible, while others remained invisible. We identify the effects of citation metrics by comparing the predictiveness of visible to invisible citations. Citation metrics increased assortative matching between scientists and departments by reducing information frictions over geographic and intellectual distance. Highly cited scientists from lower-ranked departments ("hidden stars") and from minorities benefited more. Citation metrics also affected promotions and NSF grants, suggesting Matthew effects.
可见引文对院系排名的预测力是 invisible 引文的四倍
科学家可见引文百分位每提高10个百分位,1969年其所在院系排名平均提高3.0个百分位;而不可见引文仅提高1.0个百分位。在控制发表记录后,可见引文的系数约为不可见引文的四倍,p值小于0.001。
引文指标使科学家与院系匹配的相关性提高61%
1956年至1969年间,科学家个人引文排名与院系排名的相关性增加了61%,而发表排名与院系排名的相关性下降了46%,表明招聘决策中引文指标的权重增加,发表指标的权重下降。
可见引文高的科学家离开学术界的概率降低3.4个百分点
可见引文百分位每提高10个百分位,科学家在1956-1969年间离开学术界的概率降低3.4个百分点(相对均值降低5.0%)。不可见引文对离开学术界无显著影响,表明部分匹配性增加源于低被引科学家退出。
可见引文高的科学家晋升正教授概率提高4.1个百分点
可见引文百分位每提高10个百分位,助理教授或副教授在1956-1969年间晋升为正教授的概率提高4.1个百分点(相对均值提高5.8%)。不可见引文对晋升无显著影响,表明院系在晋升决策中使用了引文指标。
可见引文高的科学家获得NSF资助概率提高19%
可见引文百分位每提高10个百分位,科学家获得至少一项NSF资助的概率提高1.3个百分点(相对均值提高19.0%)。不可见引文无显著影响,表明引文指标影响了研究资源的分配,支持马太效应。
核心解释变量
可见引文百分位和不可见引文百分位
被解释变量
院系排名、离开学术界、晋升正教授、获得NSF资助、迁移至更高排名院系
样本与数据
美国384所大学1477个院系的27315名科学家,涵盖生物学、生物化学、化学、物理学、数学和医学领域,使用1956年和1969年截面数据,以及1956-1969年的发表和引用记录。
识别方法 / 模型设定
利用Science Citation Index(SCI)引入造成的引文可见性准随机变化。SCI因技术原因仅覆盖1961年和1964年及以后、且仅索引613种期刊的引文。通过比较可见引文与不可见引文(以及伪可见引文)对结果变量的预测能力差异,识别引文指标的因果效应。控制发表数量(按年份、期刊、学科)和学科固定效应,标准误在院系层面聚类。
内生性及稳健性检验
1. 控制发表记录(按年份、期刊、学科);2. 仅使用1961年索引期刊的引文,排除期刊质量差异;3. 仅使用SCI出版年份的引文,排除时间差异;4. 引入伪可见引文和不可见引文(SCI年份/非SCI年份)进行安慰剂检验;5. 使用替代院系排名(基于发表、声誉调查);6. 替代引文变换(标准化、反双曲正弦);7. 样本限制。
更多相关数据正在补充