开放存取环境下同行评论现状研究—以中国科技论文在线首发论文为例#
 

摘要：通过数据清理、属性规约，对中国科技论文在线2005-2009 年4792 条同行评论数据
进行了数据预处理。对数据预处理后的4477 条同行评论数据，分析了同行评论条数、被评
论文献数和评论参与人数的数量分布现状，得出同行评论在这三方面存在的问题和不足。
关键词：情报学；开放存取；中国科技论文在线；同行评论；发展现状
Status of peer-comments based on the Open Access—The case of Sciencepaper Online
Abstract: Based on the data preprocessing of data cleaning and attribute-oriented induction to
4792 peer-comments from 2005 to 2009 of Sciencepaper Online，quantitative distribution of
peer-comments, literature being commented and comment-participants were comprehensively
analyzed according to preprocessed 4477 peer-comments. Through the analysis of these three
20 aspects, the problems in the development of peer-comments were come out.
Keywords: Information Science; Open Access; Sciencepaper Online; Peer-comments;
Development Status
0 引言
25 随着开放存取技术的日益发展，为了方便网络学术交流和文献质量控制，许多开放存取
系统开通了同行评论功能，如国外的PLoS、国内的中国科技论文在线[1][2]。同时，同行评论
也引起了学者们的关注，许多学者对此进行了相关研究。例如，文献[2]指出同行评论能够
促进作者、读者和评议人员三者互动交流；文献[3][4]指出同行评论能避免因学术认识偏差
而造成评审不全面的情况；文献[5]指出应该将读者评论纳入网络文献质量控制机制中，并
30 采取相关措施激励读者进行评论；文献[6]提出应以同行评议为主，公众评论为辅的方式对
网络论文的质量进行控制；文献[7]指出同行评论能让作者通过与同行间的反复探讨，为作
者和评论者提供一个交互的平台。
以上研究对增强同行评论的认识起到了积极的促进作用，但主要是理论方面的探讨，目
前还缺乏相关的实证研究。中国科技论文在线（简称在线）作为我国较早的开放存取系统，
35 已于2005 年11 月率先开通了同行评论功能。通过对在线同行评论数据的分析，对于认识在
线同行评论的现状，了解我国同行评论的发展状况，促进同行评论的发展具有积极的推动作
用。
1 数据准备
在线首发论文同行评论数据库中的数据主要是用于评论管理而不是为了数据分析，且存
40 在乱码、串行等现象，难以直接用于数据分析，需要首先进行数据整理，为数据分析做好准
备。
1.1 数据清理
截止 2009 年底，在线首发论文共有同行评论数据4792 条，对乱码、串行数据整理后，
得到同行评论数据4545 条。进一步分析发现存在无效评论68 条，删除这些无效评论，最终
45 得到可用于现状分析的同行评论数据4477 条。
1.2 属性处理
在线同行评论的原始属性主要包括论文编号、评论人邮箱、评论内容等5 个属性，如表
1 所示。
50 表1 中国科技论文在线同行评论的原始属性
序号 属性名称 序号属性名称序号属性名称
1 论文编号 3 评论内容5 发文时间
2 评论人邮箱4 评论时间
根据属性构造和属性规约的基本规则[8][9]，进行以下属性处理：
[1]根据“评论人邮箱”构造属性“评论人类型”，取值为：（1）如果评论人邮箱与文
献作者邮箱一致，则评论人类型取值为作者；（2）如果评论人邮箱与文献作者邮箱不一致，
55 则评论人类型取值为读者。
[2]根据“评论内容”构造属性“评论类型”，取值为：（1）读者讨论类：读者对文献
内容进行分析讨论的评论；（2）读者简单评价类：读者对文献内容给出简单评价的评论；
（3）读者关注类：评论内容仅反应读者对文献进行过关注的评论；（4）作者回复类：作者
对读者的讨论进行回复的评论；（5）作者非回复类：作者自发介绍本研究的内容和作者相
60 关情况的评论。属性评论内容较多，且属于文本型，不能用于数据分析，删除该属性。
[3] 根据属性评论时间和发文时间的差值， 构造属性评论时差， 取值为
[0,1],(1,6],(6,12],(12,+∞)，分别表示一个月以内，1-6 个月，6-12 个月和1 年以上。
[4]属性评论时间和发表时间当前的取值为具体的日期，取值较多，将其取值概化到年。
经过以上属性处理得到可用于本研究的评论属性，如表2 所示。
65
表2 属性处理后的评论属性
序号 属性名称 序号属性名称序号属性名称序号属性名称
1 论文编号 2 评论人邮箱3 评论人类型4 评论类型
5 发表时间 6 评论时间7 评论时差
2 同行评论数量分析
2.1 同行评论数量的时间变化分析
70 同行评论各年的数量及增长变化情况如表3 所示。从表3 可以看出，同行评论的数量在
逐年增加，但增速在逐渐趋缓。
表3 同行评论的数量和增长变化情况*
评论时间 2005 2006 2007 2008 2009 合计
评论条数 58 718 951 1241 1509 4477
评论年增长率--- 1137.93% 32.45% 30.49% 21.60% ---
（* 文中数据均根据在线首发论文数据库中的数据计算）
75
2.2 不同类型的同行评论数量分布分析
各类型评论数量分布情况如表4 所示。其中读者讨论的评论有1425 条，占总评论的
31.83%，读者简单评价的评论有1234 条，占总评论的27.56%，读者关注的评论有6.63%，
作者回复评论有809 条，仅占总评论的18.07%，作者非回复评论有712 条占总评论的18.07%。
80 2956 条读者评论中仅有809 条得到了作者的回复，占读者评论的27.37%，还有2147 条读
者评论没有得到作者回应，占到全部读者评论的72.63%。这说明，同行评论的读者和作者
之间交流的互动性不高。
表4 各类型同行评论数量分布情况
评论人类型 评论类型 评论数 百分比
读者讨论 1425 31.83%
读者 读者简单评价 1234 27.56%
读者关注 297 6.63%
读者评论数合计 2956 66.03%
作者回复 809 18.07% 作者
作者非回复 712 15.90%
作者评论数合计 1521 33.97%
85
2.3 同行评论的时差分布分析
4477 条同行评论的评论时差分布如表5 所示，其中，2242 条评论是在一个月内做出的，
约占总评论的50.08%；1288 条评论是在1-6 个月内做出的，约占总评论的28.77%；仅有360
条评论和587 条评论是在6-12 个月和1 年以上做出的，分别占总评论数的8.04%和13.11%。
90 这说明大部分评论条数的时差在6 个月以内，评论时差较短。
表5 不同评论时差的评论条数分布表
评论时差 1个月以内1-6 个月6-12 个月1 年以上合计
评论数 2242 1288 360 587 4477
百分比 50.08% 28.77% 8.04% 13.11% 100.00%
2.4 同行评论的学科和星级分布分析
95 2.4.1 同行评论的学科分布分析
在线首发论文的文献分属于14 个不同的学科：数学，物理学，天文物理与空间科学，
化学、化学工程，地球科学，农业与生物学，健康与医学，药物与毒理学，工程、能源与技
术，力学、材料科学，环境科学，计算机科学与信息技术，经济学与商务管理，其他学科与
交叉学科，分别用[A-N]表示。
100 各学科同行评论数量分布如表6 所示，学科A、B、F、I、L、M（数学，物理学，农业
与生物学，工程、能源与技术，计算机科学与信息技术，经济学与商务管理）的累计评论条
数占到全部评论条数的75.25%，是评论条数分布较多的学科，学科C、H（天文物理与空间
科学，药物与毒理学）的评论条数均不足100 篇，仅占全部评论条数的2.97%，是同行评论数量分布最少的学科。
105
表6 不同学科的同行评论数量分布表
学科 A B C D E F G H I J K L M N 总计
评论条数 520 438 54 163 175 347 114 79 843 122 231 765 456 170 4477
评论百分比（%） 11.61 9.78 1.21 3.64 3.91 7.75 2.55 1.76 18.83 2.73 5.16 17.09 10.19 3.80 100.00
2.4.2 同行评论的星级分布分析
不同星级的同行评论数量分布如表7 所示。其中0 星级（没有参加星级评定）的评论条
110 数有1327 条，占全部评论条数的29.64%，有星级（1-5 星级）的同行评论条数为3150 条，
占全部评论条数的70.36%。在有星级的同行评论中，4 星级的同行评论条数为967 条，占
总评论条数的21.60%；5 星级的同行评论条数占总评论条数的8.44%；1 星级的同行评论条
数占总评论条数的16.57%；2-3 星级的同行评论条数分别占总评论数的11.99%和11.75%。
由此可知，同行评论更多分布于有星级的文献中，其中，4 星级的同行评论数量较多。
115
表7 不同星级的同行评论数量分布表
星级 0 1 2 3 4 5 总计
评论条数1327 742 537 526 967 378 4477
百分比 29.64% 16.57% 11.99% 11.75% 21.60% 8.44% 100.00%
3 被评文献分布分析
3.1 被评文献的时间分布分析
120 通过对同行评论按发表时间对论文编号计数，得到不同发表时间的被评文献数量分布，
如表8 所示。
在线首发论文的被评文献占当年发表文献的百分比存在两阶段变化，2003-2006 年被评
文献的百分比逐年增加，2006-2009 年被评文献百分比逐年减少。截止到2009 年底，在线
首发论文数量为37898 篇，被评论的文献有3073 篇，仅占首发论文数量的8.11%。由此可
125 知，被评论的文献数量较少。
表8 不同发表时间的被评文献和发表文献数量分布表
发表时间 2003 2004 2005 2006 2007 2008 2009 合计
被评文献数 2 34 200 672 636 785 744 3073
发表文献数 116 1291 3405 5698 7051 9552 10785 37898
被评文献百分比1.72% 2.63% 5.87% 11.79% 9.02% 8.22% 6.90% 8.11%
3.2 被评文献的评论条数数量分布分析
130 累计同行评论数量和被评文献数量的分布变化如表9所示，由表可知2005 年-2009 年，
累计被评文献篇均评论数从1.12 增长到1.46，文献被评论的程度逐年提高，但是文献的平
均被评论次数不足两次，评论强度不是很高。
表9 同行评论数量和文献数量时间分布表
评论时间 2005 2006 2007 2008 2009
累计评论数（1） 58 776 1727 2968 4477
累计被评文献数（2） 52 567 1249 2094 3073
累计被评文献篇均评论数（1/2） 1.12 1.37 1.38 1.42 1.46
135 不同评论条数区间的文献分布如表10 所示，仅有1 条评论的文献数有2384篇，占被评
论文献的77.58%，两条及以下评论的文献有2837 篇，累计百分比为92.32%，多数文献仅
被评论1-2 次，少数文献被评论3 次及以上。
表10 不同评论条数区间的文献数量分布表
评论条数 1 2 3 4 5-10 11-17 22-33 总计
学术论文网Tag：