|
同行评议中专家评审的可信度问题的讨论 与分析# 张金焕* 基金项目：湖南省软科学项目（2010ZK3061）资助 作者简介：张金焕，（1981-），女，讲师，主要研究方向：科技评价，嵌入式计算。E-mail: zhang_jh81@163.com 5 （中南大学信息科学与工程学院，长沙 410083） 摘要：在以专家评审为主体的同行评议中，专家评审的可信度直接影响到评审结果的公平与 公正。同行评议中专家评审的可信度取决于评审专家的选择及评审结果数据的处理。本文通 过这两个方面的研究论述同行评议中专家评审可信度的问题，提出一些可能适用于同行评议 中专家评审可信度问题的方法、建议。 10 关键词：同行评议；专家选择；偏移数据；可信度 中图分类号：F224.5 Analysis on the reliability of expert evaluation in peer review ZHANG Jinhuan 15 (School of information science and engineering, Central South University, ChangSha 410083) Abstract: In peer review with the expert evaluation as the main body, the fair and impartial of the review results is directly affected by the expert review reliability. The expert review reliability depends on the expert selection and review results processing. In this paper, the review reliability is described throutgh the two aspets. And, a few applicable methods and suggestions to expert 20 review reliability are proposed. Keywords: peer review; experts assignment; deviation; reliability 0 引言 科技评价是科学技术管理工作的重要组成部分，是推动国家科学技术事业持续健康发 25 展，促进科学技术资源优化配置，提高科学技术管理水平的重要手段和保障[1,2]。 目前在我国以专家评审为主体的同行评议制度中，评审专家是科学研究项目、科技成果 评审的主体。选择合适的专家参评是保证同行评议质量的关键环节[3]。要保证科技评审过程 公平公正合理、评审结果为大众所信服接受，就要遴选出适合评审对象的能力强、信誉好的 专家参评。评审专家的问题始终是同行评议的热点问题[4-6]；评审专家的选择不恰当，是当 30 前科技评审制度中存在的主要问题之一[7]。 由于科技评审的复杂性、评审专家因随机因素干扰和主观认知上的偏差、评价水平的差 异，以及评价对象的争议性，将导致专家评审结果出现偏差，从而导致评审数据不能客观的 反映评审对象的真实情况。这将影响科技评审的客观性和准确性。 由此可知，同行评议中专家评审的可信度问题日益突出。在同行评议中专家评审的可信 35 度问题主要包括评审专家的选择和其评价数据的分析处理两个方面，本文将对这两个方面的 问题进行论述。 1 专家评审的可信度问题 1.1 评审专家的选择 专家选择是为科技评审系统遴选出优秀的专家，以保证项目评审的公平性、公正性、有 40 效性和权威性。专家遴选实际上是一个数学问题。从系统论的观点看，专家遴选系统的输入 是项目集合、专家集合和项目遴选约束和优化条件，系统的输出是满足约束和优化条件下的 每个项目的遴选专家集。 1.1.1 专家遴选指标体系 在专家遴选中，首要考虑专家遴选的因素，即专家遴选指标。在专家遴选指标方面，国 45 内的一些专家和学者进行了一些研究。赵黎明[8]等主要从同行评议专家基本情况指标、修养 指标、评议工作业绩指标三个方面，较系统地论述了同行评议专家的指标体系。张艳，江志 斌[9]在总结国内外学术界对于重大建设项目成功因素的基础上，探讨了选择专家指标的原 则。李莹，李燕萍[10]设置了一套较为完善的专家选择四级指标体系。鲍洪涛等[11]拟订了军 队同行评议专家遴选的二级指标体系。 50 尽管国内的学者对专家遴选指标及指标体系的构建有了一些研究，但这些研究没有从深 层的角度对其分析和描述，因而缺乏问题的数学建模。且科技评价的具体对象包括各级各类 科技机构与单位、各级各类科技人员、各类科技工作与活动、各类科技工作业绩（成果）等。 根据科技评价的这些对象目标要素，为了保证科技评审的科学性、客观性、公正性和时序性， 应创建基于多目标和面向多目标的动态科技评价指标体系。 55 1.1.2 专家遴选方法 在专家遴选算法研究方面，国内外已经有了一些研究，对于选择专家问题的研究多集中 在大型的学术期刊或者是类似于 SCI、SSCI、EI 这一类的大型学术搜索引擎的评审专家的 选择上[12-14]。 总体上专家遴选算法的研究分为定量、定性、及定量和定性结合三个方面，应用于专家 60 遴选的方法有层次分析法（Analytic Hierarchy Process, AHP） 、灰色系统理论、微粒子群算 法、蚁群算法、进化算法等[15-19]。而遗传算法在适应度函数选择不当的情况下有可能收敛与 局部最优，而不能达到全局最优，故这种算法有很大的局限性，有时会选不到所需要的专家。 目前科技评审中一般采用随机选择专家的方法。在随机遴选专家的过程中，项目和专家都是 根据学科进行分组的，专家和项目的学科匹配是其中的一个关键环节。根据专家遴选指标体 65 系和不同的项目评审要求，在专家遴选指标体系的基础上，对专家数据库中与待评审的项目 相关专家进行回避，从而得到满足评审要求的有效专家库；然后对专家所属学科进行匹配， 遴选出评审所需求的专家。 1.2 评审专家的评价数据处理 在同行评议中评审专家人为主观因素将会很有可能影响到评审工作的客观性与公正性， 70 如专家对某些项目的偏爱可能会导致其对项目的评分不能客观的反应项目的真实情况，出现 “粗差”[20-21]，所以对在科技评价中这类偏移数据的处理将有助于科技评审的客观与公正。 在评审过程中某些专家因为对某个项目的评审偏移导致其给出的分数偏离了“正常”分 数；另外，还有可能就是被评审的项目确实存在很大的争议从而导致专家的评审分数出现两 极化现象等[22-25]。对这些评审偏差数据如何进行诊断与修正将直接影响到科技评审的结果， 75 为了体现科技评审的客观，公平，公正，这些异常数据必须得到较好的处理，减少其对评审 结果的不良影响。但现阶段对于科技评审中偏移数据的处理研究相对较少，在很多评审工作 中主要采用去除最高、最低分或者求算术平均值这种最为简单方法防止偏移数据对评审结果 产生不好的影响。另外，对于专家评审中专家主观因素影响评审的处理中，给专家赋予相应 的权值也是现阶段处理的主要方法之一，如加权平均法和校正补偿评价法[26-29]。加权平均法 80 意识到专家评价水平的差异性，根据专家的权威性、知名度等情况先验地给出专家评价水平 权重因子。校正-补偿评价法根据专家评价水平的高低确定相应的权重系数；但该方法没有 考虑科技评价中专家随机因素的干扰和主观认知上的偏差，同时也没有考虑评价项目的争议 性。 在异常数据检测方面，常见的数理统计方法有格鲁布斯（Grubbs）检测法、狄克逊（Dixon） 85 检验法、t 分布检验法、3δ 检验法等[30-32]及一些改进的数理统计方法，如徐洪峰[33]在小样 本数理统计的假设检验的方法基础上，提出了改进的格鲁布斯（Grubbs）检测法。传统的数 理统计方法或改进的数理统计方法主要是将异常数据的影响最小化或剔除。但在小样本下， 即数据量n < 30 时，均值、方差和标准差自身的估计误差较大，且在初始判别中难以排除粗 差的影响，且在小样本下多采用假设检验的方法判别粗差，多假定数据或其残差为正态分布， 90 因此也有可能存在误测，漏测的情况[34]。目前，在异常数据检测方法方面提出了采用属性 相关分析的异常数据检测方法[35]、基于混沌的异常数据的动态识别[36]和基于知识粒度的挖 掘方法[37]等。 2 提高专家评审可信度的建议 2.1 评审专家的选择 95 （1）建立面向多目标和基于多目标的专家遴选指标体系 科技评价的具体对象包括各级各类科技机构与单位、各级各类科技人员、各类科技工作 与活动、各类科技工作业绩（成果）等。根据科技评审对象的多目标和多约束要素，创建科 技评价对象的数据描述字典，建立科学、专业的科技评价动态指标体系（动态是指根据科技 评价的结果对某些指标项及时修改，以便为下次科技评审提供正确的评价参考指标）。 100 （2）选择出组合最优的专家集 针对一个项目的属性，对专家的选择是从专家组整体的角度进行考虑，而不是依据专家 个人根据专家遴选评价指标体系的打分排队后，依据得分的高低依次选择。因为一个项目评 价的专家组是一个整体，这个整体的效果的最优并不能用其中每个个体的最优来组合，他们 之间存在某一定程度的耦合关系。因此评审专家的选择，应是从专家库中根据评审项目的要 105 求，满足遴选约束条件，选择出组合最优的专家集合。 2.2 评审专家的评价数据处理 科技评审中专家评价的数据处理是一个非常复杂的问题。评审专家和评审项目两方面的 因素都会导致偏移数据的出现，在判别出偏移数据后，不可简单剔除。需要根据专家的打分 的惯性或者项目的争议性进行分析，对于这类评审数据进行适当修正和调整。专家的历年评 110 价数据也可以反映出专家的评价的水平及信誉，而这又会进一步影响或促进对评审专家的选 择。评审专家的选择和评审专家的评价应该是一个循环联动系统，这个循环联动系统决定了 同行评议结果能否为大众所信服。 3 结论 本文给出了同行评议中影响专家评审可信度的两个关键因素，即同行评议中评审专家的 115 选择和评审数据的处理。通过评审专家选择的指标体系和选择方法论述了评审专家选择的现 状和有关问题。另外，本文论述了因评审专家和评审项目双方的某些因素导致的专家评价结 果中存在异常数据及异常数据的判断、处理。最后，论文给出了一些可能适用于提高专家评 审可信度的建议。 120 [参考文献] (References) [1] 黄锦成，杨颂阳，阮付贤. 我国科技计划项目管理的监控研究[J].科技管理研究，2005，（2）：91-94 [2] 万猛. 关于科技评审专家的选择及评审行为的判断方法[J].研究与发展管理，2007，19（3）：19-21 [3] 俞立平，潘云涛，武夷山. 科技评价中同行评议与指标体系关系的研究--以《泰晤士报》世界大学排名 学术论文网Tag：代写硕士论文 代写论文 代写MBA论文 |
