|
开放存取学术交流系统评价指标体系的构建与权值分配# 李金林，张秋菊，冉伦** 基金项目：高等学校博士学科点专项科研基金(20101101110040) 作者简介：李金林（1955-），男，教授，主要研究方向：决策方法与技术、收益管理 通信联系人：冉伦（1977-），男，副教授，主要研究方向：决策方法与技术，收益管理. E-mail: ranlun@126.com （北京理工大学管理与经济学院，北京 100081） 5 摘要：开放存取是为了解决“学术期刊危机”而创建的一种不同于传统学术交流系统的允许用户免费获得学术资源的全新机制。近年来，开放存取系统发展迅速，展现出强大的发展潜力，得到了各界学者的广泛关注。本文在分析目前学术期刊评价体系和对专家和学者进行问卷调查的基础上，提出了开放存取学术交流系统的评价指标体系，并进行了权重确定。最后以中国科技论文在线为例，比较了其部分指标与国外著名10 开放存取学术交流系统进行对比分析，提出了改善建议。 关键词：决策技术与方法；开放存取；评价指标体系；权值分配 中图分类号：C931 Construction of Evaluation Index System and Weight 15 Assignment for Open Access Academic Exchange System LI Jinlin, ZHANG Qiuju, RAN Lun (School of Management and Economics, Beijing Institute of Technology, Beijing 100081) Abstract: Open Access(OA for short) which admits the users to obtain academic resources freely, is created as a new academic exchange system in order to solve the crisis of academic journal.In recent 20 years, Open Access academic exchange system grows rapidly, and shows strong potential.Based on analyzing current evaluation system of academic journals and conducting questionnaire survey among experts and scholars,the evaluation index system of OA academic exchange system was proposed, and the weight of the evaluation indexes was estimated. At last, Sciencepaper Online was used as an example to compare with some famous foreign OA academic exchange system on some of evaluation 25 indexes, and suggestions were proposed. Key words: Technology and method of management; Open Access; Evaluation Index System; Weight Assignment 0 引言 30 开放存取(Open Access，简称OA)是近年来出现的一种学术信息免费共享的理念与出版机制。它是基于网络技术的发展，以及学术、出版等各界人士对科研成果自由获取与交流的迫切需求，在20世纪90年代末由国际学术界、出版界和图书情报界共同发起的一种新的学术交流方式，致力于提高学术信息的吸收、利用与影响，实现信息的自由传播和最大使用价值。 35 作为一种新的学术交流理念，OA不仅促进了科学信息的交流与利用，更加促使学术交流系统向着以学术为主导的方向发展前进。但是，由于OA发展时间较短，尚未像传统学术交流一样具有完备的评价指标体系。而构建合理的评价指标体系是对评价对象进行科学评价、保障其健康发展的重要前提。因此，建立一套完善、合理的OA学术交流系统评价指标体系是十分必要的。 40 目前，国内外学者虽然分别对于影响OA学术资源质量的某些指标进行了深入探讨分析[1~8]，却鲜有关于开放存取学术交流系统的完整评价指标体系的研究，因此深入开展建立OA 评价指标体系的研究，不仅可以拓展开放存取出版模式的内涵，完善和发展开放存取学术交流系统评价理论，还有助于提升OA学术交流系统的运行质量，对推动OA的发展具有非常重要的理论意义和实践意义。 45 1 评价指标体系的确定 1.1 评价指标体系确定原则 对开放存取学术交流系统进行评价必须依靠指标体系。在指标选取过程中，主要遵循以下三条原则：（1）综合性。由于影响开放存取学术交流效果的因素众多，所以必须综合考虑到平台设计的技术性、内容广度、内容影响力、内容新颖度、用户认知度等各方面。（2）50 客观性。指标体系应客观真实地反应目标与指标间的关系。（3）可行性原则。在设计任何指标体系时都必须考虑在实际使用过程中各项指标的数据可获得性及是否便于计算处理的问题。 1.2 评价指标体系内涵 目前，开放存取学术交流系统中提供的资源包括学术论文、课件、影音资料等，但主要55 以学术论文为主。因此本文设计的指标体系的评价对象主要是那些以提供学术论文为主的系统。 在参考了国内外相关文献[3~9]的基础上，分析各指标的优缺点并加以取舍，初步形成评价指标体系的框架，主要包括内容广度、内容影响力、内容新颖度、平台技术性、用户认知度五个方面的内容。 60 内容广度主要指学术交流系统提供的学术论文及其来源的广泛程度。开放存取作为一种新兴的学术交流方式，最大的优势之一就是能免费提供丰富的、广泛的学术资源，因此评价一个学术交流系统就不能不评价它是否能提供大量的资料，以及是否能打破空间的限制，提供不同学科领域、不同地理区域、不同研究机构的学术成果。 内容影响力主要指学术交流系统提供的学术论文产生的学术影响的强度、广度及速度。65 开放存取使信息发布更加便捷，一方面使得学术资源更加丰富，可是在另一方面也使许多低水平的无用信息得以在网上流传，因此，仅对学术交流系统提供的学术资源的“量”进行评价是不够的，还必须对其“质”进行评价。而一篇好的学术论文在其发表后，是理应受到同行的重视和推荐的，从而会比其他论文在学术界产生更大的影响力。因此，一篇论文的学术影响力在一定程度上可反映学术水平；一个OA学术交流系统中提供的学术资源的综合学术影响70 力可在一定程度上反应其提供的学术资源的质量。 内容新颖度反应OA学术交流系统的资源更新情况及独特性。学术交流的目的是为了促进科学发展，因此一个OA学术交流系统能否不断提供新的学术资源，以满足科研人员对某些领域不断学习、探索的愿望，将直接影响其发展与壮大。 由于开放存取离不开网络，开放存取资源必须有一个网络平台，因此，在指标体系的设75 计中纳入了关于开放存取网站设计的评价，以反应平台技术性。一个简洁、清晰的网络平台是高效率获取学术资源的必备前提，因此必须对OA学术交流系统的平台技术性进行评价。 用户认知度则主要反应OA学术交流系统被用户接受和使用的普遍程度。一方面，OA学术交流系统存在的意义就在于促进学术交流，因此必须获得用户的认可才有存在的必要性；另一方面，用户是学术交流的直接参与人，他们对OA学术交流系统的认可程度可反应80 出该系统提供的资源、平台等各方面的综合绩效。因此，对用户认知度进行评价是十分必要的。 基于以上考虑，本文设计了OA学术交流系统评价指标体系。通过向北京理工大学、四川大学、国防科技大学、国家图书馆等7个高校和机构长期从事科研和学术交流相关工作的30位专家和教授、120名研究人员进行问卷调查，对指标体系进行了调整，最终形成开放存85 取学术交流系统评价指标体系如表1所示。 表1 开放存取学术交流系统评价指标体系 Tab. 1 The evaluation index system of OA academic exchange system 一级指标 二级指标 指标涵义 内容广度 载文量 系统所载论文或报告等资源总量 发文国家地区广度 系统所载论文中，论文作者来源的国家或地区数量 篇均作者机构数 系统所载论文中，每篇论文作者来源的机构(单位)数的均值 篇均参考文献数 系统中所有论文的参考文献数量之和除以该系统所载的论文数量 发文机构数 系统中发表论文的机构总数 国际论文比 系统中国际论文篇数占总篇数的比例 学科领域数 系统中所有论文涉及到的学科领域总数 内容影响力 影响因子 系统前两年发表的论文在统计当年的被引用总次数与该系统前两年刊载论文数量之比 即年指数 系统当年发表的论文在同年的篇均被引率 总被引频次 系统所刊载的全部论文在统计当年被引用的总次数 平均被引率 总被引频次与载文量的比值 论文他引率 系统全部被引用次数中，被非本系统引用次数所占的比例 被引半衰期 系统的论文在某年被引用的全部次数中，较新的一半被引论文发表的时间跨度 权威数据库收摘量 系统被国内、国际权威数据库收摘的论文总量 h指数 系统被引用了至少h次的论文的篇数为h篇 g指数 将系统中论文按被引次数从高到低排序，并且将排序的序号平方，被引次数逐次累加，当序号平方等于累计被引次数时，这时的序号就被定义为g指数 内容新颖度 论文发表周期 从论文提交到系统到最终发表所经历的时间长度 月均发文量 系统每个月平均新发表的论文的数量 资源唯一性 系统所提供的资源为其独家所有的数量与其提供的所有资源数量之比 论文首发率 系统所提供的论文中，首次发表的论文所占的比重 平台技术性 网站平均显示时间 网站所有被访问的网页平均打开时间 安全性 系统安全和用户信息安全两方面 稳定性 指网页是否能够顺利打开、是否容易掉线等情况 互动性 指网站是否设有让用户与用户、用户与作者等交流的平台 用户界面友好程度 指用户操作简单易学，且能充分发挥系统功能 网站布局合理性 指网站结构设计、模块分布等是否美观清晰 导航功能的有效性 指网站内容框架是否清晰明了、分类是否明确合理 检索功能有效性 指是否支持分类查找、模糊查找和多条件联合查询等高级搜索 资源可获得性 指网站提供的资源能否顺利打开或下载 用户认知度 外部链接数 系统网站被其他网站链接的次数 外部网络影响因子 系统网站的外部链接数除以该网站的总网页数 IP访问量 在一定统计周期内特定唯一IP地址的计算机访问系统网站的次数 页面浏览量 在一定统计周期内所有访问者浏览的页面数量 人均页面浏览量 在一定统计周期内OA系统网站全部页面浏览数与所有访问者之比 Web即年下载率 在OA学术交流系统全文数据库中当年发表并被全文下载的次数与当年发表的论文总数之比 网络流量 系统网站在网络上传输的数据量 2 指标权重的确定 90 2.1 指标权重确定的方法 目前，确定权重的方法有很多，如专家评分法、层次分析法、熵权法、秩和比法等，均在各领域得到了广泛的应用[10]。本文采用层次分析法来确定指标权重。 (1)参照saaty1-9级标度方法让30位专家和120位研究人员对各指标与其同类指标相比重要性程度进行打分。分值最低为“1”，最高为“9”。分值越高，表示该指标的重要性程度越95 高。 学术论文网Tag：代写硕士论文 代写论文 代写代发论文 代发论文 |
