高校科研成果定量评价的难点与方法创新由刀豆文库小编整理,希望给你工作、学习、生活带来方便,猜你可能喜欢“高校创新评价方法”。
作者简介:王永红(1963——),女,甘肃张掖人,重庆城市管理职业学院副教授,研究方向:教育管理学。联系电话:***
高校科研成果定量评价的难点与方法创新
王永红
(重庆城市管理职业学院 重庆 401331)
摘要:高校科研活动的特殊性决定了科研成果的形式多样性,这些成果已经和定量评价结合起来,成为科研评价的一个重要内容,但目前高校科研成果计量评价中还存在着许多难点,如学科之间的定量评价、科研成果之间的权重取值、科研成果计量评价体系的构建,针对这些问题,进行方法上的创新成为关键,如运用文献计量对学科间的科研成果进行评价、构建科研计量评价模型等。通过方法上的创新为构建高校科研成果定量评价体系提供借鉴。
关键词:高校
科研成果
定量评价
随着网络计量学、情报计量学、文献计量学等学科的日益发展以及文献数据库建设的不断完善,对高校科研成果进行科学、有效地评价已经成为可能,尤其对成果的定量评价提供了条件。高校采取定量方式对科研成果进行科学评价成为高校科研量化管理的主要内容,但是定量评价存在着许多难点,针对这些难点进行方法上的创新有助于构建科学的科研成果定量评价体系。
一、高校科研成果的形式与定量评价 高校科研成果的主要表现形式为著作、论文、科研项目、专利等。这些成果发表后的“数”与“量”成为衡量一所高校科学研究能力的一项重要指标。因此,高校科研管理中不断更新评价手段,不但要对科研成果的“质”进行定性评价,而且也要对科研成果的“量”进行定量评价,这里所说的“量”即是指科研成果的产出力,所说的“质”即是科研成果的影响力。高校目前对科研成果的评价都是从这个方面入手进行。对科研成果定量评价不是简直地将科研成果累计作加法运算,它应该根据成果的主要形式确定定量的标准与方法,然后再进行评价,主要表现在以下几个方面
(一)著作定量评价:高校科研成果的著作主要可分为学术专著、基础理论著作、技术著作和教材类或工具书等,其署名分别有著、编著、编等形式。这些成果的级别是按从高至低的顺序排列,如学术专著是作者在某一学科领域的最新研究成果,基础理论著作则是将某学科的新理论汇集整理成系统的基础理论,其署名分别为著和编著,虽然教材及其工具书有较大的实用价值,但不代表其科研成果的尖端水平,所以只能以编的形式出现。很显然,学术专著比基础理论的含金量要多,著比编著的级别要高,著是作者在某个领域学术水平的最高体现,编则强调其发行量,所以应该给予著以较高的权重。在同一本著作中,根据其署名进行评价,同时也根据获奖的情况给予适当的权重加值。
(二)论文定量评价。公开发表的论文是科研成果的主要表现形式,目前,对于论文的定量评价较为成熟,除了以国际或国内优秀的同行专家参加定性评价外,还有相对较为完备的论文定量评价标准,国内对论文成果的定量评价主要参考SCI、EI、ISTP、A&HCI、CSCD、SSCI、CSSCI、《中国人文社会科学核心期刊要览》、《全国中文核心期刊总览》、《中文社会科学引文索引》等作为论文、研究报告等成果的定量评价标准。在这个基础上,论文定量评价根据期刊的影响因子及其论文成果的引用次数给予权重。而对于论文的权重的定量数据主要是参考中国科学引文数据库出版的《中国科技期刊引证报告》和美国科学信息研究所出版的《期刊引证报告》(JCR),这些基本上可以涵盖高校论文形式的科研成果的定量评价情况。
(三)科研项目定量评价:科研项目的定量评价目前已经形成了约定俗成的标准,一般是按照项目的管理者级别或经费数额来定量的。第一种情况,是按照项目管理者的级别可以分为国家级、省级、市厅级、校级等。国家级项目的管理者一般是国家的职能部门,如全国哲学社会科学规划办公室、全国自然科学基金委员会、教育部、国家古籍委员会等,他们管理的项目有国家社科基金项目、国家自然科学基金项目、教育部重大教学研究项目、教育部社会科学研究重大课题攻关项目、国家古委会项目等。省级、市级项目主要由省、市教育厅(局)、科技厅(局)、管理的项目,如省教育厅教学改革研究项目、省教育科学规划项目、市州科技计划项目及其它市厅局级项目等。以此为基础,在完成情况项目及其获得奖励级再加权处理。
(四)专利及其他成果的定量评价。对于专利可以分为发明、实用新型和外观设计三种,其中发明专利是技术含量较高的一种,它是指对产品、方法或者改进所提出的新的技术方案,而它的申请量和授权量标志着一个地区技术发明的能力和水平。仅仅依靠专利的种类无法对整个专利分区定量评价,目前,国家主要采取国际专利和国家专利大体区分专利的级别,并给予一定的权重,专利的标准不同于期刊,实际上不能严格区分专利间的差别,这是目前专利成果定量评价的现状。对于其他形式的科研成果定量评价,几乎是以奖励的方式进行加权,因为科研形成成果的标志即是公开发表,无论什么形式的发表途径,如刊载期刊,出版专著、提交会议报告或会议论文等,最终是要社会公认的,所以其他成果基本包含于以上科研成果之中,需要补充地是有些成果是通过评选奖励、开发利用等形式表现出来的。对于这些成果一般都有最为基本的定量标准。
二、高校科研成果计量评价的难点
高校科研活动的特点决定的科研成果的形式与定量评价的现状,随着高校教育的改革与发展,高校科研被提上日程。如何细化科研成果定量评价成为高校科研量化管理工作的重中之重,首先要理清科研成果量化评价的难点,其主要表现在以下几个方面。
(一)学科之间的定量评价。“高校科研量化评价研究最大的技术难点是不同学科之间的相互比较,不解决这个技术难点,量化评价就没有科学性。”[1]以相同计量方法去评价不同学科科研成果的水平显然是不科学的。目前所用的定量评
价标准不但将自然科学、社会科学各自内部小学科之间揉杂在一起,而且也将两大学科也混合在一起。尤其是自然学科和社会科学是科学研究的两大分支之间由于存在着各自的学科体系和特殊性,以计量的方法将两者比较,违背了社会科学与自然科学不可直接的对比性原则。如目前高校所采用的国外四大检索系统(SCI、EI、ISTP、ISR)在计量评价研究存在厚理薄文现象,国际上这些检索工具大都偏重自然科学,且由于文化形态与中国的不同,对国内社会科学方面论文收录甚少,如果这样评价,则无法均衡自然科学与社会科学科研成果评价。显然造成高校之间由于文理偏重引发的科研定量评价的不公正性,从而对学科的发展产生不利的影响,自然或社会科学内部的小学科之间虽然有同行评议的定性评价作为定量评价的补充,但是对于定量评价也没有统一的标准,不能体现学科之间的差异性。
(二)科研成果之间的权重取值。从目前的现状来看,科研成果的定量评价似乎走上了正规的道路,而且由于计量学科的发展,这种评价的科学性更加令人信服。如科研论文成果评价指标已经发展到国外和四大检索系统和中国的CSCD论文和引文,对于其他的成果,如专著、科研项目和专利等,也有相应的评价指标,如专著、编著、实用新型专利、外观专利、国家级奖励、省级奖励等多个指标,计量评价指标变得愈来愈多完备了。但是在量化的细节上尚不成熟,如对学术论文、著作、科研项目、专利等不同形式的科研成果,或者对同一形式的不同级别的科研成果的权重取值是不统一的。对不同形式的科研成果,权重取值有所差别是可以的,但却没有统一的标准,对同一形式的不同级别的科研成果虽然有相应的标准,但实践操作中却没有形成统一的量化标准,从而导致了评价过程的混乱和评价结果的不统一。如何统一科研成果之间的权重取值成为高校科研成果计量评价的又一难点。
(三)科研成果计量评价体系的构建
科研成果评价体系的构建是一个系统的工程,它包括量化主体、量化标准、量化方式的选择及其量化指标的选择与处理等内容。实际上目前对科研成果计量评价尚无完备的评价体系。这主要表现以下几个方面,第一,计量评价的主体缺乏权威性。科研管理者将计量的过程行政化,他们成为计量评价标准与方法的制定者,同时又是执行者,这些人员将学科专家剥夺了学科专家为计量提供参考的主体地位,造成科研计量主体权威性弱化。不能正确地反映科研成果计量的科学性与公正性。第二,计量评价的标准、方式及其指标的选择上参差不齐。虽然在计量评价科研成果的标准、方式及其指标的选择上有很多尝试,如借有国内国际的科研成果的检索系统、科研项目的行政级别等、并且以科研成果的数量、价值等加权取值,但是在许多细节问题上还不能统一标准,难以构建完备的科研成果计量评价体系,如在选择科研计量评价的指标上,只重视研究成果,忽略了其它方面(如科研环境、课题经费等)对科研成果产出的影响的指标;在论著文献计量中,只重视价值论文,而忽视专著及其学术会议的成果影响; 论著被引次数计量中,存在着过分自引,或恶性自引的现象,却无法在计量评价中妥善处理。
这些方面,尤其是计量主体、计量论著的数量、被引次数及其学术期刊的影响因子等细节严重影响着计量评价体系的构建,成为高校科研成果计量评价的一个难点。
三、高校科研成果计量评价的方法创新
(一)运用文献计量对学科间的科研成果进行评价。学科评价方法有定性方法、定量方法、定性与定量方法相结合三类,对于本文所探讨的定量方法,可运用文献计量来进行学科之间科研成果的评价。文献计量方法用于学科之间的评价可以弥补定性评价在内容上的局限,并为学科领域组织性、结构性提供较强的描述数据 虽然文献计量方法对于社会科学与自然科学之间以及跨学科评价并不合适,但可以适当调整量化指标来补充评价的缺陷。因此,设计制定计量指标对于合理使用文献计量进行学科评价显得十分必要。目前,高校科研评价中主要是针对项目、机构的评价。国家科研管理部门也应该制定规章制度,规范多头评价,制定各类学科评价的参照模版,高校科研管理部门在制定量化指标时,根据国家相关规章制度,为评价者提供可靠的学科差异及学科评价的相关信息,提高学科评价的规范性、可信性和可用性。
目前,国内学科评价还处于起步阶段,而以文献计量方法对学科之间科研成果进行评价是学科评价发展的重要阶段,在要方法上创新,解决这个难点,首先要以(CSCD)、(CSSCI)等大型综合引文数据库和《中国数学文摘》、《中国物理文摘》等专业数据库为主,建立数据来源基础。其次,制定合理的计量评价指标,如可以参考学科评价中代表性文献计量指标,制定本学科的计量评价指标。如已有用于学科评价的较为成熟的CWTS,它“旨在通过文献科学做的基于映射的文献计量研究。这些指标已经深入研究学科的子学科和子领域。”[2]此外还有,比利时的MEC(比利时政府用文献计量方法评估比利时微电子中心),这套指标是指向机构,同时也是指向微电子学科,主要特色是内容分析、聚类分析等高级文献计量指标;美国ISI公司推出科学计量指标数据库(ESI),“它分22个学科领域对国家、机构、期刊、科学家、论文进行了文献统计分析和排序。”[2]ESI的学科评价的计量指标主要衡量学科内科学产出的数量与质量。我们可以将这些指标综合起来参照,寻找适合自身学科计量的标准。
(二)构建科研计量评价模型、解决科研成果计量评价的加权取值难的问题。对个体科研业绩计量评价是高校科研评价的重要内容。可借鉴国内外科研评价的经验,对科研成果的计量评价中,可以采用当量折算法,将个体的科研成果计算出来,使高校内部的计量评价标准统一起来,各个高校可根据自身的特点制定适合自己科研管理的评价模型,不能照搬其他科研机构或高校的评价模型。因为不同形式的科研成果之间或者同一形式的不同级别的科研成果之间的加权是不同的。造成计量过程的混乱,这种模型通过对个体科研成果的计量评价,反映个体科研业绩。如构建以下的计量评价模型,计算公式:H=ΣMi·α+ΣJi+Σmi·Li·β。在这个计算公式中,H代表某教师的科研成果计量评估的总分;Mi代表某教师的标准科研经费;α代表科研经费折算系数;Ji代
表某教师科研成果奖励形式的评估分;mi、Li代表某教师发表的论文数和相应的论文级别系数;β代表论文业绩折算系数;
这个模型只是制定计量评价教师科研业绩的参考,尤其是在制定折算系数时,一要根据高校内部的实际情况。具体而言,要注意三点,一是科研经费有纵向与横向之分,企业与事业单位委托之别,因此,可运用虚拟的标准科研经费,将各类项目的科研经费用当量因子将其统一起来,然而用折算系数将其统一成换算成科研成果评估分;二是教师科研成果奖励业绩评估中,可根据高校教学型的特点,适当鼓励教师进行科研,因此,要模型中体现出来,如对市省部级以上奖励或被SCI、SSCI、EI等收录的论文的奖励进行分区,适当拉大区间的比值;三是教师发表论文的计量评估中,将期刊分为级别与大类,如普通、核心、权威,并按一定的比例确定关系,如按1:5:10的关系,以折算系数换算成分值;
(三)构建高校科研成果计量评价体系的具体方法 针对构建高校科研成果计量评价体系中的难点,应该从以下方面入手。首先,科研成果计量评价还处于初级阶段,无论采取单指标还是多指标评价,难免会出现许多问题,不同的评价主体很可能对相同的成果进行计量评价则会得出不同的结果,要构建完善的计量评价体系。必须要补充同行评议,不能将科研成果量化评价的过程行政化,发挥学科专业技术人员的力量,补充计量评价中因评价主体的差异导致评价结果的不一致。其次,不断完善计量评价的理论方法,改进计量评价的方法与手段,规范计量评价过程。尤其是学习文献计量学、科学计量学、情报计量学、网络计量学等新兴的情报研究分支学科,这些学科直接从国外引进现成的模式,还需要我们根据高校自身实际情况,丰富理论,完善方法,制定计量评价的原则与标准,各个高校也应该尝试建立与国外图书馆之间的资源共机制,以最快的最全面的文献信息服务功能,在短期内掌握基本的计量评价方法,构建合理的计量评价体系。最后,计量评价指标的选择及其权重分配,是构建高校科研成果计量评价体系的关键,选择指标应该遵循科学性、系统性、公正性原则,注重整体化和多因素分析,并考虑科研的数量和质量。权重的分配是体现各高校办学的目标,并与办学特色相结合。如地方性应用型学校,权重的分配应该适当向服务于地方社会经济发展的专业倾斜。在此基础上,以成立科研成果评价督导组的非行政化组织对学术委员会及其整个评价过程进行监督,及时改进,优化科研成果计量评价体系,促进高校科研能力和水平的进一步提高。
四、结语
高校科研成果计量评价是科研量化管理的一个重要内容,他关系到高校科研工作的顺利开展,以计量学方法对科研成果进行评价仍然处于初级阶段,存在着许多难点,尤其是学科之间的定量评价和科研成果之间的权重取值问题,针对这些问题,可以运用文献计量对学科间的科研成果进行评价、构建科研计量评价模型、构建高校科研成果计量评价体系等方法。但这样的难题,不是几种方法就可以解决的,这需要对科研管理机构,运行机制及其社会、高校等环境及其先进的理论与方法等进行全面的考察与研究。但是方法上的创新给我们解决问题提供了
思路,进一步推进了构建科学的科研成果计量评价体系的步伐。
参考文献:
[1] 史兴伟.利用文献计量学指标对高校科研量化评价研究[J].情报科学,2005(11):1645.
[2]董琳,刘清.国外学科评价及其文献计量评价指标[J].研究情报理论与实践,2008(1):40.