科技评价中效用函数合成方法的比较研究1

科技评价中效用函数合成方法的比较研究1俞立平潘云涛武夷山摘要：本文以科技期刊评价为例，采用专家打分法确定权重，重点分析加法合成、乘法合成、对数合成、代换合成方法的特点及适用范围。首先比较不同合成方法结果的相关性及排序情况，然后利用离散系数、极差比率、高端区分度、低端区分度、高低端汇总比率指标比较各种合成方法的区分度、对较优期刊及较差期刊打分的强化情况，昀后分析不同乘法合成方法与科技期刊协调发展程度的关系。认为不同合成方法排序结果不尽相同，应根据需要选择不同的合成方法，各种合成方法综合运用是较好的解决问题的方法。摘要：评价科技期刊效用函数合成方法1引言科技评价包括科技项目评价、科研机构评价、科技期刊评价、科技人员评价等诸多方面。科技评价是科技管理工作的重要组成部分，国家对科技评价工作十分重视，科技部联合五部委，以国科发基字[2003]142号文的名义发布了《关于改进科学技术评价工作的决定》，认为“要优化评价程序，改进评价方法，注重评价实效”。目前国内外多指标综合评价方法有数十种之多（当然这些方法并不仅仅应用于科技评价），这些评价方法各有特点，根据权重确定方式结合评价原理，本文将其分为两大类（如图1所示）：第一类是效用函数合成类评价，一般采取主观或客观评价法确定权重，然后对无量纲的数据进行加权汇总，如专家会议法、德尔菲法、熵权法等等；第二类是系统评价方法，其特点是综合运用运筹学、模糊数学、多元统计、系统工程等领域的方法进行评价，评价结果不是根据标准化指标值进行加权汇总，而是采取各种不同的算法，评价中可能用到权重，也可能不用权重。如ELECTRE法、模糊综合评价法、突变理论、数据包络分析等等。总体上，效用函数综合评价方法仍然是现实生活中用得较多的评价方法。图1评价方法分类体系关于效用函数的合成方法，统计学上有加法合成、乘法合成、代换合成等等。美国密特公司在美国环境质量委员会委托下研究密特大气质量指数（MAQI），它以五项污染物为参数，采用简单平方平均合成公式。邱东（1991）[1]从方法论上分析无量纲法与合成方法的特点，并比较了效用函数综合评价与其他系统评价方法的关系，认为乘法合成的区分度要大于加法合成。苏为华（2002）[2]系统研究了幂函数合成中不同幂次情况下评价结果的平均值的变化以及补偿关系，认为幂次在-1～3之间比较合适，幂次越低，越是惩罚落后指标，幂次越高，越是奖励先进指标。张田玉（1987）[3]在学校教育评价中结合加法合成与乘法合成的1国家十一五支撑计划项目（2006BAH03B05）；国家自然科学基金资助（70673019）作者简介：俞立平（1967-）男，江苏泰州人，博士，中国科学技术信息研究所博士后，扬州职业大学教授，主要从事信息经济、科学计量领域的教学科研工作。Email:[e-mail]评价方法主观赋权客观赋权系统评价方法效用函数合成主客观赋权不赋权评价得分评价排序评价得分特点，进行综合评价。田赤勇、陈进殿（2006）[4]在对埋地输油管道的评价中用乘法合成对可靠性指标与估价指标进行组合。商红岩、宁宣熙（2005）[5]对第三方物流企业绩效评价时采用了乘法合成。总体上，对各种合成方法的基本特点除了少数理论研究外，缺乏深入分析；从应用看，国内基本上以简单加权合成为主，对于其他形式合成方法的应用极少。本文利用中国科学技术信息研究所的科技期刊原始数据，采用专家打分法确定权重，然后分别用不同合成方法进行合成，对结果进行比较，试图寻找不同合成方法的规律及适用范围，在此基础上进行进一步讨论。2研究方法2.1常见的几种效用函数合成方法1.加法类合成的几种函数形式加法类合成的函数形式可以写成如下形式：11nkkiiiIx(1)公式(1)中，ω1、ω2……ωn表示权重，为了研究方便，假设权重已经进行了标准化处理（下同），ω1+ω2+……+ωn=1。x1、x2……xn表示标准化处理后的指标值，K表示幂次，取值一般为正整数或负整数。I为指标总得分。当k=1时，公式(1)变为加权算术平均合成模型（简称加法合成）：1122nnIxxx(2)当k=-1时，公式(1)变为加权调和平均合成模型（简称调和平均）：12121111nnIxxx(3)当k=2时，公式(1)变为加权平方平均合成模型（简称平方平均）。2221122nnIxxx(4)理论上，k可以取值为任意正整数和负整数，甚至小数，但考虑到人们的思维习惯和实际评价中的需要，一般以上三种函数形式就足以满足评价需要了。2.乘法合成模型所谓乘法合成，其一般形式为：1212......nnIxxx(5)乘法合成比较注重指标全面发展，如果一个指标偏低，即使其他指标再高，总体评分值也不会太高。3.对数合成将公式(5)取对数，变为：1122log()log()log()log()nnIxxx(6)对数合成是乘法合成的基础上进行的转换，权重系数ωi是弹性系数，表示当指标xi提高1%将会导致总指标值提高ωi%，非常易于理解和运用。对数缩小了指标数据的大小，在一定程度上可以缩小异常值的影响。对数合成兼有乘法合成与加法合成的一些特点，但是在评价中极少遇到，在经济计量学中有很广泛的用途。很显然，对数合成和乘法合成的排序是完全一致的。4.代换合成代换合成和乘法合成非常像，常见的代换合成一般形式（简称高端代换）为：1212()()()nnIUUxUxUx(7)公式(7)中，U为单项指标的理论昀高值（通常为100）。代换合成实际上是将指标进行简单处理后再进行乘法合成，很显然，只要任何一项指标达到昀高值，评价总指标就为满分，因此，代换合成是一种“一美遮百丑”的合成方法，少数指标优异会大大弥补其他指标的不足。在现实科技评价中，这种情况极为罕见。另外一种代换合成方法称为低端代换，其函数形式为：121122()()()nnnIxLxLxL(8)公式(8)中，L1、L2……Ln是各指标允许的取值下限。很显然，一旦某项指标达到昀低下限，总指标值为0，因此，低端代换合成是一种“一丑遮百美”的合成方法，类似于一票否决制，在实践中有一定的意义，比如环境评价中，一旦某个指标超标，则总体环境质量很差。由于每个指标的昀低容许值不确定，本文设定L1,L2…Ln为每个指标的极小值进行处理。5.几种合成方法的总结本质上，调和平均、加法合成、平方平均都属于加法类合成，代换合成也是乘法合成，对数合成兼顾了乘法合成与加法合成的特点。加法合成通常被认为是指标间可以互相取长补短的一种合成方法，如果一个指标偏低，只要其他指标值较高，可以弥补单个指标偏低的差距。乘法合成通常被认为是要求各指标全面发展的一种合成方法，因为一个指标偏低，它和其他指标相乘后必然导致总指标值变小，当然，一个指标偏高，也会带动总指标值提高。它们的具体特性需要做进一步的研究。2.2几种合成方法的比较指标1.评价结果的相关系数采用的不同的合成方法，有可能导致排序结果不一致，为此，我们采用各种合成方法评价结果的两两相关系数进行比较。2.离散系数与极差比率离散系数是标准差与平均值的比值，借以反映不同合成方法的离散程度，离散程度越大，某种程度上说明评价结果数据的区分度较大，也就是说，由于评价对象比较接近而导致误判的可能性越小。在评价实践中，当评价指标和评价对象较多时，数据间距往往较小，导致评价结果之间的间距也很小，尤其是相邻的评价对象，其优势和弱势都不明显，而不同合成方法处理时这种间距是不同的，间距越大，说明区分度越好。极差比率是昀大值与昀小值的差除以极大值，反映了评价结果的相对取值范围，因此也是区分度的一个指标。3.高低端区分度分为高端区分度与低端区分度两个指标，用来进一步评价较好期刊和较差期刊的区分度。所谓高端区分度，指某种合成方法得分降序排列后昀高20%评价对象的极差与总极差的比值，低端区分度是后20%评价对象的极差与总极差的比值，借以反映合成方法对较好评价对象的区分度以及较差评价对象的区分度。之所以用20%的评价对象，因为一般评价对象的分布呈正态分布，较好期刊与较差期刊都是少数，具体在计算时可根据评价对象的多少和数据分布情况进行适当调整。4.高低端汇总比率由于不同合成方法的函数特点不一样，有些合成方法可能对较好的期刊打分较高，属于鼓励先进型；而有些合成方法可能对较差的期刊打分较高，属于鼓励落后型。例如在评价对象总体水平偏高时可能不需要鼓励先进，要鼓励落后。为了对这种情况进行综合衡量，本文采用高低端汇总比率指标。本文采用前20%期刊的评分之和与所有期刊评分总和的比值来衡量对较好期刊的强化（弱化）程度，采用后20%期刊的评分之和与所有期刊评分总和的比值来衡量对较差期刊的强化（弱化）程度。二者之比称为高低端汇总比率，用来衡量总体强化（弱化）效果。2.3指标的协调性与合成方法的关系一种科技期刊，如果其各项指标都能全面协调发展，固然较好。如果少数指标比较突出，可能也不见得是一件坏事。如果少数指标偏低，在某些情况下可能是不可以的。加法合成类方法认为指标间可以无限替代，较好指标的优势可以弥补较差指标的不足。乘法合成类方法强调指标协调发展，因为某项指标偏低会导致总体指标值降低。为了对乘法合成的这种特性进行检验，并比较不同乘法合成方式对指标协调性的强化程度，本文用某种期刊各指标的离散系数来衡量该期刊的协调性，离散系数越大，说明期刊各指标越不均衡。然后利用离散系数与乘法类的合成方法进行回归，分析各种不同类型的乘法合成方法对科技期刊协调发展的反映程度。3数据本文数据来自于中国科学技术信息研究所CSTPC数据库，本文以医学类期刊为例进行分析。中国科学技术信息研究所从1987年开始对中国科技人员在国内外发表论文数量和被引情况进行统计分析，并利用统计数据建立了中国科技论文与引文数据库，同时出版《中国科技期刊引证报告》，本文数据是2006年的医学类数据，共136个医学期刊和大学医院学报，选取的指标有总被引频次、被引半衰期、影响因子、即年指标、基金论文比5个指标。由于在科技期刊评价中指标选取和权重赋值存在一些争议，而本文重点研究科技期刊评价中的效用函数合成方法问题，因此指标选取暂且采用以上5个指标，采用专家打分法确定权重。原始数据必需进行标准化处理，本文设定每项指标昀大值为100，其他数据分别与昀大值相除后得到各自标准化后的结果。4、实证结果4.1指标权重的确定本文重点是研究效用函数的合成方式，因此必须通过某种方法确定各指标的初始权重以便于深入研究，本文采取专家打分法，得到各指标的权重，依次为：总被引频次（0.18）、被引半衰期（0.17）、影响因子（0.23）、即年指标（0.18）、基金论文比（.24）。4.2不同合成方法的相关性及排序将7种合成方法的结果计算出来后，计算它们之间的两两相关系数，结果如表1所示。总体上，各种合成方法之间的相关度较高，说明都能反映评价对象质量的差异，高端代换与调和平均的相关度昀低，仅为0.679，高端代换与乘法合成相关系数为0.784，也不算高，这和理论分析是一致的。平方平均与调和平均虽然同属加法合成，但相关系数也不高，仅为0.709。表1不同合成方法结果的相关系数调和加法平方乘法对数高端代换低端代换调和1.0000.8620.7090.9720.9180.6790.966加法0.8621.0000.9530.9490.9310.9030.947平方0.7090.9531.0000.8230.8110.9450.836乘法0.9720.9490.8231.0000.9640.7840.992对数0.9180.9310.8110.9641.0000.7590.961高端代换0.6790.9030.9450.7840.7591.0000.791低端代换0.9660.9470.8360.9920.9610.7911.000除了理论上乘法合成与对数合成排序一致