纷至沓来的大学排名值得申请人参考吗?
伴随着新学年的开始,近期各种大学排名纷至沓来,让人应接不暇。
8月15日,上海交通大学世界一流大学研究中心发布2015年“世界大学学术排名”(Academic Ranking of World Universities,简称ARWU),9月14日QS (Quacquarelli Symonds)世界大学2015—2016年排行榜出炉,10月1日《泰晤士高等教育 》(Times Higher Education)公布最新大学排名,紧随其后,10月7日US News世界大学排名也正式公布。
然而大学排名纷繁复杂,有的学校在A排名中表现突出,却在B排名中黯然失色,或者,一个在欧美公认的“牛校”在排行榜上名落孙山,成为调侃对象。
这些“乱象”,往往会让申请者疑惑这些个大学排名到底靠谱吗?藉此,本期我们探访了几家颇具影响力的大学排名机构,力图解读大学排行榜中的玄机。
高校教育排名的“万花筒”
“不要完全依赖于一个排名,因为每个排名有自己的侧重,不可能展示出一所大学的全景。”
高等教育作为现代社会的一个重要制度和公共机构,其本身是一个复杂、多面的现象,而“高等教育排名”则能让这一复杂现象简单化,以更好地呈现在大众面前。
据了解,高等教育排名的实践起源于1900年,但一直没有受到社会的普遍关注,直到1983年US News排名的出现和广泛传播,高等教育排名才走入公众视野。
1990年代,伴随着各式各样排名的出现,高等教育排名呈现出多样化的特征,也因此越来越多引发讨论和质疑。
致力于将复杂的高等教育简单化的高等教育排名现在更像一个万花筒,因其侧重点与评判标准的不同,呈现千变万化的图案。
例如《卫报》大学排名是专注于英国高校的学科排名,它以与众不同著称,一些被学术界和公众都认为是顶尖名校的英国高校在《卫报》排名中往往表现不佳。
对此,《卫报》排名的负责人马特·赫里-雷纳(Matt Hiely-Rayner)对《英国教育周刊》介绍称,其排名之所以与人们的“常识”唱反调,在于它的目的不是对大学在某个领域的表现进行“客观”的评分,而在于展示本科生的主观体验。
“我们的排名是以学生体验为中心,但我们并不否认其他方面比如论文发表与引用、博士生比例等对于大学的重要性,只是我们的侧重点放在本科生身上,”马特解释道。
面对“《卫报》排名具有误导性”的批评,马特回应称:“我们的目的只是让未来的本科生在选择学校时更多了解实际的体验,而不是一味追随所谓的名校。”
相比之下,REF(Research Excellence Framework)排名则集中于评估英国大学的研究水平。
英格兰高等教育基金委员会(HEFCE)的资深政策顾问维琪·琼斯(Vicky Jones)在接受《英国教育周刊》采访时表示,这套机制是用来衡量研究质量。
而且REF是一个专家评议系统,最终不会提供排名,准确的说它并非一个排名系统。
根据维琪的介绍,REF的结果“为四个基金委员会分配大学资助金额提供决策依据”,同时“向公共研究资金提供可信度信息,并展示投资的效益,以及设立可信的衡量高校研究水平的标准,提供有价值的比较信息”。
与前面两个系统不同,刚刚发布2015-2016年世界大学排行榜的《泰晤士高等教育》(THE)对来自70个国家的800所高校进行了排名。
《泰晤士高等教育》世界大学排名没有侧重于大学的某一个方面,而是覆盖了四个方面:教学、研究、知识传播和国际化程度,基于这四个指标之上,THE会给每个大学或者一个大学的研究领域一个综合评分。
这体现的是《泰晤士高等教育》对于高等教育使命的理解,这四个方面被认为是“一所现代研究型大学的核心使命”,THE编辑艾丽·博斯威尔(Ellie Bothwell)在接受《英国教育周刊》采访时表示, “我们是众多大学排名中唯一覆盖了大学所有核心使命的排名系统。”
面对万花筒般的各色排名,上海交通大学高等教育研究院院长、上海交通大学世界大学学术排名研究团队的主要负责人刘念才教授在接受采访时评价称,大学是一个极为复杂的系统,任何一个排名不论指标有多少,都只能评价大学在某些方面的表现。
马特也建议学生,不要完全依赖于一个排名,因为每个排名有自己的侧重,不可能展示出一所大学的全景。
截然不同的研究方法
“没有任何排名能做到绝对客观、完全科学。关键是能否做到方法透明、结果可以检验。”
不同的侧重点决定了这《卫报》、REF以及THE三个系统的研究方法大相径庭。
据马特介绍,《卫报》排名论集中于学科层次,但也在所有学科取平均分的基础上提供学校层次的排名。这个系统中共有八个指标:
最后一年的本科生对教学情况(10%)和教师评价与反馈的满意度(10%),最后一年本科生的整体满意度(5%),课程附加值(即入学新生以及毕业生的学业表现比较)(15%),教职员与学生之间的比例(15%),校方为每名学生所支付的费用总额(15%),本科入学分数(15%)。
其中,马特在采访中说“学生满意度”、“课程附加值”与“本科入学分数”是《卫报》排名的特色所在。
马特介绍称,前三个学生满意度的指标是按照全国学生普查对即将毕业的本科生所作的调查的结果计分的。
为了计算课程附加值,《卫报》排名使用了一个复杂的索引方法,以此来跟踪学生从入学到毕业,学生毕业使取得的成绩将与其入学时的水平作比较。
这样,如果一所学校的院系倾向于以低标准录取学生,但取得一等或者二等上荣誉的学生数量超过预期的话,那么,学校这个课程的附加值得分就会较高。
马特同时也承认,大学在录取本科生时可能会参考A-Level成绩以外的因素,但其他因素很难标准化,因此,《卫报》排名只以学生的A-Level成绩为基准。
REF的研究方法被认为则是诸多排名中最复杂的。
它涉及所有的研究领域,细分到36个学科。每个学科被称为评估单位。
学校可以选择评估单位提交研究材料,其中包括一系列标准化的证明材料,例如每名受评教师最多可提交四份研究成果,案例研究的影响以及为达到影响目的制定的策略细节,包括研究策略、学生、收入、设备和协作方面的信息和数据。
随后每个评估单位将有一个专家小组对提交报告做出评估和打分。
其中包括三个要素:研究产出(65%),研究在学术领域外的影响(20%),研究环境(15%)。
例如,REF收到了1911份提交报告,其中包括191150份研究成果和6975份案例分析,所有这些文件都需要被1157名评估小组成员中至少一名审阅。
受评提交报告最终被归入四个等级:4*为世界顶级,3*为国际卓越,2*为国际认可,1*为国家认可,U 为无法列入等。
《泰晤士高等教育》世界大学排名方法论中的指标众多,但方法论本身并不复杂。
尽管其评估领域涉及被认为是现代高等教育的所有核心使命,但从指标的比重上来看,THE还是更加重视教学、学术研究和论文引用。
具体而言,经济活动与创新(即科研收入)占2.5%,国际化程度占7.5%(其中教员与学生国际化程度学生国际化程度各占2.5%,发表论文中至少有一个国际合作者的论文2.5%);教学与学生占30%(其中同行评价15%,教师/学生比4.5%,博士/本科生比2.25%,授予博士学位的学生/教师比6%,年度研究经费/教师比2.25%),研究指标30%(研究的国际声望18%,年度研究收入/人员比6%,研究环境即科研产/人员比6%),论文引用占30%。
据了解,在三个系统中,指标和其权重的选择都由专门的委员会讨论决定,然而各个指标权重的选择却难以避免地存在着随意性和不确定性,正如马特所言,“应该赋予一个指标具体多大的权重没有一个最终的答案”。
而刘念才教授也表示,“就像其它各种评价一样,大学排名的指标体系及其赋权总是存在争议的,没有任何排名能做到绝对客观、完全科学。关键是能否做到方法透明、结果可以检验”。
科研与教学的权重之争
“顶尖名校在两个指标上的分数都很高,他们不仅取得了优秀的科研表现,也提供了一流的教育。”
科研与教学是现代高等教育的两大使命,但两者之间通常被指存在所谓“斥力”。
目前除了《卫报》排名, REF是专门针对高校研究水平的专家评级系统,并以此为高等教育基金委员会提供分配资金的决策基础,THE排名中研究和研究影响两项指标占据了60%的权重。
同样,研究表现在其他大学排名如QS和US News中也占有重要分量。可见目前众多排名都倾向于鼓励高校对研究而非教学投入更多资源。
对此现象,THE的艾丽认为,给予研究更多权重是合理的。
“我们身处于知识经济的时代,人们面临着诸多如气候变化和食品安全的全球性挑战,而科研是我们寻求解决之道的不二途径。”但她认为大学也完全可以在两者间取得平衡,“顶尖名校在两个指标上的分数都很高,它们不仅取得了优秀的科研表现,也提供了一流的教育。”
然而尽管“研究”颇受重视,但大学排名如何对科研表现进行评估却没有一个确定的答案,关于它的争议也从未停息。
在REF排名评估过程中,每名由大学选出参与评估的教师可以提交最多四份任何形式的研究成果,这包括期刊论文、专题论文和书本中的段落等,也涵盖通过设计、表演和展览等方式传播的成果。
据琼斯教授对我们介绍,“专家小组对不同类型的研究成果均一视同仁,并不会认为某种类型的研究会优于其他类型的研究。”
同样,专家小组的评估不会把刊发期刊的权威性作为考虑因素。以国际关系领域为例,一篇论文发表在业内著名的《国际组织》还是其他期刊上并不会对评分产生影响。
值得注意的是,REF及其前身RAE都是4-5年一次,它们仍然面临着“鼓励投机性的短期研究”的批评,因为基础科学、社会科学和人文学科都需要长期的科研投入。
不过,与此前相比,REF2014最大的变化是引入了“研究影响”作为评估指标,其目的之一是奖励那些参与到产业界、公共部门和社会组织运作的大学研究部门,鼓励它们将新想法贯彻为有益结果。
而面对诸如“研究影响侧重于可以被量化的实际影响”的批评,维琪表示,评估的影响是指研究成果在学术之外对于经济、社会、文化、公共政策、健康、环境或者生活质量产生的效果、变化及成效,而不只是可量化的经济影响。
THE对于大学科研表现的评议则更加依赖于外部数据而非专家评议,如科研投入和环境以及论文引用率。
但THE也采用了一个相对主观的指标“同行评议”,这个单项指标占有18%的权重,仅次于论文引用率的30%。
较之REF侧重于对高校表现的评议,THE的“同行评议”更多是对一所高校或者它的学科在学术圈内部声誉的考量,这其中“声誉”可能更多体现的是一所高校在历史上取得认可,而不一定能体现它目前的学术表现。
不仅如此,这个指标的衡量依赖于统计数据的搜集,当一所高校的排名因为其在“同行评议”上得分的提高而上升,这并不能说明它取得了更显著的学术成就,而也许只是因为其所在地区有更多学者参与了评议。
对此艾丽回应称,“THE在实施全球调查时一直努力保证学科与地区的代表性,今年有更多非欧美地区的学者被邀请参与了同行声誉评议,这也反映高等教育日益国际化的进程”。
学科之间的“傲慢与偏见”
“人文社科的特性决定了它们没有一个世界公认的标准来规范研究实践和评判研究成果。”
在各种排名中,读者也很容易发现排在前列的永远都是理工科学校或者综合性大学,而专注于社会科学或者强项不在于理工科的高校在综合排名中往往遭遇“偏见”。
以伦敦政治经济学院(LSE)为例,它在社会科学领域的成就有目共睹,但其综合排名在包括THE、QS和US Mews的各大排名榜中常年跌出前二十甚至更远,而与它相爱相恨一百年的伦敦帝国学院(Impeiral College London)则常年稳居二十强内。
据记者了解,其原因在于理工科发展至今日已经在很大程度上做到了全球标准化,而人文社科的特性决定了它们没有一个世界公认的标准来规范研究实践和评判研究成果,因此高校排名系统在学科上体现的“傲慢与偏见”往往与研究指标相关。
例如在THE排名的科研投入、科研环境(研究产出/员工数量)以及论文引用率三个指标中,理工科的平均值往往高于社会科学和人文学科,因此这个排名系统会使擅长理工科的高校更占优势。
尽管THE也推出了学科排名,但在大学的综合排名中,擅长或者专注于人文社科的学校依然处于相对劣势地位。
THE的团队并非没有意识到这个问题,根据艾丽对《英国教育周刊》的介绍,他们的研究团队在科研投入、科研环境(研究产出/员工数量)以及论文引用率等指标都根据不同学科作了标准化处理,以尽可能平衡学科之间的差异,从而最小化排名对于人文社科的“不公平”。
同样,与THE相爱相杀的QS大学排名今年也对“论文引用”这个指标进行了标准化处理,引入了一个新的数据——标准化总引用值,以此平衡由“论文引用”这个指标给排名带来的学科偏见。
相比之下,REF是基于学科的评议系统,以及它的原则是专家同行评议,因此科研投入、论文发表和引用在学科上的差异并不会对最终排名产生重要影响。
此外,目前《卫报》排名也主要是学科的排名,以及它侧重于本科生对于学科的满意度,而没有显著数据表明理工科学生的满意度整体高于人文社科的学生,因此,在科研指标上的学科差异也不会影响排名结果。
老牌与新兴大学的沉浮录
“名校学生入学前往往期待值较高,而现实不一定会符合他们的高期待,最后学生可能会倾向于不满意。”
在各种大学排名中,除了不同学科,老牌与新兴高校的沉浮也不断上演,一些排名结果比较符合所谓“主流期待”,而另一些则被认为具有“颠覆性”:因为其中常有一些新兴大学常常异军突起,而一些老牌名校却泯然众校矣。《英国教育周刊》调查发现,这究其源头依然是来自排名研究方法的差异。
据了解,《卫报》排名被英国著名猎头公司“TalentPool”的两位联合创始人汤姆·达文波特(Tom Davenport)和安德鲁·拉威尔(Andrew Lavelle)认为是大学排名中的“修正派”,原因就在于它的学科排名往往与公众和学界对于优秀大学的既有认知大相径庭。
例如在2015年经济的学科排名中,萨里大学(Surrey University)排达到第四,而伦敦政治经济学院仅排13;而在物理学上,帝国理工和伦敦大学学院(UCL)两所“G5”学校的排名也出人意料地低于莱斯特大学(Leicester University) 和赫特福德郡大学(University of Hertfordshire) ,这让达文波特和拉威尔在联合撰文中提醒学生不要被《卫报》排名误导。
对此,马特回应称,“《卫报》排名的目的不是对大学在一个学科领域的实力进行比较,我们只想展示本科生的主观体验和满意度”。
他并不否认学生的主观体验受很多因素影响,并不必然体现学校在一个学科领域的表现,也不一定能够与大学的声誉一致。
“期待值、课程难易、学校设施等等都可能影响到学生的体验,比如名校学生入学前往往期待值较高,而现实不一定会符合他们的高期待,因此,最后学生可能会倾向于不满意。”
在接受采访时,他也有默认了《卫报》排名的“修正主义”倾向,“大学声誉有时候是不可靠的,很多时候,名校作为一个群体是一个封闭的、自我选择的集团,它更像一个利益集团,它并不能保证学生一定能获得良好的体验,甚至不能保证集团内的高校都有与其名声相符合的表现”。
而另一个具有颠覆性的排名是泰晤士报-星期日泰晤士报的英国大学排名(The Times and Sunday Times Good University Guide),它和《卫报》、《电讯报》排名并称为英国的三大国内大学排名。
据了解,和《卫报》相似,“学生满意度”也是这个排名中的一个重要指标。
在它发布的最新排名中,老牌名校爱丁堡大学( University of Edinburgh)在综合排名中被排在第二十,它在“学生满意度”的指标上得分只有3.86,而排在前十的非传统名校的基本上都超过4.00,例如萨里大学的“学生满意度”得分高达4.22。
与《卫报》和泰晤士报-星期日泰晤士报排名相比,THE世界大学排名和REF因为没有“学生满意度”指标,而更多倚重其他如科研与声誉的指标,因此,它们的评价结果往往更符合“主流”的预期。