收稿日期:2021-01-26
基金项目:
作者简介:
全国教育科学规划“十三五”规划国家一般课题“新高考考试等值综合体系研究”(BFA190060)张远增(1962—),男,华东师范大学教育学部副教授。张远增
(华东师范大学,上海200062)
新高考学业水平等级考试的
等级分连接研究
20世纪80年代以来,测验等值成为心理测
量和教育测量领域的研究热点,提出了以连接(linking )作为基本概念的新的测验等值框架,我国也逐步融入国际心理和教育测量界的测验等值研究之中。进入21世纪,我国考试等值应用研究方面的代表性成果体现在3个方面:其一,解决考试等值实践问题。相关成果包括:大学英语考试等值模型和方法[1-2],汉语水平考试(HSK )和中国少数民族汉语水平等级考试(MHK )的等值及其完善[3-5],运用项目反应理论(IRT )垂直等值构建英语听力能力发展性量表[6],结合中考和高考的数学、物理和化学等科目解决考试分数等值问题[7-11],构建由等值设计、数据收集、参数估计、量表化和测验等值5个步骤构成的IRT 测验等值流程并给出操作实例[12]。其二,高考等值的意义和存在的问题。相关成果包括:针对等值的意义,提出等值是为了确保高考的结果公平,真正实现
“择优选才”[13-18]
;针对新高考赋分,指出新高考形
成总分的方法在国际上很难出可借鉴的成熟先例,现行赋分方法有可能导致考生分数差距被不同程度地扭曲[19],考试技术无法达到改革目标要求[17],各级考试机构缺乏测验等值的专业团队及公众缺乏等值知识是阻碍实施高考等值的重要原因[20-21]。其三,高考等值对策。相关成果包括:“固定标准+年年等值”是完善高考赋分方案的理想方法[19-20];尝试事后等值设计,运用线性等值和等百分位等
国考培训班包过多少钱
值法进行等值,保留各省(区、市)目前推出的赋分规则,但“以全省(区、市)的代表性样本为参照”确定各科等级分数实现等值[16,20,21];为各选考科建立共同的参照系,借助参照系划分或调整等级,按同一等级内原始转换为等级分的“等比例原则”,将得分直观转换为等级分量表上的得分[19];控制好考试难度,基于经典测量理论,通过原始分转换为标准分并使用线性
Journal of China Examinations 2021年第6期No.6,2021
2021年第6期
转换的方法进行等值[22];新高考的必考科目采用测验等值和量表分数相结合的方式报告分数,自选科目采取标准设定和测验等值相结合的方法报告分数[17,23];在未开展试点地区,使用标准参照分数解释下的选考科目分数进行校准,对新高考选考科目计分开展“量表化”研究[24-25];选考公平是选考科目等级得分与考生在这一科目整体水平中的位置相一致,要确保不同科目考生体水平分布与各科目学生整体水平分布具有相似性或一致性[26]。
以上3方面的成果丰富了解决新高考分数等值问题的思路与方法,对从根本上解决高考分数等值问题具有积极的参考价值;但这些成果在总体上拘泥于传统测验等值理论的束缚,与作为公共政策的高考
要求联系不够紧密,因而难以运用于我国的高考等值实践。当前,亟需对新高考各地分数转换方法的科学性进行充分的科学论证,其中就包括新高考学业水平等级考试的等级分连接问题。
1对“等级内等比例”和“等对数难度比”
等级分转换方案的分析
在解决当前我国考试分数转换问题的技术方案中,“等级内等比例等级分转换方案”和“等对数难度比等级分转换方案”是可操作性较强的2种技术主张,其中:前者基于新高考等级分数转换的实践研究,以解决新高考等级分数转换问题为目的;后者则基于对各类考试分数等值的研究和实践,以解决大规模教育考试分数转换问题为目的。分析这2个方案的分数转换原理,既能清晰揭示当前我国高考分数转换实践中存在的问题,也能为相关问题的解决提供具体技术路径。
1.1等级内等比例等级分转换方案
于涵等提议在保留浙、沪方案等级分转换方案主要逻辑框架的基础上,针对其存在的问题进
行技术改进,形成新的等级分转换方案[19]。该方案的具体做法是,按照同一等级内原始分转换为等级分的“等比例原则”转换分数(据此,本文将该方案简称为“等级内等比例等级分转换方案”),其所谓的等比例原则是指按照满足关系
x2-x0
x0-x1=
t2-t0
t0-t1(1)将原始分转换为等级分。在公式(1)中:x1和x2表示原始分数,且x1<x2;t1和t2分别表示x1和x2对应的等级分数,且t1<t2;x0是满足x1<x0<x2的原始分数;t0是满足t1<t0<t2的x0对应的等级分数。
“等级内等比例等级分转换方案”的要点是,保证原始分所形成的在同一能力中具有量变意义的能力差的比值与等级分所表征的同一能力中具有量变意义的能力差的比值不变。由公式(1)可得
t0=t2-t1
x2-x1x0+
x2t1-x1t2
x2-x1。(2)公式(2)表明,除个别原始分需要规定其所对应的等级分外,“等级内等比例等级分转
换方案”在本质上是对原始分进行相似和平移变换得到其所对应的等级分。从可操作的角度看,“等级内等比例等级分转换方案”存在难以操作的问题。实践中,如何确定一次考试中不同能力得分区间的临界点及其对应的等级分,也即如何确定公式(1)中的x1和x2及其对应的等级分数t1和t2,依然是一个没有得到有效解决的问题。这是因为依据考生的实际得分情况,按照事先确定的各等级人数比例确定各等级原始分数的临界分数(各等级原始得分区间)的做法缺乏科学依据。从量变与质变的角度看,表征不同能力的等级分数区间所形成的以区间作为基本构成单元排列而成的系列应满足2个要求:其一,同一区间内体现量变,即同一等级内分数的增长不改变能力特质;其二,不同区间的临界点之间体现质变,即临
··62
界点等级分数的增长改变能力特质。这就要求同一特质所允许的量变意义的最大变化范围要小于不同特质临界点之间所允许的最小量变范围。“等级内等比例等级分转换方案”所建议的在采用[20,100]或[0,100]的量表时,将优秀的等级点对应到等级分85分,将及格的等级点对应到等级分60分,显然不能满足这样的要求。此外,这种方法也仅适合一次性考试转换等级分的要求,难以满足“一科两考”转换等级分的要求。
山东省普通高中学业水平等级考试的计分规则(以下简称“山东转换等级分方案”)是,先按照所考学
科各等级人数占该学科考生总数分别为3%、7%、16%、24%、24%、16%、7%、3%的比例,将每门等级考试科目的原始成绩从高到低划分为A、B+、B、C+、C、D+、D、E8个等级,确定各等级对应的原始分数区间,并使各等级原始分数区间对应的转换等级分数区间依次为[91,100]、[81, 90]、[71,80]、[61,70]、[51,60]、[41,50]、[31,
40]、[21,30],再在各等级分数区间内按照等比例转换法则确定有关原始分数最终对应的等级分数[27]。为了讨论的方便,根据“山东转换等级分方案”,假设原始分数x所对应的原始分数等级区间为[x r,x s],与其对应的等级分数y所在的等级分数区间为[y r,y s],所谓等比例原则即指x和y 满足
x-x
r x
s-x =y-y r
y
s-y
。(3)
整理公式(3)得
y=y
r-y s
x
r-x s
x+
x
r
y
s-x s y r
x
r-x s
。(4)
比较公式(4)和公式(2)即可发现,“山东转换等级分方案”是“等级内等比例等级分转换方案”的特例。它用按照考生原始分数所形成的频率分布确定“等级内等比例等级分转换方案”相同等级分数所对应的原始分数之临界值的方法,给出运用公式(1)所需的临界值。因此,“山东转换等级分方案”具有与“等级内等比例等级分转换方案”相同的优点和局限性。
进一步地,如果假设原始分数等级区间[x r,
x
s
]上的原始分数分布服从正态分布,该区间上的全体原始分数形成的全距、标准差和平均数分别为R x:r-s、σx:r-s和Xˉx:r-s,同时按照z标准分相等则等值的方法将原始分数转换到等级分数区间[y r,
y
s
]上,并将全体转换分数所形成的全距、标准差和平均数分别记为R y:r-s、σy:r-s和Yˉy:r-s,由于原始分在[x r,x s]上服从正态分布,则
R
x:r-s≈6σx:r-s=x s-x r,(5)
Xˉx:r-s=x s+x r2,(6)
R
y:r-s≈6σy:r-s=y s-y r,(7)
Yˉy:r-s=y s+y r2。(8)根据z标准分相等则等值的规定,对于原始分数x 和转换所得等级分数y有
x-Xˉx:r-s
σ
x:r-s
=y-Yˉy:r-s
σ
y:r-s
。(9)由公式(9)可得
y=
σ
y:r-s
σ
x:r-s
x+
σ
x:r-s
Yˉy:r-s-σy:r-s Xˉx:r-s
σ
x:r-s
。(10)利用公式(5)至公式(8),将公式(10)进行数学变换可得
y=
y
r-y s
x
r-x s
x+
x
r
y
s-x s y r
x
r-x s
由此可见,“等级内等比例等级分转换方案”在本质上是一种基于z标准分等值的线性等值。与一次性采用z标准分等值转换相比,“等级内等比例等级分转换方案”先对原始分数分等级,再在各等级内采用z标准分等值转换,将全体原始分数转换为等值分数;因此,全体原始分数能形成与转换等级数相等个数的正态分布,或有与转换等级数相等个数的峰的多峰分布,是这种转换
张远增:新高考学业水平等级考试的等级分连接研究·
·63
2021年第6期方案成立的先决条件。
1.2等对数难度比等级分转换方案
设x为考生的原始分数,H为所有考生原始
得分的最高分数,Xˉ为所有考生原始得分的平均
分数,y为原始分数x所对应的转换分数,M为预
先设定的转换所得分数的满分数,Mˉ为预先设定
的转换所得全体考生分数的平均分数。李传起苏州大学考研分数线
构造函数
y=M(x
H)
ln M-ln Mˉ
税务师报名时间2021入口
ln H-ln Xˉ(11)
直接将考试原始分转换成统一的“水平分”[28]。
当x≠0,y≠0时,对公式(11)进行整理得
(y M)ln XˉH=(x H)ln MˉM。(12)进一步地,对公式(12)的两边取自然对数,并整理得
ln y M ln x H =ln
M
ln XˉH
。(13)
规定ln x中国卫生人才网准考证查询
H为原始分数x(x≠0)的对数难度,
ln y M为转换分数y(y≠0)的对数难度,ln XˉH为原
始卷的对数难度,ln Mˉ
M为转换卷(这里,转换卷是
指无差别、统一计量所有考试科目分数的通用量表)的对数难度。由此,公式(11)的含义是,按照等对数难度比将原始分数x转换为转换卷的分数y,而且这个比的比值就是原始卷的对数难度与转换卷的对数难度之比所确定的比值。据此,将运用公式(11)转换等级分的方案简称为“等对数难度比等级分转换方案”。
公式(11)表明,“等对数难度比等级分转换方案”所得出的结果仅与考生的原始分数有关,不受考生水平对考生总体原始分所形成的得分分布的影响,既能保持考生全部原始分的结构性关系,还能在原始分最低分数不为0的条件下,把考生的全部原始分映射到任意一个事先给定的分数区间[m,M](m是分数区间的下限,相当于转换后能得到的最低分数;M是分数区间的上限,相当于转换后能得到的满分数)。但从等级分转换实践的角度分析,“等对数难度比等级分转换方案”并未给出有效、可操作的确定Mˉ的方法,而
Mˉ对这种转换方法转换的公平性和价值导向却具有决定性作用。山西省政府网
利用公式(11)对x求导可得
y'=
M
ln M-ln Mˉ
ln H-ln Xˉ×(
x
H)
ln M-ln Mˉ
ln H-ln Xˉ-1,(14)y″=
M
H2
×ln M-ln Mˉ
ln H-ln Xˉ×(
ln M-ln Mˉ
ln H-ln Xˉ-1)×
(x H)ln M-ln Mˉ
ln H-ln Xˉ-2。(15)由公式(14)可知,在Xˉ≠0且Mˉ≠0的条件下,y'>0成立,因而公式(14)所确定的原函数是关于x严格单调上升的函数。由此,公式(11)所确定的函数也是关于x严格单调上升的函数。为了表达的方便,将
H记为D X,将
M记为D M。由公式(15)可知:当D X<D M时,y″<0,公式(11)所确定的原函数是关于x减速增长的函数,即原始分越小,其通过转换所得转换分增加的幅度越大;当D X>D M 时,y″>0,公式(11)所确定的原函数是关于x加速增长的函数,即原始分越大,其通过转换所得转换分增加的幅度越大;当D X=D M时,y″=0,原始分与其对应的转换等级分成正比。因此,在运用“等对数难度比等级分转换方案”实施等级分转换时,D X和D M取值所形成的不同大小关系对考生选择参加等级考试的科目具有不同的导向:满足D X<D M的等级分转换,能从转换等级分获利的角度,引导考生优先选择学业水平低的学科作为等级考试的科目;满足D X>D M的等级分转换,能从转换等级分获利的角度,引导学生优先选择学
··64
业水平高的学科作为等级考试的科目;满足D X=
D
M
的等级分转换,不能从转换等级分获利的角度,引导学生选择学业水平等级考试的科目。
对计入高考总成绩的3个科目的学业水平等级考试而言,如果事先给定统一的Mˉ值,则实际的考试结
果可能出现D X<D M、D X>D M、D X=D M中的1个或2个或3个成立。在这种情况下,如果最终的实际考试结果是其中的2个或3个成立,则这样的转换结果对考生是不公平的,甚至会出现与预期不一致的等级分转换效应。如果根据实际考试的结果事后给出统一的Mˉ值,使在3个科目的学业水平等级考试中,D X<D M、D X>D M及D X=D M 中的1个或2个或3个成立,则这样的做法与作为公共政策的高中学业水平等级考试的等级分转换方法的本质存在抵触。也就是说,只有在高考之前确定具体的分数转换方法,并向全社会公布,才能确保高考分数转换方法的正当性。否则,如果在高考之后才确定具体的分数转换方法,并对原始分数进行转换,则会出现事后人为地使部分考生因分数转换而获利,以及部分考生因分数转换而利益受损——这种有差别的“对人不对事”的分数转换结果会直接损害高考分数转换方法作为公共政策的正当性,甚至进而影响社会稳定。
安徽公务员实践中,作为考试政策构成部分的等级分的满分数M是事先公开确定的,全体考生所得原始分数又完全确定了其参加的当次考试的H和Xˉ,因而D X和D M取值所形成的相互间的大小关系完全由Mˉ的值确定。特别地,H=M的情形更能体现Mˉ值对等级分转换结果的决定性作用。例如,“山东转换等级分方案”规定等级考试科目原始分数的取值范围为[0,100],等级分数的取值范围为[20,100]。在本质上,这种情况用“等对数难度比等级分转换方案”确定等级分就是按照新的试卷难度重新表达原始分数。此外,“等对数难度
比等级分转换方案”也遇到了与现行上海转换等级分方案和浙江转换等级分方案类似的问题,既难于满
足“一科两考”对转换等级分的需要,也难以发挥转换等级分的教育评价导向作用。
2等达标度等级分连接方案
基于上面的分析,笔者提出使用“等达标度等级分连接方案”对学业水平等级考试进行等级分转换。
2.1学业水平等级考试等级分连接需要满足的
条件
测验间的连接包括预测(predicting)、量表化(scaling)和等值(equating)3种方式[29]。这里,新高考中的学业水平等级考试连接是指采用预测方法实现不同学业水平等级考试之等级分数的可比较,它需要满足2个基本条件:第一,用具有统一单位的等级分数表示不同科目原始分数所表示的科目学业水平(条件1);第二,各科不同版本的学业水平等级考试均是这个科目学业水平等级考试的复本(条件2)。在现实中,某个版本的学业水平等级考试可以是完全的复本,也可以是复本中的部分(为了叙述方便,本文将这类从某科目考试试卷之复本中取出部分所构成的试卷称为该考试的准复本)。实践中,如果运用准复本实施考试,则要求准复本满足考生在考试中不能得到满分的要求。
实践中,满足条件2的学业水平等级考试的同一次考试的原始分数之间及不同次考试的原始分数之间均是可比较的,能满足“一科多考”对分数可比较的要求。但是,不同学业水平等级考试所承载的考查
特质不同,考生形成相应特质的难度也有差别,导致同一个学业水平等级考试原始分数所表达的不同学业水平等级考试科目的学业水平的高低也可能不同。因此,对于同一个年度的高考而言,即便对满足条件2的各学业水
张远增:新高考学业水平等级考试的等级分连接研究·
·65