第20卷第2期2021年4月
Vol.20No.2
Apr.2021浙江医学教育
Zhejiang Medical Education
•教育教学研究・
临床执业医师考试质量评价
—
—以浙江考区为例
高超1，张革来2，王震彳，云淑林彳，俞美英2，夏志俊2@
(1.绍兴文理学院医学院，浙江绍兴312000；2，浙江省医疗服务管理评价中心，浙江杭州310003)
摘要：目的：从信度、难度、区分度3个方面，对浙江考区临床执业医师考试的质量开展评价。方法：获
取2019年报考并参加了浙江考区临床类别医学综合理论考试的8815名考生的实践技能和综合理论考试成绩，分别计算执业医师考试的内部一致信度和综合理论考试内部各单元的难度和区分度。结果：实践技能得分与综合理论总分显著正相关(r=0.466)，综合理论试卷Cronbach?s a系数为0.918；基础医学、医学人文、预防医学、临床医学4个单元的难度系数分别为0.601,0.656,0.678,0.633，区分度分别为0.165,0.254,0.203,0.213。结论：临床执业医师考试的信度较高，难度相对适宜，区分度整体适中。
执业医师笔试成绩公布时间关键词：临床执业医师考试；信度；难度；区分度
中图分类号:G642.0文献标识码:A文章编号:1672-0024(2021)02-0004-04
Evaluation on the Quality of Clinical Licensing Examination
------Evidence of Zhejiang Area of Examination
GAO Chao1,ZHANG Gelai2,WANG Zhen2,YUN Shulii?,YU Meiying2,XIA Zhijun2®
(1.Shaoxing University School of Medicine,Zhejiang312000,China;
2.Zhejiang Evaluation Center for Medical Service and Administration,Hangzhou310003,China)
Abstract：[Objective]To evaluate the quality of clinical licensing examination by reliability,difficulty and distinction degree.
[Method]We obtained the scores of practical examination and comprehensive theory examination from8815candidates who registered and finished the clinical categoiy medical comprehensive theoiy examination in Zhejiang Province in2019.The internal consistency reliability of Clinical licensing examination,the difficulty and distinction degree of each unit in the comprehensive theory examination were calculated independently.[Result]Practical score was positively correlated with theoiy score(r=
0.466)and the Cronbach's a coefficient of theory paper was0.918.The difficulty coefficients of the four units including basic
medicine,medical humanities,preventive medicine and clinical medicine were0.601,0.656,0.678,0.633,respectively.The distinction degree of the four units were0.165,0.254,0.203,0.213,respectively.[Conclusion]The reliability of clinical licensing examination was sizable,the difficulty was relatively suitable,and the overall distinction degree was moderate.
Key words：clinical licensing examination；reliability;difficulty;distinction degree
医师资格考试作为评价申请医师资格者是否具备从事医师工作所必须的专业知识与技能的考试，也是《执业医师法》以国家法律形式确立的行业准入考试，对医学人才的培养、考核、使用、评价等各个环节都起着关键的“指挥棒”和“风向标”作用。我国执业医师考试在组织形式上包括实践技能考试和医学综合理论考试两个阶段，考生必须首先通过实践技能考试⑴后，方有资格参加医学综合理论考试。其中，作为历年报考人数最多的临床类别，其医学综合理论内容又包括4个独立的单元，即基础医学综
作者简介：高超(1988-)，男，河南信阳人，博士研究生，讲师。研究方向：卫生人力资源管理
基金项目：绍兴文理学院科研启动项目(编号：20205003)；浙江省医药卫生科研基金项目(编号：2017KY041) @通信作者：夏志俊，研究员zyl103@126
4
第20卷高超，等：临床执业医师考试质量评价—
—以浙江考区为例第2期
合、医学人文综合、预防医学综合和临床医学综合。这些考试内容共同形成了对考生“三基”水平、临床综合能力、思辨能力和实际工作能力的综合评价⑵。为分析临床执业医师考试的质量，我们抽取2019年浙江考区的考试结果，从信度、难度、区分度3个方面进行试卷分析和质量评价。现将我们的分析和
研究结果报告如下。
1对象与方法
1.1研究对象及基本情况
本研究采用的数据来源于浙江省医师资格考试基础业务数据库。选取2019年报考并参加了浙江考区临床类别(报考代码：110)医学综合理论考试的8815名考生为研究对象，分别获取了每名考生的实践考试和综合理论考试成绩。考生的基本情况：男生4169人(47.3%)，女生4646人(52.7%)；中专364人(4.1%)，大专2264人(25.7%)，本科6081人(69.0%)，硕士48人(0.5%)，博士58人(0.7%)；考生的实践技能考试平均分(72.96±7.00)，医学综合理论考试平均分(385.51±51.34)，其中，基础医学平均分(90.19±12.04)，医学人文平均分(98.36±16.49)，预防医学平均分(101.67±13.73)，临床医学平均分(94.89±14.71)。
1.2研究方法
1.2.1信度分析信度是指考试测试结果的一致程度和稳定程度。本研究侧重对执业医师考试内在一致性的考察，包括两个方面：一是实践技能考试与医学综合理论考试的一致性程度，通过PearBon相关系数厂来评价；二是医学综合理论考试内各单元间的内在一致性，主要通过Cronbach^a系数来评价。
1.2.2难度分析难度是指试题内容的难易程度。本研究考察医学综合理论考试中各单元的难易程度，以各单元平均得分与单元满分(150分)之比计算难度系数，难度系数取值范围为[0,1]，越接近0表明试卷难度越大。
1.2.3区分度分析区分度是衡量考试对不同学业能力考生的鉴别能力的指标。本研究通过鉴别指数法B考察医学综合理论考试中各单元的区分度，以理论考试总分最高的27%的考生为高分组(H)、最低的27%的考生为低分组(L)，则各单元区分度D的计算公式为D=(X H-X l)/150，其中X H表示高分组在某单元平均得分,X l表示低分组在某单元平均得分,150为各单元满分值。D值的取值范围为[-1,1],D值越大表明试卷区分度越大。1.3统计学处理
采用SPSS23.0软件进行数据分析。P<0.05表示差异有统计学意义。
2结果
2.1实践技能得分与综合理论考试得分的相关分析
相关分析结果显示，考生实践技能得分与综合理论考试得分呈显著的正相关(厂二0.466,P< o.ooDc实践技能得分与理论考试各个单元得分也呈显著的正相关(P<0.001)，其中与医学人文得分的相关系数最高(厂=0.441)，与基础医学得分的相关系数最低(厂=0.386)。见表1。
表1实践技能得分与综合理论考试得分的相关分析
实践技能得分
r P
基础医学0.386<0.001
医学人文0.441<0.001
预防医学0.423<0.001
临床医学0.424<0.001综合理论得分0.466<0.001
2.2综合理论考试得分内部一致信度分析
医学综合理论考试各单元的校正条目总分相关系数(corrected item total correlation,CITC)在0.729~ 0.882之间，表明各单元得分与理论考试总分的相关程度较高，其中医学人文最高，基础医学最低。Cronbach^a系数为0.918，表明各单元得分的内部一致信度较高。见表2。
表2综合理论考试得分内部一致信度分析考试单元校正条目总分相关系数Cronbach^a系数基础医学0.7
29
医学人文0.882
0.918
预防医学0.863
临床医学0.805
2.3综合理论考试难度与区分度分析
将考生按照理论考试总分排序后进行分组，得到高分组2413人，低分组2424人。4个单元的难度系数值在0.601~0.678之间，其中预防医学难度最小，基础医学难度最大。4个单元的区分度在0.165 ~0.254之间，其中基础医学区分度最小，医学人文区分度最大。见表3。
5
表3综合理论考试难度与区分度分析（X±S，分）
考试单元
单元平均分
单元总分难度系数区分度总样本
(n=8815)
高分组
(nj=2413)
低分组
(n2=2424)
基础医学90.19±12.04103.29±8.2378.49±7.681500.6010.165医学人文98.36±16.49116.77±7.4678.64±10.021500.6560.254预防医学101.67±13.73116.51±6.3885.99±9.971500.6780.203临床医学94.89±14.71110.25±7.9278.34±10.421500.6330.213
3讨论
3.1临床执业医师考试信度较高
本研究将考试信度的分析过程二分为两个相对独立的阶段，主要是为适应我国执业医师考试特殊的两阶段组织形式。相对来说，实践技能考试侧重考查医学生实际动手操作能力，评价方式以考官现场打分为主，评价结果带有一定的主观人为因素；医学综合理论考试侧重考查医学生基础理论知识和临床思辨能力，全部以客观题形式进行考查，受外界人为因素的影响较小。虽然两个阶段考试针对的知识侧重点不同，覆盖到的考生范围不同，评价手段也有一定差异，但从考试的功效上讲，两者的考查结果应当体现出医学生临床岗位胜任力⑷的一致性和稳定性，否则，就会导致不同考区之间实践技能考试通过率和综合理论考试通过率之间出现“剪刀差”——即有的省份实践技能通过率相对较高、然而其综合理论考试通过率却相对较低，进而影响到考试过程的效力和公平。
本研究首先考察了实践技能得分与综合理论考试得分的相关性，结果显示实践技能得分与综合理论考试总分、以及理论考试各单元得分均具有显著的正相关，且相关系数在0.4左右，表明实践技能得分越高者，在随后的综合理论考试中得分也往往越高。因此，两阶段考试的一致性信度较高。
随后，本研究进一步考察了综合理论考试内部各单元之间的一致性信度。通常认为，试卷的Cronbach^ct系数大于0.7即可接受，大于0.85表明试卷的信度良好⑸，而综合理论考试试卷的Cronbach^a系数达到了0.918。进一步考察各个单元校正条目总分相关系数（CITC），各理论考试单
元的CITC值达到0.8左右，只有基础医学略低，但也达到了0.729。通常认为，CITC值达到0.5即可符合要求。因此，医学综合理论考试的内部一致性信度较高，各个单元得分与理论考试总分的相关性也较高。
3.2临床执业医师综合理论考试难度相对适宜
由于本研究未能获取到参加实践技能考试的浙江考区考生总体的资料，即仅获得了已通过实践技能考试的这部分考生资料，因此对于考试难度和区分度的分析仅针对医学综合理论考试。
执业医师考试是一项带有选拔性质的准入考试，需要在试题中设置一定的难度将不具备执业能力的考生排除在执业资格之外，与此同时，执业医师考试又肩负着为国家和行业选材的任务，需要通过执业准入为卫生健康事业稳定地遴选出成规模的后备人才。因此，综合理论考试的难度不宜过低，也不宜过高，应当以真实地反映出考生的水平分布为宜。一般认为，试题的难度系数处于0.3~0.9较为适中，小于0.3的为难题，大于0.9的为容易题，整套试题的难度以0.65~0.7为宜。本研究中,4个单元的难度系数在0.601~0.678之间，整体难度相对适宜，其中基础医学综合相对较难，这一结果与李秋华在广西开展的研究结果一致⑹。该结果也间接提示，今后需在医学生基础医学知识融合运用方面进行更深入的教学改革探索，从而提高学生适考能力⑺。
3.3临床执业医师综合理论考试区分度整体适中
区分度D值在0.4以上的表明试题区分度优良,0.3-0.39之间为较好,0.2-0.29之间表明区分度适中,0.2以下则需淘汰或改进⑻，当D值接近于0时，表明高水平考生和低水平考生的得分几无差别，试题失去鉴别意义。本研究发现医学人文、预防医学、临床医学这3个单元的区分度尚可，而基础医学的区分度较差，可能是由于这一单元题目相对较难。总的来看，综合理论考试的区分度整体适中，但仍有一定的提升空间。
本研究利用浙江考区医学综合理论考试考生全样本成绩资料，对临床执业医师考试的信度、难度
（下转第22页）
6
随着数字化技术的发展，一个新型的学科—
—数字化口腔医学已经崛起⑷，数字化技术引导的精准牙备也将成为口腔修复学课程牙体预备实验教学的主流。因此，我们应该充分利用数字化技术的优势，优化当今的教学方式，充分发挥学生的主观能动性，将学生培养成一名优秀的临床医生。
参考文献
[1]Jr H S,Hobo S,Whitsett L D,et al.Fundamental of Fixed
Prosthodontics Thcrd Edifion[M].USA,IL：Quinte s sence Pub.
Co.,1997.[2]EtemadiS,SmalesRJ,DrummondPW,et al.Assessment of tooth
preparation designs for posterior resin-bonded porcelain restorations.J Oral Rehabil,1999,26(9):691.
[3]邹慧儒，靳淑凤，王雅南，等.数字化牙体窝洞预备技能
训练系统的研究及应用现状[J].牙体牙髓牙周病学杂志,2017,27(6)：360-363.
[4]RadiMasri,Carl F.Driscoll.口腔数字化技术临床应用
[M].北京：化学工业出版社,2018.7.
[5]董伟.数字化技术在口腔修复学教学中的应用研究[J].
陕西能源职业技术学院学报，2017,12(3)：55-57. [6]蒋文翔，沈燕青，赵鹃，等.上中切牙全瓷冠牙体预备
的数字化评价[J].浙江医学教育，2019,18(4)：7-9.
(上接第6页)和区分度进行了评价，从教育测量学的角度，认为该考试信度较高，难度相对适宜，区分度整体适中。但本研究由于资料获取的局限性，也存在一定的不足：对综合理论考试成绩的分析仅限于各个单元的得分，无法细化到对每个具体题目命题质量的考察；另外，对具体考试质量的考察不仅要看信度、难度、区分度等测量学指标，更要分析考试的效度，因为信度是高质量考试的必要条件，效度是高质量考试的充分条件，但限于客观原因(试题保密性要求)无法对效度进行分析。这些问题有待于在今后的研究中进一步探讨。
参考文献
[1]赵芳，杜坍，陈明，等.模拟执业医师实践技能考试在医
学生毕业考核中的应用[j].中国高等医学教育，2015,
(7)：70-72.
⑵王占齐，龚楚楚.某医科院校学生执业医师资格考试现
状分析及对策研究[J].中国高等医学教育，2010,(6)：
36-38.
[3]李国建，何惧，丁一民，等.医学考试中A2型客观题长
度、难度和区分度关系的初步研究[J].中华医学教育探索杂志，2017,16(7)：653-656.
[4]郑强，孙业桓，张秀军，等.从临床医师岗位胜任力维度
探讨医学教育改革策略[J].安徽医学，2017,38(07)：945-947.
[5]王凤珍，胡颖楠，闫东宁，等.中医师考试分阶段实证研
究试卷分析与评价[J].世界中西医结合杂志，2019,14
(5)：721-723,731.
[6]李秋华，潘黎，卢凤娟，等.某医学院校毕业生执业医师
资格考试成绩评价研究[J].中国继续医学教育，2018, 10(3)：24-26.
[7]罗怀青，黄春霞，刘佳，等.以执业医师考试改革为契机
探索基础医学综合考试改革[J].中国医学教育技术，2018,32(6):706-709.
⑻张芸，武斌，杨阳.基于Excel的试卷质量深度分析平台
的实现[J].成都中医药大学学报：教育科学版，2019,
(2)：23-25.
(上接第13页)人才培养课程体系的一个重要任务。
基于医学影像学本科专业平台系统化特模块的教学策略，对超声医学相关课程内容进行广度和深度的扩展，院校合作共同培养学生的专业能力、综合思维能力和实践能力。该专业人才培养教学内容与课程体系的改革，不仅符合新时代新医科教育的要求，而且符合《国务院办公厅关于加快医学教育创新发展的指导意见》(国办发[2020]34号)提出的“深化本科医学教育教学内容、课程体系和教学方法改革”要求。杭州医学院本科超声人才培养课程体系还处在探索阶段，后续我们将不断总结经验和逐步完善，通过加强“院-校-企”协同育人，着力培养符合社会需求的高素质超声医学人才。
参考文献
[1]教育部公布的《普通高等学校本科专业目录(2020年
版)》，2020-2-21http：//v/s rcsite/A08/ moe-1034/s4930/202003/W0202003033654
03079451.pdf [2]凌文武，卢强，钟晓绯，等.超声技术本科教育课程体系
建设和初步实践[J].中国继续医学教育,2019,11(35):45 -48.
[3]陈宝生.在新时代全国高等学校本科教育工作会议上的
讲话[J].中国高等教育,2018,(15):4-10.
[4]教育部关于深化本科教育教学改革全面提高人才培养质
量的意见,[2019-9-29],http：//v/s rcsite/ A08/s7056/201910/t20191011-402759.html
[5]蔡志华，卢杨，赵文亮.以需求为导向的医学研究生课程
体系探索与实践[J].中国高等医学教育,2019,(10):119 -120.
22
发布评论