•教育评价*
以岗位胜任力为导向的医学生考核
评价体系的实践和探索
魏春岚1柴健民1刘瑞麟2杨军1沈慧霞1吕立夏1杨文卓2
1同济大学医学院,上海200092;2同济大学附属同济医院消化内科,上海200065
通信作者:杨文卓,E m a il:y a n g w en zh u o2002@163
【摘要】以岗位胜任力为导向的医学教育模式符合现代医学发展方向和教育理念。本文全面阐
述了如何以岗位胜任力为导向,构建形成性评价和终结性评价相结合的考核评价体系;通过对医学生
的多种能力的客观测量和及时反馈,以构建考核评价闭环反馈体系,反向指导教学过程的探索与实践。
【关键词】岗位胜任力导向;形成性评价;终结性评价;闭环反馈
【中图分类号】R4
基金项目:2019—2020年同济大学教学改革研究与建设项目(1500104500-6);2019—2020年同济
大学教学改革研究与建设竞争性项目(1500104211)
D0I: 10.3760/cma.j 116021-20191217-00371
Practice and exploration of post competency-based assessment evaluation system for medical
students
Wei Chunlan1, Chai Jianmin', Liu Ruilin2, Yang Jun1, Shen Huixia1, Lii Lixia1, Yang Wenzhuo2
'Tongji University School of Medicine, Shanghai 200092, China; department of Gastroenterology, Tongji
Hospital of Tongji University, Shanghai 200065, China
Corresponding author: Yang Wenzhuo, Email:***********************
【Abstract】Post competency-based medical education complies to the development and philosophy of
modem medicine. This paper completely illustrates how to construct a scientific and diversified assessment
evaluation system guided by post competency for medical students which combines formative assessment
and summative assessment. Through the objective measurement and timely feedback of various abilities of
medical students, the closed-loop feedback system of assessment and evaluation can be constructed to guide
the exploration and practice of teaching process in reverse.
【Key words】Post competency-based; Formative assessment; Summative assessment; Closed-
loop feedback
Fund program:2019-2020 Tongji University Educational Reform and Research Project (1500104500-
6); 2019-2020 Tongji University Competitive Educational Reform and Research Project (1500104211)
DOI: 10.3760/cma.j 116021-20191217-00371
岗位胜任力理论在欧美医学教育改革中被广 泛探索和实践'也对国内的医学教育理论及实践带来了深远的影响P l。以胜任力为导向的教育以学 生为中心,根据学生对具体的知识和技能的掌握程 度来调整教学过程和学习进展。因此,为了培养适 合社会发展、岗位需要的医学人才,以胜任力为导向的医学教育模式改革势在必行。
考核评价对医学教育具有导向性作用,单一、片面和不恰当的评价体系已经无法真实反映医学 教育的质量和效果,也无法对医学生知识和技能的 掌握程度进行阶段性测量和反馈。在教育模式革新 的背景下,研究者们也开始思考如何以岗位胜任力
为导向对传统的考核评价模式进行改革和实践|31。这不仅有助于促进医学生的全面发展,也有助于全 面提高教学效果和人才培养质量。
1以岗位胜任力为导向的医学教育模式
医学教育的发展共经历了三次改革:20世纪初 以“科学为基础、学科为中心”的教学模式;20世纪 中期以“
问题为基础的学习、实施课程整合”的教学 模式;近年来提出的以“系统为中心、以岗位胜任力 为导向”的教学模式。其最终目标是提高医学人才 培养质量、优化卫生系统功能吒
近年来,美国多家医学院校如Johns Hopk i n s、Weill Cornell Medical University(W C M)和 University of Nebraska Medical Center(U N M C)均开始尝试以岗 位胜任力为导向的医学教育模式改革。国内《关于 医教协同深化临床医学人才培养改革的意见》的颁 发标志着新一轮医学教育改革的开始。如何以岗位 胜任力为导向,培养出适应现代医疗卫生事业和健 康服务发展的医学人才是本轮医学教育改革迫切 需要解决的问题。
2医师岗位胜任力模型
近年来国内外研究者对临床医师岗位胜任力 模型进行了研究和探讨|5-\在临床医师胜任力的评 估依据上,国内外权威机构在界定临床医师胜任力 时很多要素趋于一致。美国毕业后医学教育委员会 界定的临床医师一般能力包括六个要素:医疗诊治、医学知识、以实践为基础的学习与提高、人际交流 技能、职业精神、以系统为基础的实践|81。
孙宝志等191采用混合式研究方法,通过定量研 究对全国31个省市开展了大规模调查,并结合32 组焦点访谈的质性研究结果,构建了中国临床医师 的岗位胜任力模型。其主要包括八项核心能力:临 床技能与医疗服务能力、职业精神与素养、医患沟 通能力、团队合作能力、疾病预防与健康促进、医学
知识与终生学习能力、信息与管理能力、学术研究 能力。在此研究的基础上,又进一步确定了以“5+3”模式培养临床医学人才胜任力阶梯标准及医学考 试方法丨'
3以岗位胜任力为导向的考核评价体系的构建
3.1形成性评价体系建设
3.1.1形成性评价
形成性评价(formative assessment)由美国教育学家Scriven于1967年提出,在西方国家教育评价中 备受推崇|U|。形成性评价是指由教师设计教学活动,学生和教师共同参与,双方在教与学的过程中获得 反馈并不断反思和改进学习和教学过程,从而提高 学习效果和教学水平的一种评价方式。形成性评价 是一种以现在为起点追踪到将来的“前瞻式”评价,其核心在于及时反馈。
根据《普通高等学校本科专业类教学质量国家 标准》要求,在医学教育的教学评价中,应体现“形 成性评价”的方式。结合对岗位胜任力概念和内涵 的认识,同济大学医学院设计了在线形成性评价系 统(formative assessment system,F A S)。使用该系统,教师在P B L课程、实验课和临床实践教学中,可选 择个性化量表对学生的批判性思维能力、提出问题的 能力、表达能力、团队合作能力、解决问题的能力、归 纳总结能力、知识的掌握与运用能力进行综合评价, 并通过及时反馈实现教与学的不断改进。
3.1.2形成性评价场所
基于临床医师的岗位胜任力模型,形成性评价 不仅评估医学生的理论知识和操作技能,还要评估 医学生在医患沟通、团队协作、临床思维、职业道 德、心理素质和意志力等各方面发展情况。本院开 设了早期临床实践课程、临床技能学课程,并依托 三级科创体系、本科生导师制及基础临床双导师等 制度,将医学生的培养拓展到更多更广的平台。因此,评价场所不再局限于传统的理论课、实验课和 临床见习课;对学生能力的评价也通过各类特课 程和科研创新活动延伸至网络自主学习、课外学术 活动、科学研究、学术交流和创新创业等各类学习 活动和学习平台上。
3.1.3形成性评价方法
通过对胜任力导向的评价方法进行学习和分 析,针对教学的全过程开展各个环节的360°形成 性评价。其主要有讨论点评、测验点评、实验指导、床旁教学指导、教学查房、病例讨论、实习记录、出科考反馈、探索客观结构化临床考核(objective structured clinical examination,O S C E)、直接观察操作技巧评估(direct observation of procedural skill, l)0PS)、迷你临床测验(mini-clinical evaluation exercise,mini-C E X)等。同时,采用了学生自评、学生 互评、学生评教师、教师自评、教师互评和督导评教 师的多元评价主体来实现评价内容的全覆盖。
3.1.4形成性评价闭环反馈体系
根据教学内容设计教学活动,教师提出问题,
引导学生通过自主学习来解决问题,并在整个教学 活动中引入多元评价主体和多元评价指标。评价结 果要反馈教师、学生和教学管理部门,促使教师反 思其教学过程,调整以前的教学理念和教学方法;引 导学生反思其学习过程并改善自身学习方法和提 升学习效率;督促教学管理部门不断优化教学管理 流程。最终形成一种教学与评价相互指导、相互作 用的形成性评价质量闭环保障体系,从而充分发挥 评价在教育过程中的导向、监督、诊断、鉴定等功 能,促进学校、教师和学生不断反思、改进和提升。(图 1)〇
2014年上海市公务员职位表3.2终结性评价体系建设
3.2.1终结性评价
终结性评价是指在教学活动结束之后进行,用 于判断教学目标是否达到的评价手段,侧重于学生 成绩和学习结果的评定。本院专业理论课程仍然采 用传统的命题考试方式完成对教学的终结性评价。
本院共有4家综合性教学医院和2家专科教 学医院承担临床医学专业的理论授课、临床见习和 临床实习教学任务,各家附属医院在教学底蕴、管理 规范性和师资水平上有所差异。而考试作为教学活 动中的重要一环,其目的主要是检验教师的教学效 果和学生的学习成果。因此,面对不同的教学医院
培养的学生,需要建立一个公正、客观、科学的考试 体系来促进考试的同质化,实现对教师教学效果和 学生学业成果的客观评价。
医学院由考试中心借鉴标准化考试的四大环 节,通过“四标准、一报告”(即命题标准化、考试流 程标准化、阅卷标准化和试卷分析反馈标准化,以及《基于考试结果分析的课程质量报告》)实现对考试 的同质化管理及闭环反馈。
3.2.2命题标准化
考试作为终结性评价的重要手段,作为对教学 效果评价的金标准,提高命题质量至关重要。一方 面,定期对试题库中知识点陈旧甚至错误的题目及 时更新和删除,增加A2、A3等病例型选择题和案例 分析题等主观题,以不断完善试题库的建设;另一 方面,组卷过程中,要求命题教师严格以课程大纲为依据,并结合往年的试卷分析报告控制试卷的总 体难度。
3.2.3考试流程标准化
同质化考试流程包括统一命题、统一考试和统 一阅卷。命题过程经过专家组卷、专家审卷和考试 中心成卷三个环节后方可提交本科教学办公室及教学院长审核。在每学期的独立考试中随机抽取2~ 3套试卷送校外专家审卷,评审意见会翔实反馈给组卷专家和审卷专家。考试由本科教学办公室统一 安排考试时间、考试地点并实施考务管理。
3.2.4阅卷标准化
考试结束后,考试中心统一组织阅卷,客观题 由机器阅卷,主观题组织各教学医院专家及教学骨 干统一流水线阅卷,保证评价环节的客观性。现场 阅卷时,审卷专家团队对难度过低的题目、各教学 医院学生成绩差异较大的题目以及有争议的题目进行知识点解析和评分标准校订,以保证考试成绩 的客观性和准确性。对于有争议的题目、进行矫正 的题目以及个别教学医院教学中缺失的知识点均需记录在试卷分析表中。
学生自评
学生互评
教师评学生
教师自评
学生评教师
专家评教师教学管理
教学活动一
评价
教师
[反思教学管理j
学生
反思教学过程
反思学习过程
设计问题自主学习解决问题
作业
测验
PBL讨论
实验报告
实习记录
OSCE
D0PS
mini-CEX 反馈
图1形成性评价闭环反馈体系
3.2.5试卷分析反馈标准化
考试中心对独立考试结果进行试卷分析,每门 课程形成一份试卷分析报告。报告中除对各课程考 试成绩进行均分、标准差/正态分布、信度和效度等 描述性分析外,还要对各教学医院学生的均分进行 比较。此外,对于试卷中正答率低于20%及标准差 大于15的试题,请审卷专家进行试题知识点解析和 可能的原因分析,如知识点陈旧或超纲、指南未更 新、试题质量不佳、不同教学医院授课侧重点不同 以及学生临床思维能力不足等。
3.2.6撰写课程质量报告两会推迟到什么时间召开
考试中心将各门课程的《试卷分析报告》反馈 给临床教学管理部门,就本次考试结果分析对学生
进行考点的解析和反馈;各教学医院的教学管理部 门及时撰写《基于考试结果分析的课程质量报告》。
报告中需涵盖以下内容:①试题与教学大纲契合度 分析;②正答率较低的试题知识点解析;③基于考试结果的教学知识点如何全覆盖分析;④课程质量 控制分析;⑤课程建设规划及改进措施;⑥意见和建议。
3.2.7终结性评价闭环反馈体系
考试中心将各门课程的《试卷分析报告》反馈 给教师和临床教学管理部门。教师就本次考试结果 对学生进行知识点的解析和反馈;教学管理部门及 时撰写《基于考试结果的课程质量报告》,并提出课 程建设的整改措施、规划和建议。在《课程质量报 告》的基础上,考试中心进一步规范同质化独立考试流程,教学管理部门完善教学管理流程并召开课 程会议指导解决教学中存在的问题,最终形成终结 性评价闭环反馈体系(图2)。终结性评价闭环反馈 体系有助于指导专业教师进一步提高教学质量,学生进一步了解自己的学习弱点和反思自己的学习 方法,也促进教学管理部门进一步优化教学管理和 提局命题质量。
甘肃疫情最新消息
4思考和展望
本院在构建以岗位胜任力为导向的考核评价 体系的探索和实践中,设计了在线形成性评价系统 (formative assessment system,F A S),用于规范形成性 评价的量和提升形成性评价的质。以课程为单位在 教学大纲中明确形成性评价的次数和方式,指导教 师以岗位胜任力为导向选择测量不同能力的量表 或者自行设计量表并导入系统。F A S协助教师和学 生通过信息化手段对学生学业的全过程进行多种 能力的测量和评价,并通过在线及时反馈和讨论区 交流,引导教师和学生分析能力不达标的原因及学 生学习过程中的问题,不断修正教学过程。目前,仅 P B L课程、实验课和临床见习课程使用F A S系统进 行形成性评价,未来希望能够拓展至全部理论课程、特课程和科创活动等更多的场所。
2015年,本院考试中心开始对每门课程终结性 考核评价结果进行试卷分析和反馈,但是学生反馈 的仅为成绩和绩点,缺乏知识点的解析和反馈;教师 反馈仅为考试结果的描述性分析,缺乏对正答率过 低的题目、知识和技能未达标的原因分析;课程反 馈则缺乏基于考试结果分析的教学过程的思考和 课程整改的举措。2018年,本院通过终结性评价闭 环反馈体系的构建,加强对考试结果、知识点及原 因分析的全面反馈,并依托课程质量报告引导教学 团队对下一阶段的教学过程提出优化措施,实现了 考试对课程质量的闭环控制功能。在每学期举行的 学生座谈会和教学例会上该举措得到了本院师生
反馈
馈图2终结性评价闭环反馈体
•教育评价•
基于雨课堂教学在国内本科医学
课程中教学效果的系统评价
李光校1
王溪原2
宋维军2
李莹2
1中国医科大学附属第一医院病案管理中心,沈阳
110001;2中国医科大学公共卫生
学院人才培养与学科科研管理办公室,沈阳110122 通信作者:李营,E m a il :liy @c m u .e d u.c n
【摘要】目的采用Meta 分析方法评价雨课堂教学法和传统教学法对国内医学本科生学习效果 的影响。方法检索中国知网、万方医学网、维普数据库及中国生物医学文献数据库,查有关雨课堂 教学法与传统教学在医学本科教育中应用的教学效果比较的随机对照研究;检索时限从建库至2019 年10月;按照既定的纳人、排除标准筛选文献,提取资料并采用Jadad 量表评价文献质量后,采用
Stata 12.0软件进行Meta 分析。结果最终纳入20个随机对照研究;共3 662名医学本科生。Meta 分 析结果表明,雨课堂教学组的理论和实践技能成绩均高于传统教学组(理论成绩:WMD=8.52,95%CI=
7.30~9.74, P<0.001;实践技能成绩:WMD=8.95,95%CI=5.42~ 12.49,P<0.001)。结论雨课堂教学法有 助于提高医学本科生的理论和实践技能成绩,其应用的教学效果优于传统教学;并为雨课堂教学法在 医学本科课程中的推广应用提供了循证依据。
【关键词】雨课堂;医学课程;本科生;M eta 分析 【中图分类号】R-05
河南2023年公务员考试职位基金项目:中国医科大学“十三五”医学教育科学研究课题青年项目(YDJK2018049)
DOI: 10.3760/cma.jl 16021-20191219-00372
的一致好评。未来学院将对课程质量报告进行研究
分析,提取共性问题并研究解决方案,为修订和完中医助理医师考试报名入口
善考核评价体系提供依据。利益冲突所有作者均声明不存在利益冲突 作者贡献声明魏春岚:提出论文选题、构架及撰写论文;柴健民、 刘瑞麟,杨军、沈慧霞、吕立夏:参与具体的考试研究工作、论文构
思;杨文卓:总体把关、审定论文
参考文献
[1] Calhoun JG, Wrobel CA, Finnegan JR, et al. Current state in U .S.
public health competency-based graduate education [J]. Pub Heal
Rev, 2011, 33(1): 148-167. DOI : 10.1007/BF03391625.
[2] 马骅,王长青,张敏.临床中医师岗位胜任力模型构建初探[J].
时代教育,2016(13): 170-171. DOI: 10.3969/j.issn.l672-8181.
2016.13.121.
[3] 陈明华,张丽,马语莲,等.医师岗位人文胜任力与医学人文
教育改革[J].南京医科大学学报:社会科学版,2017, 17(5):
415-419. DOI : 10.7655/NYDXBSS20170517.
[4] Frenk J, Chen L, Bhutta ZA, et al. Health professionals for a new century: transforming education to strengthen health systems in an
interdependent world [J]. The Lancet, 2010, 376(9756): 1923-
1958. DOI : 10.1016/s0140-6736(10)61854-5.[5] Viet N Q . Competence-based vocational education and training in
Viet Nam: input and process towards learning outcomes [J].
Competence-based Vocational and Professional Education, 2017:
469-485. DOI : 10.1007/978-3-319-41713-4_22.[6] 崔慧先,武宇明,张敏,等.临床医学专业课程改革与卓越医 师培养的设计与实践[J].医学教育管理,2015, 1(2): 100-103.
DOI: 10.3969/j.issn.2096-045X.2015.02.003.[7] 朱文华,方力争,王晓静,等.基于岗位胜任力的全科
住院医 师多维度能力评估的探索[J].中国全科医学,2016, 19(34): 4220-4224. DOI : 10.3969/j.issn.l007-9572.2016.34.015.[8] Accreditation Council for Graduate Medical Education. Milestones annual report 2018[EB/OL]. (2019-10-08)[2019-12-05]. https^/www. /P 〇rtals/0/PDFs/Milestones/2018_Milestones_National_ Report_2018-09-18_fmal.pdf? v er=2018-09-19-142602-030.m 孙宝志,李建国,王启明.中国临床医生岗位胜任力模型构建 与应用[M].北京:人民卫生出版社,2015: 45-50.
英语六级怎么学才能过[10] 孙宝志,王县成.“5+3”模式培养临床医学人才胜任力阶梯标
准及医学考试方法研究[M].北京:人民卫生出版社,2018: 1-9.
[11] Scriven M . Types of evaluation and types of evaluator [J]. American
Journal of Evaluation, 1996, 17(2): 151-161. DOI: 10.1177/
109821409601700207.
(收稿日期:2019-12-17)(本文编辑:曾玲)