Software Engineering and Applications 软件工程与应用, 2021, 10(2), 177-184
Published Online April 2021 in Hans. /journal/sea
/10.12677/sea.2021.102021
基于面部特征识别的远程教学辅助系统
刘浩伟，朱清源，孙天凯
徐州工程学院信息工程学院，江苏徐州
收稿日期：2021年3月22日；录用日期：2021年4月19日；发布日期：2021年4月26日
摘要
公务员考试出结果时间
目前网络上的远程教育软件可以提供学生和老师的实时视频和语音，但受限于网络带宽和数据查询不便等问题，教师无法观察到所有学生在课堂中的状态和响应，无法及时根据反馈调整在线课堂教学的教学方式和课堂节奏，只能有限的观察部分学生的信息。针对远程教育中获得学生实时反馈能力低下和管理不便的问题，给出一种基于面部特征识别的远程教学辅助系统。采用Python框架，首先通过opencv技术将前端采集的图像进行处理，抓取人脸和对齐，数据通过百度企业级人脸识别和人脸检测与属性分析接口，获取面部特征信息，对返回的面部特征信息进行识别，得出状态结果，实时传入学生和教师前端。教师还可以访问数据库进行历史上课状态数据查询。本系统主要是为了给使用远程教育使用者提供一个能够系统的查看和管理大量学生状态信息的远程教学辅助系统。
关键词
研究生考试调剂是怎么回事远程教育辅助，人脸检测，面部特征识别，课堂评估
Online Teaching Assistant System Based on Facial Feature Recognition
Haowei Liu, Qingyuan Zhu, Tiankai Sun
Institute of Information Engineering, Xuzhou University of Technology, Xuzhou Jiangsu
Received: Mar. 22nd, 2021; accepted: Apr. 19th, 2021; published: Apr. 26th, 2021
Abstract
At present on the network remote education software can provide students and teachers live vid-eo and voice, but is limited by the network bandwidth and data query inconvenience, teachers
安徽成考网刘浩伟等
can’t observe the state of all the students in the classroom and response, not timely adjusted ac-cording to the feedback online teaching mode of classroom teaching and limited observation only
a part of the student’s information. In order to solve the problems of low ability to obtain real-time
feedback from students and inconveniences to manage students’ data in Online education, a On-line teaching assistant system based on facial feature recognition is proposed. Using Python frame-work,
first of all, through opencv technology will front-end collection of image processing, fetching faces and alignment, the data Baidu enterprise face recognition and face detection and attribute analysis interface, facial features information, the return of facial feature information, which can identify state results, real-time front-end incoming students and teachers. Teachers can also access the database for historical class status data query. This system is mainly for the use of online edu-cation users to provide a system to view and manage a large number of students’ state information teaching system.
Keywords
Online Education Assistance, Face Detection, Facial Feature Recognition, Teaching Evaluation
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
/licenses/by/4.0/
1. 引言
疫情防控期间，受限于线下教学无法展开，远程教学快速发展。千万大中小学生上线“空中课堂”，远程艺考，远程考研复试，也带来了许多挑战。传统的在线教育中，教师无法感知学生体的个性、状态和对课堂的表情反馈的，这使得在线教育中，教师很难动态调整教学节奏，从而影响到学生学习与成长。缺少有效的信息来判断学生在线学习的过程中的具体情况。
为了解决上述问题，本系统将人工智能技术与远程教育相结合，使得教学过程更加贴近真实的线下教学。基于面部特征识别的远程教学辅助系统，能很好的分析及评估学生接受远程教学的状态，并分析和管理这些数据。方便授课教师实时调整教学方式和课堂节奏。具体研发了具有通过面部特征识别，实时分析和管理大量学生状态反馈的远程教学辅助系统。首先通过opencv技术[1]将前端采集的图像进行处理，抓取人脸和对齐，将数据百度企业级人脸识别和人脸检测与属性分析接口[2]，获取面部特征信息，对返回的面部特征信息进行识别[3]，得出状态结果。在不用负载大量网络数据的情况下，教师可以在前端实时查看学生的状态信息，确定在线教学的节奏和走向[4]。基于面部特征识别的远程教学辅助系统大幅提升了远程教育的质量。
2. 课题需求
1) 学生凭借初始学号和身份证登陆，登陆后修改密码
2) 学生首次登陆需要扫描面部特征信息，记录入库供后续身份验证。
3) 教师凭借初始工号和身份证登陆，登陆后修改密码。
4) 学生可以开始上课、结束上课、查看个人信息和学习记录。
5) 教师可以创建课程，管理本课程的学生。
6) 教师可以查看所有学生实时上课的状态信息。
7) 系统管理员管理学生和教师的用户基本信息。
刘浩伟等3. 需求分析建模
基于面部特征识别的远程教学辅助系统的使用者是学生和教师。在课堂范围内，教师可以对学生进行管理。管理员对学生和教师的用户信息进行管理。
管理员管理学生和教师注册时的审核，学生和教师账号信息的修改，学生人脸特征信息的重置，学习记录的删除等。
学生和教师注册成功后即可使用系统功能。学生可以查看个人信息和学习记录，并在本地通过面部特征识别，使用开始上课实时上传状态信息。教师可以管理课堂信息，查看所有学生实时上课的状态信息和历史学习记录。
基于面部特征识别的远程教学辅助系统业务用例图如图1。
2020年事业单位招聘
Figure 1.System business use case diagram
图1. 系统业务用例图
4. 系统分析建模
学生信息：包括学生学号、姓名、课堂、人脸特征、学习记录等。
教师信息：包括教师编号、教师名称、从属课程、从属学生等。
课程信息：包括课程名、从属学生、从属教师等。
账户信息：包括账户号、密码、等。
管理员信息：包括管理员账号、姓名等。
基于面部特征识别的远程教学辅助系统分析类图，如图2。
刘浩伟 等
Figure 2. System analysis class diagram
图2. 系统分析类图
基于面部特征识别的远程教学辅助系统流程图如图3。
中级会计考了感觉没用
Figure 3. System design process diagram
图3. 系统流程图
基于面部特征识别的远程教学辅助系统系统功能架构图如图4。
刘浩伟等
Figure 4.Software functional architecture design diagram
图4.软件功能架构设计图
5. 模块分析
5.1. 视频采集和预处理
通过本地摄像头，实时采集上课学生图像信息。在学生本地摄像头条件下拍摄的人脸，存在着人脸角度不正、部分脸面暗光、部分脸面强光、人脸被遮挡、人脸模糊、背景过亮、摄像头直视光源、噪点过高等问题。直接通过学生摄像头采集的人脸图像质量较低。
对于这种人脸质量比较低的图像，直接进行人脸检测与属性分析的效果不是特别明显，质量较差的图像，会增加模型识别的错误率。为了提升模型识别准确率，对采集的人脸图像进行预处理，提升图像质量，有效的获取较低质量图片中面部特征信息。
预处理的操作主要通过图像增强和人脸对齐。源数据流是学生本地采集的视频，因此图像增强主要有单帧增强和视频多帧补偿等方法。低质量图像通过暗光亮光平衡、超分辨率、高斯降噪、模糊补偿等方法得到高质量图像。背景过亮或人脸过暗的图像通过图像增强，可以获得更多的面部特征细节，提升面部特征信息的识别率。人脸上还有重要的固定位置信息关键点。关键点由眼角位置、鼻子位置、
嘴巴角度、脸的轮廓点等组成。关键点是人脸坐标系的坐标原点，人脸对齐关键点拟合算法实现。获取的原始图像中，人脸可能比较歪，根据关键点，使用变换将人脸统一对齐，尽量去消除姿势不同带来的误差，裁剪合适的图像上传到接口。
5.2. 状态识别模块
通过人脸检测与属性分析接口获得的面部特征信息，通过对面部特征信息的识别，判定学生的实时上课状态。首先利用在线接口，百度企业级人脸识别和人脸检测与属性分析接口，获取面部特征信息。在线接口不占用学生本地设备过多算力，依旧有很好的识别率。快速检测人脸并返回人脸框位置，准确识别人脸关键点，输出面部特征信息。通过返回的信息，获得人脸姿态角度、人脸完整度、嘴巴张开距离比例[5]、嘴角上扬角度、眉毛上扬程度、眼睛开合距离比例和是否有手支撑等信息来识别[6]学生的实时课堂状态。然后将这些值量化，对于状态信息使用0~5分表示，特殊注明闭眼和未出现人脸的缺课情况。
5.3. 课堂评估模块
高中学业水平考试缴费入口通过状态识别模块获得的学生个体在课堂的专注状态，课堂评估模块将这些数据分析整合，并上传