Hadoop大数据技术与应用
（含实验）
教学大纲
前言
一、大纲编写依据
《Hadoop大数据技术与应用》是数据科学、大数据方向本科生的一门必修课。通过该课程的学习，使学生系统的学习当前广泛使用的大数据Hadoop平台及其主要组件的作用及使用。课程由理论及实践两部分组成，课程理论部分的内容以介绍Hadoop平台主要组件的作用、结构、工作流程为主，让学生对Hadoop平台组件的作用及其工作原理有比较深入的了解；课程同时为各组件设计有若干实验，帮助学生在学习理论知识的同时，提高学生的实践能力，系统的掌握Hadoop主要组件的原理及应用，为其他相关课程的学习提供必要的帮助。
二、课程目的
1、知识目标
靖江人才网学习Hadoop平台框架，学会手动搭建Hadoop环境，掌握Hadoop平台上存储及计算的原理、结构、工作流程，掌握基础的MapReduce编程，掌握Hadoop生态圈常用组件的作用、结构、配置和工作流程，并具备一定的动手及问题分析能力，使用掌握的知识应用到实际的项目实践中。
2、能力目标
(1) 工程师思维方式
通过本课程的学习，引导学生养成工程师逻辑思维、系统思维的思维方式及习惯。
(2) 分析及解决问题的能力
课程中实验由浅及深，有一定的步骤及难度，操作不当可能会遇到问题；遇到问题时老师会给出引导，但不会直接告诉解决方法，因此，如何分析、分析完成后实施具体的解决步骤，都需要学生摸索完成，在这个摸索实践过程中，学生的分析及解决问题的能力得到培养。
三、教学方法
1、课堂教学
(1) 讲授
本课程的理论教学内容以讲授为主、辅以操作演示，讲授的主要内容有：Hadoop概述，Hadoop安装部署，分布式文件系统HDFS，分布式计算MapReduce，资源管理调度组件YARN，列式存储HBase，数据仓库组件Hive，数据分析引擎Pig，日志采集组件Flume等。根据教学大纲的要求，突出重点和难点。
(2) 教师指导下的学生自学
实践课程由若干实验组成，每个实验都包含实验目的、实验原理、实验环境等，需要学生结合理论知识，充分发挥自主学习的能力来完成实验，老师在这个过程中更多起到辅导的作用。
(3) 其它教学方法
采用多媒体辅助教学手段、提供实验相关视频，结合传统教学方法，解决好教学内容多、信息量大与学时少的矛盾；充分利用教学实验系统EDU资源和学校的图书馆的资源优势，查阅与课程相关的资料；通过辅导学生完成实验来提高学生的综合处理问题的能力和软件开发的能力。
2、课外学习
作业1：课外练习。
作业2：上机实验报告。
四、适用对象
数据科学与大数据技术、计算机科学与技术、软件工程、信息安全、信息管理、网络、数学、统计学专业。
五、先修课程及后续课程（或相关课程）
先修课程：《高级语言程序设计（Java）》、《Linux》、《大数据导论》、《数据库原理》；
后续课程：《数据挖掘》、《Spark大数据技术与应用》
六、课程性质
必修。
七、总课时及各章的分配
八、使用教材及主要参考书目
1、选用教材
许桂秋：《Hadoop大数据技术与应用》人民邮电出版社，2019年3月。
2、主要参考书目
Tom White：《Hadoop权威指南：大数据的存储与分析（第4版）》，清华大学出版社，2017年7月。
2022年下半年英语四六级考试报名
林子雨：《大数据技术原理与应用：概念、存储、处理、分析与应用（第2版)》，人民邮电出版社，2017年1月。
九、考核方式及成绩评定标准
1、考核内容与形式
(1) 知识类考核
本课程采用闭卷考试形式。重点考试内容：HDFS、MapReduce、HBase、Hive、Pig、Flume等组件的使用方法。
(2) 能力类考核
利用学生平时作业、课堂提问与讨论考查学生的学习能力，理解和掌握相关知识的程度以及实际应用能力。
通过实验考查学生的实践动手能力、软件开发能力，促进学生自主性学习和研究性学习，启迪学生的创新思维。
2、课程成绩构成
(1) 平时成绩占百分比
平时成绩(包括平时考勤、作业情况和上机实验情况)占总分40%
(2) 考试成绩占百分比
期末考试成绩占总分60%
第一章初识Hadoop大数据技术
第一节大数据概述
了解什么是大数据、大数据简史、大数据的类型和特征、大数据对于企业带来的挑战。
第二节大数据相关问题的解决方法（本章重点）
了解对于大数据问题，传统方法、Google的解决方案、Hadoop框架下的解决方案，重点了解Google的三篇论文。
今日十大新闻
第三节Hadoop概述（本章重点）内初班考试成绩查询2022
了解Hadoop核心构成、Hadoop生态系统的主要组件、Hadoop发行版本的差异及如何选择。
第四节Hadoop应用案例
了解Hadoop典型应用场景。
第五节Java基础（本章重点、难点）
了解本课程内容涉及到的Java语言基础。
第六节Linux基础（本章重点、难点）
了解本课程实验涉及到的Linux基础。
第二章Hadoop环境设置
第一节安装前准备
了解Hadoop环境搭建前所需做的准备工作。河南省人社厅网站查询
基金从业历史成绩查询第二节Hadoop模式（本章重点）
逐一介绍Hadoop的三种模式：单机、伪分布式和完全分布式。