信息学科前沿1—邱强
《大数据概述及空间大数据应用
教学大纲
一、课程编号:
二、课程名称:信息学科前沿1
三、先修课程: 选修
四、课程的性质、目的和任务:
本课程为选修课程。大数据是工业界及学术界新兴数据、技术和服务的集合体是一门综合性较强的应用课程,可以作为计算机等相关专业专业选修课,或其他专业感兴趣同学的公共选修课。
本课程从大数据的基础概念出发,从技术的角度梳理了大数据相关技术体系,关键技术展
开描述,并以空间大数据应用为场景,介绍地图应用以及LBS服务,培养学生在具体行业应用中体会大数据概念和技术。
通过本课程的学习,培养学生加深对大数据相关概念的理解,掌握基础的大数据研发技能,并引导学生对具体的大数据技术进行深入的研究为未来从事大数据相关科研和工程技术开发打好基础。
五、本课程讲授和实验学时
本课程讲授总时数为36学时,学分。
六、本课程应掌握的基本概念、基本理论、基本技能
    通过本课程的学习,学生学会大数据存储、分析以及可视化相关概念。熟悉当前常用的大数据开发框架Hadoop、Spark等,熟悉内存计算技术,掌握地图应用及LBS的基本概念和技术。能够实际应用案例中体会大数据技术特点。
七、教科书、参考书
  参考书
《大数据技术原理与应用(第2版)》(林子雨)
《大数据时代》((英)迈尔-舍恩伯格,(英)库克耶)
八、课程内容与学时分配
第一章大数据概念综述公务员考试是国考还是省考(3学时)
主要内容
1.1什么是大数据
1.2什么是空间大数据
1.3大数据特征
教学目的与要求
掌握大数据及空间大数据的基本概念,了解大数据发展过程。通过典型应用案例了解大数据在行业中的应用价值。掌握大数据4V特征,以及空间大数据独有的数据特征。
第二章 大数据技术总览(3学时)
主要内容
21大数据存储技术
22大数据分析技术
23大数据可视化技术
教学目的与要求
了解大数据存储、分析以及可视化方面的技术概要掌握大数据相关研究的技术体系,后续章节详细学习具体技术点做准备。
第三章 Hadoop框架 (3学时)
主要内容
31 Hadoop起源
32 Hadoop架构原理
33 Hadoop安装部署
34 Hadoop应用案例
教学目的与要求
了解Hadoop项目起源,掌握Hadoop基本架构原理,掌握Hadoop的安装部署过程,通过应用案例加深对Hadoop应用的理解。
第四章 MapReduce计算模式 (3学时)
主要内容
4.1 MapReduce起源
4.2 MapReduce原理
4.3 MapReduce编程
4.4 MapReduce应用案例
教学目的与要求
了解MapReduce起源,掌握MapReduce计算模式的基本原理,通过编程实例掌握MapReduce基本编程方法。通过具体的应用案例,加深对MapReduce计算过程的理解。
第五章 HDFS分布式存储 (3学时)
51 HDFS简介
52 HDFS基本结构
53 HDFS技术原理
了解HDFS基本原理和结构特征,掌握HDFSHadoop框架下的适用场景,掌握HDFS技
原理
第六章 HBase(3学时)
主要内容
6.1 Hbase简介
62 Hbase架构原理
6.2023年公务员考试准考证打印3 Hbase2022法考报名考试入口安装部署
6.4 Hbase应用案例
教学目的与要求
了解Hbase的基本架构原理,掌握Hbase安装和部署过程,通过应用案例,加深对Hbase应用的认识。
第七章 NoSQL数据库(3学时)
主要内容
7.1 NoSQL数据库简介
7.2 NoSQL数据库技术特征
7.3 NoSQL数据库分类
7.4 NoSQL数据应用示例
教学目的与要求
熟悉NoSQL数据库的基本概念,通过与传统数据库对比,掌握NoSQL数据库基本技术特征,掌握主流的NoSQL数据库分类及适用场景。通过具体的应用示例加深对NoSQL数据库的理解。
第八章 Spark框架 (3学时)
主要内容
8.1 Spark概述
8.2 Spark核心概念
8.3 Spark编程实例
8.4 Spark应用案例
教学目的与要求
熟悉Spark的基本概念,掌握Spark框架核心技术内容,特别是与Hadoop框架的联系与区别。掌握内存计算、RDD等核心概念。掌握Spark基本编程方法,通过应用案例加深对Spark的理解。
第九章 地图应用 (3学时)
主要内容
9.1 GIS概述
9.2 空间分析
9.3 常用GIS软件
教学目的与要求
熟悉GIS的基本概念,理解图层、矢量数据、空间要素等名词的含义。了解空间分析基本内容,包括矢量空间分析和栅格空间分析算法,如网络分析、连通域分析等。了解常用的GIS软件以及开源项目。
第十章 LBS服务(3学时)
主要内容
10.1 LBS概述
10.2 空间定位方法
10.3 基于LBS和GIS的技术开发应用
教学目的与要求
  了解LBS基本概念,会计专硕分数线熟悉常用的空间定位方法,包括GPS、Wifi、通过LBS应用案例了解LBS和GIS的技术开发应用。
第十一章 空间大数据项目实践(6学时)
11.1 电子商务中大数据项目实践
11.2 水质环境监测项目中空间大数据项目实践
    通过电子商务、水质环境监测等实际科研及工程项目,了解大数据技术的应用。熟悉电商网站进行大数据分析的基本过程,包括数据采集、清洗、分析和可视化过程。熟悉水质环境监测项目中如何运用大数据分析方法进行水质预警和分析的实践过程。
教师介绍: 邱强, 2010年毕业于山东大学软件学院软件工程系,同年以硕博连读生保送到中国科学院计算技术研究所攻读博士学位,2015年毕业,获工学博士学位。现任中国科学院计算技术研究所计算机应用研究中心工程师。主要研究方向包括空间大数据分析并行
计算技术,GIS理论与方法等。先后参与“全空间信息系统与智能设施管理 基于云计算和大数据技术的生活饮用水水质监测分析预警平台科技部重大专项、国家863及横向课题研究。
信息学科前沿1—任长娥
大数据和Python程序设计》教学大纲
一、课程介绍
课程内容概要:数据科学和大数据分析在当今社会炙手可热,本课程主要探讨大数据时代及其背后的科学问题,并以Python语言为工具,利用Python第三方库,以实际数据为基础,通过构建一个个喜闻乐见的案例,让大家可以以更直观的方式领略Python的简洁、优雅和健壮,同时探讨Python在商业领域、人文社科类领域以及在数学、电子和计算机等理工类领域中具有的便捷高效的数据处理能力。在使用Python的同时,可深入了解并获取大数据,从而进一步使用大数据解决各专业以及各领域中的存在的实际问题。
本课课程对学生专业背景和知识基础不做严格限制,不局限某个专业和某个年级的学生,
鼓励各年级学生跨学科选修。
二、教学目标
过本课程的学习,使得学生能够了解什么是大数据,以及大数据对人类生活产生的影响,理解Python的编程模式(命令式编程、函数式编程),熟练运用Python运算符、内置函数以及列表、元组、字典、集合等基本数据类型和相关列表推导式等特性来解决实际问题,熟练掌握Python分支结构、循环结构、函数设计以及类的设计与使用,熟练使用字符串方法,适当了解正则表达式,熟练使用Python读写文本文件,适当了解二进制文件操作,了解Python程序的调试方法,了解Python面向对象程序设计模式,掌握使用Python操作数据库的方法,掌握Python+pandas进行数据处理的基本用法,掌握使用Python+matplotlib进行数据可视化的用法,同时还应培养学生的代码优化与安全编程意识。让学生在学习过程中,应充分发挥Python语言的优势,从最简单、最直观的思路出发,尽快解决问题。
三、授课对象
信息工程学院在读本科生。
四、教学内容、学时
第1章 什么是大数据?2学时)
    1.大数据时代的思维变革
2.大数据时代的商业变革
3.大数据时代的管理变革
第2章 初识Python(2学时)
    1.什么是Python语言
2.安装Python
3.第一个Python程序
4.良好的编程约定
5.Python语法基础
第3章 数据类型和函数(3学时)
1.数据类型、基本运算广西人才网
2.模块和包
3.条件和循环
  4.函数、自定义函数、递归函数
5.Python常用的库函数
第4章 数据的获取与表示(6学时)
1.本地数据获取
2.网络数据获取
3.数据结构-列表、元组、字典和序列
4.爬虫项目
第5章 数据处理(3学时)
1.数据分析的三个包Numpy、Scipy、Pandas
2.数据准备
3.数据处理
第6章 数据分析(3学时)
1.基本统计分析
2.分组分析
3.分布分析
4.交叉分析
5.结构分析
6.相关分析
7.聚类分析
第7章 数据可视化(3学时)
1.Matplotlip绘图示例
2. pandas的可视化功能
3.Seabonzhong的图例
第8章 类和面向对象 (2学时)
1.类
2.属性的使用
3.继承、私有
4.类与面向对象
第9章 图形用户界面(2学时)
1.初始图形用户界面
2.GUI开发包
3.拖拽组件
4.编译成可执行文件的实现过程
综合训练 (6学时)
1.航空客户分类
2.文本相似性比较
3.定制新闻提醒服务
桂林人才网最新招聘五、先修课要求及教学方法建议
先修课程:无
教学方法建议:本课程采用理论讲授法、讨论法、演示法以及上机实验法进行的教学。理论讲授指导实验,通过讨论实验结果进一步巩固理论知识。
课程考核
1.考核目标:与教学目标一致
2.考核方式:考查(提交论文/实验报告)
3.考核内容
4.评分标准:满分100分:出勤(20%)+ 课堂提问、讨论及课堂作业(20%)+ 平时作业/实验报告(20%)+ 论文(40%)。
5.填写《首都师范大学考试(考查分析表,与学生考试试卷考查的论文调查报告、实验报告、读书报告等一并保存一年
教材及参考资料
参考教材
(1)Python编程从入门到实践, Eric Mathes著, 2016.7(2018.3重印)人民邮电出版社