| 开本：16开 |
| 纸张：胶版纸 |
| 包装：平装 |
| 是否套装：否 |
| 国际标准书号ISBN：9787302606932 |
| 所属分类：图书>计算机/网络>数据库>数据库理论 |
商品详情
书名 大数据开发基础与实践微课版）
出版社 清华大学出版社
出版日期
号
《大数据开发基础与实践微课版）》从初学者角度详细介绍了大数据开发的基础知识和对应的项目开发实践。全书共七个项目开发案例。个项目是大数据集群环境搭建，包括虚拟机、环境、、、、等平台的安装和配置；第二个项目是数据仓库构建，包括、的安装与配置；第三个项目是访问实践，包括访问文件系统和编程实践；第四个项目是大数据采集实践，包括利用编程语言、库采集网页数据，并介绍利用等技术对数据进行采集的方法；第五个项目是大数据清洗实践，包括利用编程方式和工具对数据进行清洗；第六个项目是大数据分析实践，包括利用和对数据进行清洗；第七个项目是大数据可视化实践，包括利用和对数据进行可视化。
通过以上七个项目的开发与应用实践，将会提高读者的大数据开发应用实践能力。《大数据开发基础与实践微课版）》配备教学、教学视频、教学补充案例等资源。为了帮助读者更好地学习书中的内容，还提供了在线答疑。
《大数据开发基础与实践微课版）》基础理论与实践相结合，内容深入浅出，并配合实际的项目，适合致力于大数据开发方向的编程爱好者使用，也适用于高职高专以及应用型本科学生作为大数据教程。
黄天春，工信部项目管理师（）、重庆城市职业学院副教授，工信部系统集成项目经理，认证的架构师，从事软件开发和高校教学年，主持重庆市市级重点课题项目，主编出版大数据专业教材本。
《大数据开发基础与实践微课版）》重点围绕 版本集群环境的搭建为基础，介绍的三大组件、、，突出其原理和编程实践，通过实例介绍的存储原理，再介绍通过来实现离线计算。此外再介绍与紧密相联系的两个平台列式数据库和数据仓库，分别介绍其安装配置、存储、分析使用原理，适合大数据专业学生作为专业教材和大数据入门爱好者作为学习指导书。并且配套资源丰富，本书提供教学大纲、教学课件、电子教案、习题解答、程序源码等多种教学资源，对重要的知识点和操作方法并提供视频讲解，扫描书中对应的二维码可以在线观看、学习。
项目 大数据集群环境搭建
【项目知识】
知识 大数据处理框架
大数据的基本概念
大数据处理框架分类
大数据处理框架的选择
知识 组件介绍
分布式系统框架
生态圈
典型应用架构
【项目实施】
任务 安装系统
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 数据仓库构建
【项目知识】
知识 数据仓库
数据仓库的基本概念
数据仓库的特点
数据仓库的建立过程
知识 环境下数据仓库的组件介绍
数据仓库的架构
介绍
介绍
【项目实施】
任务 安装数据库
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 访问实践
【项目知识】
知识 基础知识
的基本概念
的访问接口
访问主要编程步骤
知识 基础知识
概述
编程模型
编程组件
【项目实施】
任务 基础开发环境准备
【】任务简介
【】相关知识
【】任务实施
任务 程序开发
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 基于实现网络云盘开发
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 离线计算之词频统计
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 离线计算之排序
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 大数据采集实践
【项目知识】
知识 数据采集基础知识
数据采集技术综述
数据采集的方式
知识 网络爬虫基础知识
网络爬虫的定义
网络爬虫的原理
网络爬虫的分类
网络爬取策略分类
简单网络爬虫的架构
网页内容解析技术
【项目实施】
任务 开发环境配置
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用获取新闻信息
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用进行图片爬取
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 浏览器伪装与解析
【】任务介绍
【】相关知识
【】任务实施
【】任务拓展
项目 大数据清洗实践
【项目知识】
知识 大数据清洗的概念
知识 大数据清洗的目的
知识 大数据清洗的技术
知识 大数据清洗的路径
【项目实施】
任务 基于信息的清洗
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 基于的数据清洗
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 大数据分析实践
【项目知识】
知识 大数据分析的概念
知识 大数据分析的工具
知识 大数据分析的方法
知识 大数据分析的范畴
知识 大数据分析的步骤
【项目实施】
任务 利用对电商数据进行分析
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用 对数据进行分析
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 大数据可视化实践
【项目知识】
知识 大数据可视化的概念
知识 大数据可视化常用工具
【项目实施】
任务 利用对数据进行可视化
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用对数据进行可视化
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 大数据分析处理可视化综合实践
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
参考文献
为什么要写这本书
大数据是现代社会高科技发展的产物。相对于传统数据库，大数据是海量数据的集合，它以采集、整理、清洗、存储、挖掘、共享、分析、应用、可视化等功能为核心，正广泛地应用于电商、金融、医疗、政务等各个领域。
当前，发展大数据已经成为战略，大数据在引领经济社会发展中的新引擎作用更加明显。年，“大数据”出现在我国政府工作报告中，并提到要设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展。“大数据”一词逐渐在国内成为热议的词汇。年国务院正式印发《促进大数据发展行动纲要》，明确指出要不断地动大数据发展和应用，在未来打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济新机制，建立以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。
本书主要内容
本书以项目一体化的方式深入地讲解了大数据环境搭建、大数据采集、大数据清洗、大数据分析、大数据可视化的基本知识及实现的基本技术和方法，在内容设计上，既有详细的基础知识，又有大量的实践环节，理论与实践相结合，可极大地激发学生在课堂上的学习积极性与主动创造性，让学生在课堂上跟上老师的思维，从而学到更多有用的知识和技能。
全书共有七个项目，主要内容包括大数据集群环境搭建、数据仓库构建、访问实践、大数据采集实践、大数据清洗实践、大数据分析实践及大数据可视化实践。通过这七个项目开发案例可以使学生强化和巩固对应的知识。
本书主要特点
采用“项目一体化”的教学方式，既有教师的讲述，又有学生独立思考、上机操作等内容。
配套资源丰富。本书提供教学大纲、教学课件、电子教案、程序源码等多种教学资源，对重要的知识点和操作方法提供视频讲解，扫描书中对应的二维码可以在线观看、学习。
紧跟时代潮流，注重技术变化。书中包含了的大数据采集、清洗、分析、可视化等新知识和新技术，并引入了一些主流大数据开源组件，以便学生掌握的知识点更贴近毕业后的就业岗位。
编写本书的教师都具有多年的教学经验，将重点、难点突出，能够激发学生的学习热情。
读者对象
本书既可以作为大数据专业、软件技术专业、计算机网络专业的教材，也可作为大数据爱好者的参考书。同时笔者作为全国职业院校大数据技能竞赛和全国大学生大数据技能竞赛的指导教师，在编写本教材时充分参阅了最近几届全国职业院校大数据技能竞赛项目和全国大学生大数据技能竞赛的竞赛大纲，将竞赛项目的主要考点融入了本书，使本书对参加大数据技能竞赛的学生也有很好的指导和借鉴作用。
本书由黄天春、刘振栋主编。其中，黄天春编写了第～章，刘振栋编写了第、章，阳攀编写了第、章，宋建华、周希宸和曹勇对全书进行了审阅和校稿工作。
本书是校企合作共同编写的结果，在编写过程中得到了科大讯飞股份高教人才事业群和大数据研究院的大力支持，对他们提供的试验案例和数据表示衷心的感谢。
在编写过程中，我们参阅了大量的相关资料，在此表示感谢！
勘误和支持
由于编者水平有限，书中难免会出现一些错误或者表述不准确、不严谨的地方，恳请读者批评、指正。
编 者
书名 大数据开发基础与实践微课版）
出版社 清华大学出版社
出版日期
号
《大数据开发基础与实践微课版）》从初学者角度详细介绍了大数据开发的基础知识和对应的项目开发实践。全书共七个项目开发案例。个项目是大数据集群环境搭建，包括虚拟机、环境、、、、等平台的安装和配置；第二个项目是数据仓库构建，包括、的安装与配置；第三个项目是访问实践，包括访问文件系统和编程实践；第四个项目是大数据采集实践，包括利用编程语言、库采集网页数据，并介绍利用等技术对数据进行采集的方法；第五个项目是大数据清洗实践，包括利用编程方式和工具对数据进行清洗；第六个项目是大数据分析实践，包括利用和对数据进行清洗；第七个项目是大数据可视化实践，包括利用和对数据进行可视化。
通过以上七个项目的开发与应用实践，将会提高读者的大数据开发应用实践能力。《大数据开发基础与实践微课版）》配备教学、教学视频、教学补充案例等资源。为了帮助读者更好地学习书中的内容，还提供了在线答疑。
《大数据开发基础与实践微课版）》基础理论与实践相结合，内容深入浅出，并配合实际的项目，适合致力于大数据开发方向的编程爱好者使用，也适用于高职高专以及应用型本科学生作为大数据教程。
黄天春，工信部项目管理师（）、重庆城市职业学院副教授，工信部系统集成项目经理，认证的架构师，从事软件开发和高校教学年，主持重庆市市级重点课题项目，主编出版大数据专业教材本。
《大数据开发基础与实践微课版）》重点围绕 版本集群环境的搭建为基础，介绍的三大组件、、，突出其原理和编程实践，通过实例介绍的存储原理，再介绍通过来实现离线计算。此外再介绍与紧密相联系的两个平台列式数据库和数据仓库，分别介绍其安装配置、存储、分析使用原理，适合大数据专业学生作为专业教材和大数据入门爱好者作为学习指导书。并且配套资源丰富，本书提供教学大纲、教学课件、电子教案、习题解答、程序源码等多种教学资源，对重要的知识点和操作方法并提供视频讲解，扫描书中对应的二维码可以在线观看、学习。
项目 大数据集群环境搭建
【项目知识】
知识 大数据处理框架
大数据的基本概念
大数据处理框架分类
大数据处理框架的选择
知识 组件介绍
分布式系统框架
生态圈
典型应用架构
【项目实施】
任务 安装系统
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 数据仓库构建
【项目知识】
知识 数据仓库
数据仓库的基本概念
数据仓库的特点
数据仓库的建立过程
知识 环境下数据仓库的组件介绍
数据仓库的架构
介绍
介绍
【项目实施】
任务 安装数据库
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 安装
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 访问实践
【项目知识】
知识 基础知识
的基本概念
的访问接口
访问主要编程步骤
知识 基础知识
概述
编程模型
编程组件
【项目实施】
任务 基础开发环境准备
【】任务简介
【】相关知识
【】任务实施
任务 程序开发
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 基于实现网络云盘开发
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 离线计算之词频统计
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 离线计算之排序
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 大数据采集实践
【项目知识】
知识 数据采集基础知识
数据采集技术综述
数据采集的方式
知识 网络爬虫基础知识
网络爬虫的定义
网络爬虫的原理
网络爬虫的分类
网络爬取策略分类
简单网络爬虫的架构
网页内容解析技术
【项目实施】
任务 开发环境配置
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用获取新闻信息
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用进行图片爬取
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 浏览器伪装与解析
【】任务介绍
【】相关知识
【】任务实施
【】任务拓展
项目 大数据清洗实践
【项目知识】
知识 大数据清洗的概念
知识 大数据清洗的目的
知识 大数据清洗的技术
知识 大数据清洗的路径
【项目实施】
任务 基于信息的清洗
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 基于的数据清洗
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 大数据分析实践
【项目知识】
知识 大数据分析的概念
知识 大数据分析的工具
知识 大数据分析的方法
知识 大数据分析的范畴
知识 大数据分析的步骤
【项目实施】
任务 利用对电商数据进行分析
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用 对数据进行分析
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
项目 大数据可视化实践
【项目知识】
知识 大数据可视化的概念
知识 大数据可视化常用工具
【项目实施】
任务 利用对数据进行可视化
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 利用对数据进行可视化
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
任务 大数据分析处理可视化综合实践
【】任务简介
【】相关知识
【】任务实施
【】任务拓展
参考文献
为什么要写这本书
大数据是现代社会高科技发展的产物。相对于传统数据库，大数据是海量数据的集合，它以采集、整理、清洗、存储、挖掘、共享、分析、应用、可视化等功能为核心，正广泛地应用于电商、金融、医疗、政务等各个领域。
当前，发展大数据已经成为战略，大数据在引领经济社会发展中的新引擎作用更加明显。年，“大数据”出现在我国政府工作报告中，并提到要设立新兴产业创业创新平台，在大数据等方面赶超先进，引领未来产业发展。“大数据”一词逐渐在国内成为热议的词汇。年国务院正式印发《促进大数据发展行动纲要》，明确指出要不断地动大数据发展和应用，在未来打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济新机制，建立以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。
本书主要内容
本书以项目一体化的方式深入地讲解了大数据环境搭建、大数据采集、大数据清洗、大数据分析、大数据可视化的基本知识及实现的基本技术和方法，在内容设计上，既有详细的基础知识，又有大量的实践环节，理论与实践相结合，可极大地激发学生在课堂上的学习积极性与主动创造性，让学生在课堂上跟上老师的思维，从而学到更多有用的知识和技能。
全书共有七个项目，主要内容包括大数据集群环境搭建、数据仓库构建、访问实践、大数据采集实践、大数据清洗实践、大数据分析实践及大数据可视化实践。通过这七个项目开发案例可以使学生强化和巩固对应的知识。
本书主要特点
采用“项目一体化”的教学方式，既有教师的讲述，又有学生独立思考、上机操作等内容。
配套资源丰富。本书提供教学大纲、教学课件、电子教案、程序源码等多种教学资源，对重要的知识点和操作方法提供视频讲解，扫描书中对应的二维码可以在线观看、学习。
紧跟时代潮流，注重技术变化。书中包含了的大数据采集、清洗、分析、可视化等新知识和新技术，并引入了一些主流大数据开源组件，以便学生掌握的知识点更贴近毕业后的就业岗位。
编写本书的教师都具有多年的教学经验，将重点、难点突出，能够激发学生的学习热情。
读者对象
本书既可以作为大数据专业、软件技术专业、计算机网络专业的教材，也可作为大数据爱好者的参考书。同时笔者作为全国职业院校大数据技能竞赛和全国大学生大数据技能竞赛的指导教师，在编写本教材时充分参阅了最近几届全国职业院校大数据技能竞赛项目和全国大学生大数据技能竞赛的竞赛大纲，将竞赛项目的主要考点融入了本书，使本书对参加大数据技能竞赛的学生也有很好的指导和借鉴作用。
本书由黄天春、刘振栋主编。其中，黄天春编写了第～章，刘振栋编写了第、章，阳攀编写了第、章，宋建华、周希宸和曹勇对全书进行了审阅和校稿工作。
本书是校企合作共同编写的结果，在编写过程中得到了科大讯飞股份高教人才事业群和大数据研究院的大力支持，对他们提供的试验案例和数据表示衷心的感谢。
在编写过程中，我们参阅了大量的相关资料，在此表示感谢！
勘误和支持
由于编者水平有限，书中难免会出现一些错误或者表述不准确、不严谨的地方，恳请读者批评、指正。
编 者