Spark高级数据分析
龚少成 译
出版时间：2015年11月
页数：226
本书是使用Spark进行大规模数据分析的实战宝典，由大数据公司Cloudera的数据科学家撰写。四位作者首先结合数据科学和大数据分析的广阔背景讲解了Spark，然后介绍了用Spark和Scala进行数据处理的基础知识，接着讨论了如何将Spark用于机器学习，同时介绍了常见应用中几个常用的算法。此外还收集了一些更加新颖的应用，比如通过文本隐含语义关系来查询Wikipedia或分析基因数据。
本书适合从事大数据分析的各大类专业人员阅读。
本书适合从事大数据分析的各大类专业人员阅读。
- 推荐序
- 译者序
- 序
- 前言
- 第1章 大数据分析
- 1.1 数据科学面临的挑战
- 1.2 认识Apache Spark
- 1.3 关于本书
- 第2章 用Scala和Spark进行数据分析
- 2.1 数据科学家的Scala
- 2.2 Spark 编程模型
- 2.3 记录关联问题
- 2.4 小试牛刀：Spark shell和SparkContext
- 2.5 把数据从集群上获取到客户端
- 2.6 把代码从客户端发送到集群
- 2.7 用元组和case class对数据进行结构化
- 2.8 聚合
- 2.9 创建直方图
- 2.10 连续变量的概要统计
- 2.11 为计算概要信息创建可重用的代码
- 2.12 变量的选择和评分简介
- 2.13 小结
- 第3章 音乐推荐和Audioscrobbler数据集
- 3.1 数据集
- 3.2 交替最小二乘推荐算法
- 3.3 准备数据
- 3.4 构建第一个模型
- 3.5 逐个检查推荐结果
- 3.6 评价推荐质量
- 3.7 计算
- 3.8 选择超参数
- 3.9 产生推荐
- 3.10 小结
- 第4章 用决策树算法预测森林植被
- 4.1 回归简介
- 4.2 向量和特征
- 4.3 样本训练
- 4.4 决策树和决策森林
- 4.5 Covtype数据集
- 4.6 准备数据
- 4.7 第一棵决策树
- 4.8 决策树的超参数
- 4.9 决策树调优
- 4.10 重谈类别型特征
- 4.11 随机决策森林
- 4.12 进行预测
- 4.13 小结
- 第5章 基于K均值聚类的网络流量异常检测
- 5.1 异常检测
- 5.2 K均值聚类
- 5.3 网络入侵
- 5.4 KDD Cup 1999数据集
- 5.5 初步尝试聚类
- 5.6 K 的选择
- 5.7 基于R的可视化
- 5.8 特征的规范化
- 5.9 类别型变量
- 5.10 利用标号的熵信息
- 5.11 聚类实战
- 5.12 小结
- 第6章 基于潜在语义分析算法分析维基百科
- 6.1 词项-文档矩阵
- 6.2 获取数据
- 6.3 分析和准备数据
- 6.4 词形归并
- 6.5 计算TF-IDF
- 6.6 奇异值分解
- 6.7 找出重要的概念
- 6.8 基于低维近似的查询和评分
- 6.9 词项-词项相关度
- 6.10 文档-文档相关度
- 6.11 词项-文档相关度
- 6.12 多词项查询
- 6.13 小结
- 第7章 用GraphX分析伴生网络
- 7.1 对MEDLINE文献引用索引的网络分析
- 7.2 获取数据
- 7.3 用Scala XML工具解析XML文档
- 7.4 分析MeSH主要主题及其伴生关系
- 7.5 用GraphX来建立一个伴生网络
- 7.6 理解网络结构
- 7.6.1 连通组件
- 7.6.2 度的分布
- 7.7 过滤噪声边
- 7.7.1 处理EdgeTriplet
- 7.7.2 分析去掉噪声边的子图
- 7.8 小世界网络
- 7.8.1 系和聚类系数
- 7.8.2 用Pregel计算平均路径长度
- 7.9 小结
- 第8章 纽约出租车轨迹的空间和时间数据分析
- 8.1 数据的获取
- 8.2 基于Spark的时间和空间数据分析
- 8.3 基于JodaTime和NScalaTime的时间数据处理
- 8.4 基于Esri Geometry API和Spray的地理空间数据处理
- 8.4.1 认识Esri Geometry
- 8.4.2 GeoJSON简介
- 8.5 纽约市出租车客运数据的预处理
- 8.5.1 大规模数据中的非法记录处理
- 8.5.2 地理空间分析
- 8.6 基于Spark的会话分析
- 8.7 小结
- 第9章 基于蒙特卡罗模拟的金融风险评估
- 9.1 术语
- 9.2 VaR计算方法
- 9.2.1 方差-协方差法
- 9.2.2 历史模拟法
- 9.2.3 蒙特卡罗模拟法
- 9.3 我们的模型
- 9.4 获取数据
- 9.5 数据预处理
- 9.6 确定市场因素的权重
- 9.7 采样
- 9.8 运行试验
- 9.9 回报分布的可视化
- 9.10 结果的评估
- 9.11 小结
- 第10章 基因数据分析和BDG项目
- 10.1 分离存储与模型
- 10.2 用ADAM CLI导入基因学数据
- 10.3 从ENCODE数据预测转录因子结合位点
- 10.4 查询1000 Genomes项目中的基因型
- 10.5 小结
- 第11章 基于PySpark和Thunder的神经图像数据分析
- 11.1 PySpark简介
- 11.2 Thunder工具包概况和安装
- 11.3 用Thunder加载数据
- 11.4 用Thunder对神经元进行分类
- 11.5 小结
- 附录A Spark进阶
- 附录B 即将发布的MLlib Pipelines
- 作者介绍
- 封面介绍
书名：Spark高级数据分析
译者：龚少成 译
国内出版社：人民邮电出版社
出版时间：2015年11月
页数：226
书号：978-7-115-40474-9
原版书书名：Advanced Analytics with Spark
原版书出版商：O'Reilly Media
购买选项
|
© 2024，奥莱利技术咨询(北京)有限公司。版权所有。 传真: +86-10-88097463 京ICP备05003502号 |
|