Hive编程指南
曹坤 译
出版时间：2013年11月
页数：318
要把关系型数据库应用迁移到Hadoop上，你该何去何从？本书介绍了Apache Hive，它是基于Hadoop的数据仓库架构。通过本书，读者可以很快学会如何使用Hive的SQL方言——HiveQL来汇总、查询和分析存储在Hadoop分布式文件系统上的大型数据集。
本书以实际案例为主线，详细介绍如何在用户环境下安装和配置Hive，并对Hadoop和MapReduce的各项技术进行概要介绍，同时演示Hive在Hadoop生态系统中是如何工作的。在本书中，读者还可以看到众多的实际使用场景，包括企业如何使用Hive解决了涉及PB级数据的问题。
· 使用Hive创建、修改和删除数据库、表、视图、函数和索引。
· 从文件到外部数据库，自定义数据存储格式和存储选项。
· 将数据载入表中以及从表中抽取数据，并使用查询、分组、过滤、连接和其他常规查询方法。
· 获得创建用户自定义函数（UDF）的最佳方法。
· 了解应该使用的Hive模式以及应该避免的反模式。
· 将Hive和其他数据处理程序进行整合。
· 对于NoSQL数据库和其他数据存储使用存储控制器。
· 学习在亚马逊弹性MapReduce上执行Hive的正反两方面信息。
本书以实际案例为主线，详细介绍如何在用户环境下安装和配置Hive，并对Hadoop和MapReduce的各项技术进行概要介绍，同时演示Hive在Hadoop生态系统中是如何工作的。在本书中，读者还可以看到众多的实际使用场景，包括企业如何使用Hive解决了涉及PB级数据的问题。
· 使用Hive创建、修改和删除数据库、表、视图、函数和索引。
· 从文件到外部数据库，自定义数据存储格式和存储选项。
· 将数据载入表中以及从表中抽取数据，并使用查询、分组、过滤、连接和其他常规查询方法。
· 获得创建用户自定义函数（UDF）的最佳方法。
· 了解应该使用的Hive模式以及应该避免的反模式。
· 将Hive和其他数据处理程序进行整合。
· 对于NoSQL数据库和其他数据存储使用存储控制器。
· 学习在亚马逊弹性MapReduce上执行Hive的正反两方面信息。
- 第1章 基础知识
- 1.1 hadoop和mapreduce综述
- 1.2 hadoop生态系统中的hive
- 1.2.1 pig
- 1.2.2 hbase
- 1.2.3 cascading、crunch及其他
- 1.3 java和hive：词频统计算法
- 1.4 后续事情
- 第2章 基础操作
- 2.1 安装预先配置好的虚拟机
- 2.2 安装详细步骤
- 2.2.1 装java
- 2.2.2 安装hadoop
- 2.2.3 本地模式、伪分布式模式和分布式模式
- 2.2.4 测试hadoop
- 2.2.5 安装hive
- 2.3 hive内部是什么
- 2.4 启动hive
- 2.5 配置hadoop环境
- .2.5.1 本地模式配置
- 2.5.2 分布式模式和伪分布式模式配置
- 2.5.3 使用jdbc连接元数据
- 2.6 hive命令
- 2.7 命令行界面
- 2.7.1 cli 选项
- 2.7.2 变量和属性
- 2.7.3 hive中“一次使用”命令
- 2.7.4 从文件中执行hive查询
- 2.7.5 hiverc文件
- 2.7.6 使用hive cli的更多介绍
- 2.7.7 查看操作命令历史
- 2.7.8 执行shell命令
- 2.7.9 在hive内使用hadoop的dfs命令2.7.10 hive脚本中如何进行注释
- 2.7.11 显示字段名称
- 第3章 数据类型和文件格式
- 3.1 基本数据类型
- 3.2 集合数据类型
- 3.3 文本文件数据编码
- 3.4 读时模式
- 第4章 hiveql：数据定义
- 4.1 hive中的数据库
- 4.2 修改数据库
- 4.3 创建表
- 4.3.1 管理表
- 4.3.2 外部表
- 4.4 分区表、管理表
- 4.4.1 外部分区表
- 4.4.2 自定义表的存储格式
- 4.5 删除表
- 4.6 修改表
- 4.6.1 表重命名
- 4.6.2 增加、修改和删除表分区
- 4.6.3 修改列信息
- 4.6.4 增加列
- 4.6.5 删除或者替换列
- 4.6.6 修改表属性
- 4.6.7 修改存储属性
- 4.6.8 众多的修改表语句
- 第5章 hiveql：数据操作
- 5.1 向管理表中装载数据
- 5.2 通过查询语句向表中插入数据
- 5.3 单个查询语句中创建表并加载数据
- 5.4 导出数据
- 第6章 hiveql：查询
- 6.1 select…from语句
- 6.1.1 使用正则表达式来指定列
- 6.1.2 使用列值进行计算
- 6.1.3 算术运算符
- 6.1.4 使用函数
- 6.1.5 limit语句
- 6.1.6 列别名
- 6.1.7 嵌套select语句
- 6.1.8 case…when…then 句式
- 6.1.9 什么情况下hive可以避免进行mapreduce
- 6.2 where语句
- 6.2.1 谓词操作符
- 6.2.2 关于浮点数比较
- 6.2.3 like和rlike
- 6.3 group by 语句
- 6.4 join语句
- 6.4.1 inner join
- 6.4.2 join优化
- 6.4.3 left outer join
- 6.4.4 outer join
- 6.4.5 right outer join
- 6.4.6 full outer join
- 6.4.7 left semi-join
- 6.4.8 笛卡尔积join
- 6.4.9 map-side join
- 6.5 order by和sort by
- 6.6 含有sort by 的distribute by
- 6.7 cluster by
- 6.8 类型转换
- 6.9 抽样查询
- 6.9.1 数据块抽样
- 6.9.2 分桶表的输入裁剪
- 6.10 union all
- 第7章 hiveql：视图
- 7.1 使用视图来降低查询复杂度
- 7.2 使用视图来限制基于条件过滤的数据 7.3 动态分区中的视图和map类型
- 7.4 视图零零碎碎相关的事情
- 第8章 hiveql：索引
- 8.1 创建索引
- 8.2 重建索引
- 8.3 显示索引
- 8.4 删除索引
- 8.5 实现一个定制化的索引处理器
- 第9章 模式设计
- 9.1 按天划分的表
- 9.2 关于分区
- 9.3 唯一键和标准化
- 9.4 同一份数据多种处理
- 9.5 对于每个表的分区
- 9.6 分桶表数据存储
- 9.7 为表增加列
- 9.8 使用列存储表
- 9.8.1 重复数据
- 9.8.2 多列
- 9.9 (几乎)总是使用压缩
- 第10章 调优
- 10.1 使用explain
- 10.2 explain extended
- 10.3 限制调整
- 10.4 join优化
- 10.5 本地模式
- 10.6 并行执行
- 10.7 严格模式
- 10.8 调整mapper和reducer个数
- 10.9 jvm重用
- 10.10 索引
- 10.11 动态分区调整
- 10.12 推测执行
- 10.13 单个mapreduce中多个group by
- 10.14 虚拟列
- 第11章 其他文件格式和压缩方法
- 11.1 确定安装编解码器
- 11.2 选择一种压缩编/解码器
- 11.3 开启中间压缩
- 11.4 最终输出结果压缩
- 11.5 sequence file存储格式
- 11.6 使用压缩实践
- 11.7 存档分区
- 11.8 压缩：包扎
- 第12章 开发
- 12.1 修改log4j属性
- 12.2 连接java调试器到hive
- 12.3 从源码编译hive
- 12.3.1 执行hive测试用例
- 12.3.2 执行hook
- 12.4 配置hive和eclipse
- 12.5 maven工程中使用hive
- 12.6 hive中使用hive_test进行单元测试 12.7 新增的插件开发工具箱(pdk)
- 第13章 函数
- 13.1 发现和描述函数
- 13.2 调用函数
- 13.3 标准函数
- 13.4 聚合函数
- 13.5 表生成函数
- 13.6 一个通过日期计算其星座的udf
- 13.7 udf与genericudf
- 13.8 不变函数
- 13.9 用户自定义聚合函数
- 13.10 用户自定义表生成函数
- 13.10.1 可以产生多行数据的udtf
- 13.10.2 可以产生具有多个字段的单行数据的udtf
- 13.10.3 可以模拟复杂数据类型的udtf
- 13.11 在 udf中访问分布式缓存
- 13.12 以函数的方式使用注解
- 13.12.1 定数性(deterministic)标注
- 13.12.2 状态性(stateful)标注
- 13.12.3 唯一性
- 13.13 宏命令
- 第14章 streaming
- 14.1 恒等变换
- 14.2 改变类型
- 14.3 投影变换
- 14.4 操作转换
- 14.5 使用分布式内存
- 14.6 由一行产生多行
- 14.7 使用streaming进行聚合计算
- 14.8 cluster by、distribute by、sort by
- 14.9 genericmr tools for streaming to java
- 14.10 计算cogroup
- 第15章 自定义hive文件和记录格式
- 15.1 文件和记录格式
- 15.2 阐明create table句式
- 15.3 文件格式
- 15.3.1 sequencefile
- 15.3.2 rcfile
- 15.3.3 示例自定义输入格式：dualinputformat
- 15.4 记录格式：serde
- 15.5 csv和tsv serde
- 15.6 objectinspector
- 15.7 thing big hive reflection objectinspector
- 15.8 xml udf
- 15.9 xpath相关的函数
- 15.10 json serde
- 15.11 avro hive serde
- 15.11.1 使用表属性信息定义avro schema
- 15.11.2 从指定url中定义schema
- 15.11.3 进化的模式
- 15.12 二进制输出
- 第16章 hive的thrift服务
- 16.1 启动thrift server
- 16.2 配置groovy使用hiveserver
- 16.3 连接到hiveserver
- 16.4 获取集群状态信息
- 16.5 结果集模式
- 16.6 获取结果
- 16.7 获取执行计划
- 16.8 元数据存储方法
- 16.9 管理hiveserver
- 16.9.1 生产环境使用hiveserver
- 16.9.2 清理
- 16.10 hive thriftmetastore
- 16.10.1 thriftmetastore 配置
- 16.10.2 客户端配置
- 第17章 存储处理程序和nosql
- 17.1 storage handler background
- 17.2 hivestoragehandler
- 17.3 hbase
- 17.4 cassandra
- 17.4.1 静态列映射(static column mapping)
- 17.4.2 为动态列转置列映射
- 17.4.3 cassandra serde properties
- 17.5 dynamodb
- 第18章 安全
- 18.1 和hadoop安全功能相结合
- 18.2 使用hive进行验证
- 18.3 hive中的权限管理
- 18.3.1 用户、组和角色
- 18.3.2 grant 和 revoke权限
- 18.4 分区级别的权限
- 18.5 自动授权
- 第19章 锁
- 19.1 hive结合zookeeper支持锁功能
- 19.2 显式锁和独占锁
- 第20章 hive和oozie整合
- 20.1 oozie提供的多种动作(action)
- 20.2 一个只包含两个查询过程的工作流示例
- 20.3 oozie 网页控制台
- 20.4 工作流中的变量
- 20.5 获取输出
- 20.6 获取输出到变量
- 第21章 hive和亚马逊网络服务系统(aws)
- 21.1 为什么要弹性mapreduce
- 21.2 实例
- 21.3 开始前的注意事项
- 21.4 管理自有emr hive集群
- 21.5 emr hive上的thrift server服务
- 21.6 emr上的实例组
- 21.7 配置emr集群
- 21.7.1 部署hive-site.xml文件
- 21.7.2 部署.hiverc脚本
- 21.7.3 建立一个内存密集型配置
- 21.8 emr上的持久层和元数据存储
- 21.9 emr集群上的hdfs和s3
- 21.10 在s3上部署资源、配置和辅助程序脚本
- 21.11 s3上的日志
- 21.12 现买现卖
- 21.13 安全组
- 21.14 emr和ec2以及apache hive的比较
- 21.15 包装
- 第22章 hcatalog
- 22.1 介绍
- 22.2 mapreduce
- 22.2.1 读数据
- 22.2.2 写数据
- 22.3 命令行
- 22.4 安全模型
- 22.5 架构
- 第23章 案例研究
- 23.1 m6d.com(media6degrees)
- 23.1.1 m 6d的数据科学，使用hive和r
- 23.1.2 m6d udf伪随机
- 23.1.3 m6d如何管理多mapreduce集群间的hive数据访问
- 23.2 outbrain
- 23.2.1 站内线上身份识别
- 23.2.2 计算复杂度
- 23.2.3 会话化
- 23.3 nasa喷气推进实验室
- 23.3.1 区域气候模型评价系统
- 23.3.2 我们的经验：为什么使用hive
- 23.3.3 解决这些问题我们所面临的挑战
- 23.4 photobucket
- 23.4.1 photobucket 公司的大数据应用情况
- 23.4.2 hive所使用的硬件资源信息
- 23.4.3 hive提供了什么23.4.4 hive支持的用户有哪些
- 23.5 simplereach
- 23.6 experiences and needs from the customer trenches
- 23.6.1 介绍
- 23.6.2 customer trenches的用例
- 术语词汇表
书名：Hive编程指南
译者：曹坤 译
国内出版社：人民邮电出版社
出版时间：2013年11月
页数：318
书号：978-7-115-33383-4
原版书书名：Programming Hive
原版书出版商：O'Reilly Media
购买选项
|
© 2024，奥莱利技术咨询(北京)有限公司。版权所有。 传真: +86-10-88097463 京ICP备05003502号 |
|