聊聊Hive中的集合数据类型

大数据
除了使用础的数据类型string等,Hive中的列支持使用struct, map, array集合数据类型。

[[384722]]

本文转载自微信公众号「Java大数据与数据仓库」,作者柯同学。转载本文请联系Java大数据与数据仓库公众号。  

除了使用础的数据类型string等,Hive中的列支持使用struct, map, array集合数据类型。

数据类型 描述 语法示例
STRUCT 和C语言中的struct或者"对象"类似,都可以通过"点"符号访问元素内容。 struct{'John', 'Doe'}
MAP MAP是一组键-值对元素集合,使用key可以访问元素。 map('fisrt', 'John', 'last', 'Doe')
ARRAY 数组是一组具有相同数据类型和名称的变量的集合。 Array('John', 'Doe')

1. Array的使用

创建数据库表,以array作为数据类型

  1. create table  person(name string,work_locations array<string>) 
  2. ROW FORMAT DELIMITED 
  3. FIELDS TERMINATED BY '\t' 
  4. COLLECTION ITEMS TERMINATED BY ','

数据

  1. biansutao beijing,shanghai,tianjin,hangzhou 
  2. linan changchu,chengdu,wuhan 

入库数据

  1. LOAD DATA LOCAL INPATH '/home/hadoop/person.txt' OVERWRITE INTO TABLE person; 

查询

  1. hive> select * from person; 
  2. biansutao       ["beijing","shanghai","tianjin","hangzhou"
  3. linan   ["changchu","chengdu","wuhan"
  4. Time taken: 0.355 seconds 
  5. hive> select name from person; 
  6. linan 
  7. biansutao 
  8. Time taken: 12.397 seconds 
  9. hive> select work_locations[0] from person; 
  10. changchu 
  11. beijing 
  12. Time taken: 13.214 seconds 
  13. hive> select work_locations from person;    
  14. ["changchu","chengdu","wuhan"
  15. ["beijing","shanghai","tianjin","hangzhou"
  16. Time taken: 13.755 seconds 
  17. hive> select work_locations[3] from person; 
  18. NULL 
  19. hangzhou 
  20. Time taken: 12.722 seconds 
  21. hive> select work_locations[4] from person; 
  22. NULL 
  23. NULL 
  24. Time taken: 15.958 seconds 

2. Map 的使用

创建数据库表

  1. create table score(name string, score map<string,int>) 
  2. ROW FORMAT DELIMITED 
  3. FIELDS TERMINATED BY '\t' 
  4. COLLECTION ITEMS TERMINATED BY ',' 
  5. MAP KEYS TERMINATED BY ':'

要入库的数据

  1. biansutao '数学':80,'语文':89,'英语':95 
  2. jobs '语文':60,'数学':80,'英语':99 

入库数据

  1. LOAD DATA LOCAL INPATH '/home/hadoop/score.txt' OVERWRITE INTO TABLE score; 

查询

  1. hive> select * from score; 
  2. biansutao       {"数学":80,"语文":89,"英语":95} 
  3. jobs    {"语文":60,"数学":80,"英语":99} 
  4. Time taken: 0.665 seconds 
  5. hive> select name from score; 
  6. jobs 
  7. biansutao 
  8. Time taken: 19.778 seconds 
  9. hive> select t.score from score t; 
  10. {"语文":60,"数学":80,"英语":99} 
  11. {"数学":80,"语文":89,"英语":95} 
  12. Time taken: 19.353 seconds 
  13. hive> select t.score['语文'from score t; 
  14. 60 
  15. 89 
  16. Time taken: 13.054 seconds 
  17. hive> select t.score['英语'from score t; 
  18. 99 
  19. 95 
  20. Time taken: 13.769 seconds 

修改map字段的分隔符

  1. Storage Desc Params:          
  2.     colelction.delim        ##                   
  3.     field.delim             \t                   
  4.     mapkey.delim            =                    
  5.     serialization.format    \t             

可以通过desc formatted tableName查看表的属性。

hive-2.1.1中,可以看出colelction.delim,这里是colelction而不是collection,hive里面这个单词写错了,所以还是要按照错误的来。

  1. alter table t8 set serdepropertyes('colelction.delim'=','); 

3. Struct 的使用

创建数据表

  1. CREATE TABLE test(id int,course struct<course:string,score:int>) 
  2. ROW FORMAT DELIMITED 
  3. FIELDS TERMINATED BY '\t' 
  4. COLLECTION ITEMS TERMINATED BY ','

数据

  1. 1 english,80 
  2. 2 math,89 
  3. 3 chinese,95 

入库

  1. LOAD DATA LOCAL INPATH '/home/hadoop/test.txt' OVERWRITE INTO TABLE test; 

查询

  1. hive> select * from test; 
  2. OK 
  3. 1       {"course":"english","score":80} 
  4. 2       {"course":"math","score":89} 
  5. 3       {"course":"chinese","score":95} 
  6. Time taken: 0.275 seconds 
  7. hive> select course from test; 
  8. {"course":"english","score":80} 
  9. {"course":"math","score":89} 
  10. {"course":"chinese","score":95} 
  11. Time taken: 44.968 seconds 
  12. select t.course.course from test t;  
  13. english 
  14. math 
  15. chinese 
  16. Time taken: 15.827 seconds 
  17. hive> select t.course.score from test t; 
  18. 80 
  19. 89 
  20. 95 
  21. Time taken: 13.235 seconds 

4. 不支持组合的复杂数据类型

我们有时候可能想建一个复杂的数据集合类型,比如下面的a字段,本身是一个Map,它的key是string类型的,value是Array集合类型的。

建表

  1. create table test1(id int,a MAP<STRING,ARRAY<STRING>>) 
  2. row format delimited fields terminated by '\t'  
  3. collection items terminated by ',' 
  4. MAP KEYS TERMINATED BY ':'

导入数据

  1. 1 english:80,90,70 
  2. 2 math:89,78,86 
  3. 3 chinese:99,100,82 
  4.  
  5. LOAD DATA LOCAL INPATH '/home/hadoop/test1.txt' OVERWRITE INTO TABLE test1; 

这里查询出数据:

  1. hive> select * from test1; 
  2. OK 
  3. 1    {"english":["80"],"90":null,"70":null
  4. 2    {"math":["89"],"78":null,"86":null
  5. 3    {"chinese":["99"],"100":null,"82":null

 

可以看到,已经出问题了,我们意图是想"english":["80", "90", "70"],实际上把90和70也当作Map的key了,value值都是空的。分析一下我们的建表语句,collection items terminated by ','制定了集合类型(map, struct, array)数据元素之间分隔符是", ",实际上map也是属于集合的,那么也会按照逗号分出3个key-value对;由于MAP KEYS TERMINATED BY ':'定义了map中key-value的分隔符是":",第一个“english”可以准确识别,后面的直接把value置为"null"了。

 

责任编辑:武晓燕 来源: Java大数据与数据仓库
相关推荐

2021-04-16 07:19:04

Hive数据类型Hql

2022-03-21 19:45:06

序列数组Python

2010-03-09 16:56:08

Python数据类型

2009-11-30 16:33:17

PHP复合数据类型ar

2023-03-06 09:17:37

数组类型jQuery

2021-07-30 07:02:34

Slice数组切片

2021-03-24 09:37:41

数据类型数据分析数据的分类

2017-03-27 14:58:03

MapReduce数据类型数据格式

2017-05-03 09:40:43

HIVEcollectexplode

2021-08-02 07:02:18

数据结构体Struct

2022-10-27 20:42:04

JavaScripJava编程语言

2022-03-01 23:31:29

Python编程语言变量

2019-08-12 11:40:48

数据库SQLite3数据类型

2022-05-11 09:01:54

Swift类型系统幻象类型

2010-09-06 17:35:43

SQL函数

2020-10-26 07:16:10

MySQLSchema数据

2010-10-08 14:45:43

mysql中int

2010-09-13 10:21:26

sql server2

2010-08-10 17:17:59

2022-06-13 09:02:06

Swift类型占位符
点赞
收藏

51CTO技术栈公众号