|
|
|
|
移动端

一个Spark缓存的使用示例

之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果。关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明。

作者:佚名来源:网络大数据|2018-02-08 18:00

技术沙龙 | 邀您于8月25日与国美/AWS/转转三位专家共同探讨小程序电商实战

之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果。

关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明。

注:因为使用的是内部数据文件, 在这边就不公布出来了. 大家看看测试代码跟测试结果即可。

这次测试是在JupyterNotebook这种交互式的环境下测试的. 如果是直接的submit一个job, 可能结果不太一样。

一个Spark缓存的使用示例

测试步骤

初始化Spark

  1. from pyspark.sql import SparkSession  
  2. spark = SparkSession\  
  3. .builder\  
  4. .appName("Cache Demo")\  
  5. .master("spark://10.206.132.113:7077") \  
  6. .config('spark.driver.memory''5g') \  
  7. .config('spark.executor.memory''5g') \  
  8. .config("spark.cores.max", 20) \  
  9. .getOrCreate() 

分别读两个文件做测试, 并且其中一个使用Cache

  1. ds1 = spark.read.json(os.path.join(data_path, "data.2018-01-04"))  
  2. ds2 = spark.read.json(os.path.join(data_path, "data.2018-01-05"))  
  3. ds1.cache() # 对于第一个dataframe进行cache. 

注: 这两个数据文件分别是1月4日跟1月5日产生的. 大小非常接近, 都是3.1G.

为了防止Spark自己做了什么Cache影响实验, 在这里读取两个不同的数据文件.

计算时间:

  1. import time  
  2. def calc_timing(ds, app_name) :  
  3. t1 = time.time()  
  4. related = ds.filter("app_name = '%s'" % app_name)  
  5. _1stRow = related.first()  
  6. t2 = time.time()  
  7. print "cost time:", t2 - t1 

测试结果:

  1. calc_timing(ds1, "DrUnzip") # cost time: 13.3130679131  
  2. calc_timing(ds2, "DrUnzip") # cost time: 18.0472488403  
  3. calc_timing(ds1, "DrUnzip") # cost time: 0.868658065796  
  4. calc_timing(ds2, "DrUnzip") # cost time: 15.8150720596 

可以看到:

  • 对于DS1, 虽然调用了Cache ,但是因为没有真正的使用到, 所以第一次进行filter操作还是很慢的
  • 第二次使用DS1的时候, 因为有了缓存, 速度快了很多
  • 相对的, DS2两次执行时间差别不大
  • 如果进到Spark UI 查看具体每个Job的执行时间, 会发现, 只读取数据文件消耗的时间也就在15~20s.

因此可以猜想, Spark的DataFrame读取数据之后, 即使进行两个相同的操作, 消耗的时间也不能减少, 因为Spark 默认不会把DS放到内存之中.

【编辑推荐】

  1. 从源码看Spark读取Hive表数据小文件和分块的问题
  2. Hadoop和Spark之间有什么区别,现工业界都在使用何种技术?
  3. 大数据处理为何选择Spark,而不是Hadoop
  4. 基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建
  5. Apache Spark中的决策树
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

Java for Flash动态网站开发手札

本书深入浅出地说明了如何利用Java、Flash及XML进行Flash富媒体应用程序的开发。 本书知识丰富,内容结构合理,包括:Flash影片应用程序与...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊