Spark学习笔记之RDD持久化(四)
分类:[ 开源框架 ]
Spark最重要的一个功能,就是在不同操作间,持久化(或缓存)一个数据集在内存中。当你持久化一个RDD,每一个结点都将把它的计算分块结果保存在内存中,并在对此数据集(或者衍生出的数据集)进行的其它动作中重用。这将使得后续的动作(action)变得更加迅速(通常快10倍) ...阅读全文
无情 @ 2017-06-02 17:41:17 阅读(12152) 详情
我的标签
随笔档案
- 2020-04 (3)
- 2019-09 (2)
- 2019-08 (1)
- 2019-01 (1)
- 2017-09 (1)
- 2017-06 (1)
- 2017-05 (3)
- 2017-03 (1)
- 2017-02 (2)
- 2017-01 (3)
- 2016-12 (2)
- 2016-10 (3)
- 2016-09 (2)
- 2016-08 (3)
- 2016-07 (2)
- 2016-06 (2)
- 2016-05 (3)
- 2016-04 (2)
- 2016-03 (2)
- 2016-01 (3)
- 2015-12 (3)
- 2015-11 (2)
- 2015-10 (3)
- 2015-09 (1)
- 2015-08 (1)
- 2015-07 (4)
- 2015-05 (3)
- 2015-04 (4)
- 2015-02 (2)
- 2015-01 (4)
- 2014-12 (4)
- 2014-11 (2)
- 2014-10 (19)