Spark 性能优化:重构 RDD 及 RDD 持久化

在写 Spark 的应用时,应该尽量避免这两种情况:

1,几个功能明明可以在一个算子操作中完成,为了代码清晰,把这个算子拆分成多个算子进行操作。这种操作往往会增加很多的性能开销。

2,出现公用的 RDD 时候不做持久化操作,比如:

RDD复用

RDD2 是会被复用的 RDD,默认情况下,第一次使用 RDD2 生成 RDD3 时候会走一遍 HDFS -> RDD1 -> RDD2

然后用 RDD2 生成 RDD4 的时候,还会走一遍 HDFS -> RDD1 -> RDD2

这样就造成了重复计算。

针对上述的两种情况我们应该这样做:

1,能够在一个算子中操作完成的功能不用拆分到多个算子中去操作;

2,在要复用 RDD 的时候一定要对复用的那个 RDD 做持久化操作。

发布了82 篇原创文章 · 获赞 148 · 访问量 12万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览