0
spark 理解–存储管理系统
笔记 / 2018年12月8日

BlockManager是一个嵌入在 spark 中的 key-value型分布式存储系统，也是 Master-Slave 结构的, RDD-Cache、 Shuffle-output、broadcast 等的实现都是基于BlockManager来实现的: spark shuffle 的过程总用到了 BlockManager 作为数据的中转站 spark broadcast 调度 task 到多个…